详解Bert、GPT3、图神经网络在工业界应用

京东智联云联合贪心科技推出了《京东NLP项目实战训练营》，挑战京东落地应用项目，智能医疗分诊项目、智能营销文案生成项目、智能客服系统项目、同类商品搜索项目。 完成这些项目的同时，你也会学会使用BERT, GCN, GAT等前沿技术原理和应用。

四大真实京东实战场景

《京东NLP企业项目实战训练营3期》

专注于培养行业TOP10%的NLP工程师

添加课程顾问小姐姐微信

报名、课程咨询

👇👇👇

01 课程大纲

第一章：京东健康智能分诊项目

Part 01：文本处理与特征工程

• BagofWords模型

• 从tf-idf到Word2Vec

• SkipGram与CBOW

• HierarhicalSoftmax与NegativeSampling

• FastText 

• N-gram与平滑操作

• 文本特征工程

• 工具的使用：Gensim、Sklearn、jieba的使用

• 论文：SkipGram论文解读&复现

• 专题：如果阅读科研论文

• 项目：京东健康智能分诊项目讲解（1）

Part 02：基于统计学习的分类方法

• 决策树

• CART模型

• Bagging&Boosting

• 随机森林和GBDT

• XGBoost

• 精确率、召回率

• F1，AUC

• 论文：XGBoost的Paper和代码解读

• 实战：LightGBM的解读与实战

• 专题：如何处理样本不平衡问题

• 项目：京东健康智能分诊项目讲解（2）

Part 03：基于深度学习的分类方法

• 统计学习与深度学习的区别

• 深度学习与浅层学习

• 从逻辑回归到神经网络

• 深度学习的非线性性质

• 损失函数与优化器

• 神经网络的调参

• 实战：Pytorch的基础使用

• 实战：使用Pytorch实现神经网络和卷积神经网络 

• 专题：不同优化器比较：Momentum,AdaGrad,RMSProp,Adam

• 项目：京东健康智能分诊项目讲解（3）

Part 04：CNN与工业界模型部署

• CNN，TextCNN

• 模型的部署

• Docker的使用

• Git&Jenkins的使用

• Kubernetes的使用

• Flask的使用

• 实战：Neufoundry平台上的模型部署

• 专题：智能分诊前沿技术讲解

• 京东嘉宾：京东的文本分类部署

• 京东嘉宾：京东的特征工程技术方案

第二章：京东智能营销文本生成项目

Part 05：递归神经网络RNN与BPTT算法

• BPTT与RNN中的梯度消失、爆炸

• 梯度爆炸的处理

• LSTM与GRU

• 基于LSTM的文本分类

• Bi-LSTM与DeepBi-LSTM

• RNN与LSTM的可视化

• 实战：基于LSTM的情感分类

• 实战：利用Pytorch实现多层LSTM

• 实战：基于LSTM语言模型的文本生成

• 专题：GPU技术详解

• 项目：京东智能营销文本生成项目讲解（1）

Part 06：Seq2Seq模型与营销文本生成

• Encoder-Decoder模型以及各类应用场景

• Seq2Seq模型与注意力机制

• GreedyDecoding

• BeamSearch

• 基于Seq2Seq的文本生成

• 文本生成的评价指标

• 实战：基于Seq2Seq的机器翻译

• 论文：LSTM-CNNs论文

• 项目：京东智能营销文本生成项目讲解（2）

Part 07：Pointer-GeneratorNetwork和多模态识别

• 抽取式文本摘要和生成式文本摘要

• Pointer-GeneratorNetwork

• BeamSearch优化思路

• LengthNormalization

• CoverageNormalization

• EndofSentenceNormalization

• 多模态识别技术:ResNet和FasterRCNN

• 实战：PGN+Seq2Seq解读

• 论文：京东论文解读

• 论文：FasterRCNN解读

• 项目：京东智能营销文本生成项目讲解（3）

第三章：京东智能客服对话系统项目

Part 08：对话系统技术概览

• 对话系统的分类方式

• 检索方法和生成方法

• 任务导向型系统和非任务导向型系统

• 索引的建立

• 对话系统中的召回

• 对话系统中的排序

• 倒排索引和WAND算法

• 倒排索引的空间优化

• 信息检索系统的评估方式

• 实战：倒排索引的实现

• 实战：VariableByteCompression的检索系统实现

• 项目：京东智能对话系统项目讲解（1）

Part 09：检索系统中的召回

• ApproximateNearestNeighborSearch

• KD树

• LSH技术

• 近似图（ProximityGraph）

• SmallWordGraph

• NSW和HNSW

• 论文：HNSW论文解读

• 项目：京东智能对话系统项目讲解（2）

Part10：对话系统中的排序

• LearningtoRank技术介绍

• Point-wiseApproach

• Pair-wiseApproach

• List-wiseApproach

• 常用模型的评估指标

• MAP，NDCG

• 相似度计算方法

• WordMover'sDistance

• 论文：WMD的实现

• 项目：京东智能对话系统项目讲解（3）

Part11：自注意力机制以及Transformer

• 从Attention到Self-Attention

• Transformer的应用

• Transformer模型详解

• Transformer的实现

• Reformer

• Synthesizer

• Low-RankBottleneck

• 论文：TransformerXL论文解读

• 项目：京东智能对话系统项目讲解（4）

• 京东嘉宾：工业界的检索模型和L2R

Part12：基于BERT和Transformer的闲聊引擎

• 闲聊引擎技术框架

• 预训练模型简介

• AE与VAE

• BERT模型详解

• BERT的不同训练方法

• GPT2

• GPT3

• ALBERT

• 实战：BERT的fine-tuning实战讲解

• 论文：UniLM解读与复现

• 论文：XLNet的解读与复现

• 项目：京东智能对话系统项目讲解（5）

• 京东嘉宾：工业界的生成式对话模型

第四章：京东同类商品搜索项目

Part13：基于图的学习

• 图表示概论

• 图与知识图谱

• 基于图表示的应用场景

• 关于图的一些特征

• 关于图的一些常见算法

• Deepwalk和Node2vec

• TransE图嵌入模型

• DSNE图嵌入模型

• 实战：基于人工特征的链接预测实现

• 实战：基于Node2Vec的链接预测实现

• 项目：京东同类商品搜索项目讲解（1）

Part14：基于图神经网络的EntityLinking

• 什么是实体

• EntityLinking的简单解法

• 基于图的EntityLink思路

• 卷积神经网络回顾

• 在图中的卷积

• 图中的信息传递

• 图卷积神经网络（GCN）

• 基于GCN的EntityLinking

• 论文：GCN论文解读和复现

• 项目：京东同类商品搜索项目讲解（2）

Part15：GAT、GraphSage与EntityLinking

• 注意力机制回顾

• 注意力机制与图表示

• GAT模型详解

• GAT与GCN的比较

• GraphSage详解

• GAT与知识图谱应用

• 对于Heterogenous数据处理

• 论文：GAT论文解读与复现

• 论文：GraphSage论文解读与复现

• 项目：京东同类商品搜索项目讲解（3）

Part16：图神经网络与其他应用

• NodeClassification

• GraphClassification

• LinkPrediction

• CommunityDetection

• 推荐系统

• 文本分类

• 图神经网络的未来发展

• 论文：图神经网络综述

• 项目：京东同类商品搜索项目讲解（4）

《京东NLP企业项目实战训练营3期》

专注于培养行业TOP10%的NLP工程师

添加课程顾问小姐姐微信

报名、课程咨询

👇👇👇

01 专业的教研主讲团队

02 科学的实战安排

每一期的训练营都有严谨科学的安排，每周伴随着理论、实战、案例分享、项目讲解等课程一系列课程内容。

▲节选前两周部分课程安排

03 项目讲解&实战帮助

训练营最终的目的是帮助学员完成项目，理解项目中包含核心知识技能，训练营中会花大量的时间帮助学员理解项目以及所涉及到的实战讲解。每一个项目会配套详细的实验手册、工程手册、还有注解的项目代码，所有实战过程都在云端GPU上完成。

▲节选往期部分课程安排

04 最佳工程实战

来自京东智联云等业界专家来讲述工业界的最佳工程实战，如AI模型的部署、代码编写、模型的调参以及debug等技术。

▲源自京东智联云AI某模块架构图

05 专业的论文解读

作为AI工程师，阅读论文能力是必须要的。在课程里，我们每1-2周会安排一篇经典英文文章供学员阅读，之后由老师帮助解读。   

    

▲节选往期部分论文安排

06 行业案例分享

训练营过程中会邀请合作的专家来分享行业案例以及技术解决方案，如知识图谱的搭建、保险领域的客服系统等。

▲专家分享

《Google YouTube 基于深度学习的视频推荐》

嘉宾简介：曾博士

计算机视觉，机器学习领域专家

先后在CVPR，ACMMM，TPAMI，SCI 期刊，EI 会议等发表超过30篇论文

07 日常社群答疑

为了帮助解决学员遇到的问题，专业助教会提供全天社群答疑服务。我们的助教均来来自于一线AI公司和国内外名校，扎实的理论和工业界应用也是我们选拔助教老师的重要标准，拒绝空谈理论。

▲社群内老师专业的解答

●●●

《京东NLP企业项目实战训练营3期》

专注于培养行业TOP10%的NLP工程师

添加课程顾问小姐姐微信

报名、课程咨询

👇👇👇