会员服务
DeepSeek · 多头自注意力 ·
5 月 28 日
DeepSeek技术溯源及前沿探索
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

Transformer：理论架构创新 　　自注意力机制：支持并行计算/全局上下文的理解能力 　　多头注意力：从多个角度捕捉复杂的语义关系 　　前馈网络/位置编码/层归一化：解决了传统模型的诸多局限性 　　预训练时代：大力出奇迹（“暴力美学”） 　　BERT：Bidirectional Encoder Representations Transformers 　　GPT: Generative Pertained Transformer 　　自监督算法：MLM/NTP/MAE解决海量数据标注问题 　

成为VIP会员查看完整内容
DeepSeek技术溯源及前沿探索
34

相关内容

深度求索（DeepSeek），全称杭州深度求索人工智能基础技术研究有限公司，是中国的一家人工智能与大型语言模型公司。2025年1月10日，DeepSeek为iOS和安卓系统发布其首款免费的基于DeepSeek-R1模型聊天机器人程序。截止到27日，DeepSeek-R1超过ChatGPT成为美区iOS应用商店免费应用程序榜首[3]，并导致英伟达股价大跌18%[4][5]。DeepSeek成功挑战实力更强、更为著名的竞品从而被认为是颠覆人工智能[6]、打响了全球人工智能领域竞赛的第一枪[7]、引领人工智能下边缘政策新纪元
DS系列专题：DeepSeek技术溯源及前沿探索，50页ppt
DS系列专题：DeepSeek技术溯源及前沿探索，50页ppt
专知会员服务
51+阅读 · 3月26日
DeepSeek模型关键创新技术综述
DeepSeek模型关键创新技术综述
专知会员服务
48+阅读 · 3月21日
调查分析两百余篇大模型论文，数十位研究者一文综述RLHF的挑战与局限
调查分析两百余篇大模型论文，数十位研究者一文综述RLHF的挑战与局限
专知会员服务
49+阅读 · 2023年8月1日
ChatGPT 背后的“功臣”——RLHF 技术详解
ChatGPT 背后的“功臣”——RLHF 技术详解
专知会员服务
169+阅读 · 2023年2月21日
Nat Rev Mol Cell Bio｜用人工智能预测蛋白质结构的前景和机遇
Nat Rev Mol Cell Bio｜用人工智能预测蛋白质结构的前景和机遇
专知会员服务
19+阅读 · 2022年5月1日
【ICML2020-天津大学】多智能体深度强化学习中的Q值路径分解
【ICML2020-天津大学】多智能体深度强化学习中的Q值路径分解
专知
37+阅读 · 2020年7月2日
知识图谱最新研究综述
知识图谱最新研究综述
深度学习自然语言处理
45+阅读 · 2020年6月14日
多项NLP任务新SOTA，Facebook提出预训练模型BART
多项NLP任务新SOTA，Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
【AutoML】自动机器学习：最近进展研究综述 AutoML：A survey of State-of-the-art
【AutoML】自动机器学习：最近进展研究综述 AutoML：A survey of State-of-the-art
产业智能官
15+阅读 · 2019年8月13日
Word2Vec 与 GloVe 技术浅析与对比
Word2Vec 与 GloVe 技术浅析与对比
LibRec智能推荐
25+阅读 · 2017年5月15日
DMB信号水汽探测方法若干问题研究
国家自然科学基金
3+阅读 · 2015年12月31日
SDN数据平面中大规模流表的高性能查找方法研究
国家自然科学基金
4+阅读 · 2015年12月31日
大规模模糊RDF数据管理关键技术研究
国家自然科学基金
9+阅读 · 2015年12月31日
基于UGC的应急响应决策支持系统关键技术研究
国家自然科学基金
13+阅读 · 2014年12月31日
基于BIM的建筑生命周期环境与经济评价及优化设计方法研究
国家自然科学基金
3+阅读 · 2014年12月31日
A survey and taxonomy of loss functions in machine learning
Arxiv
27+阅读 · 2023年1月13日
On Neural Differential Equations
Arxiv
24+阅读 · 2022年2月4日
Graph Contrastive Learning with Adaptive Augmentation
Arxiv
10+阅读 · 2021年2月26日
Phase-aware Speech Enhancement with Deep Complex U-Net
Phase-aware Speech Enhancement with Deep Complex U-Net
Arxiv
15+阅读 · 2019年3月7日
Deep learning in agriculture: A survey
Arxiv
11+阅读 · 2018年7月31日
VIP会员
相关主题
DeepSeek
多头自注意力
相关VIP内容
DS系列专题：DeepSeek技术溯源及前沿探索，50页ppt
DS系列专题：DeepSeek技术溯源及前沿探索，50页ppt
专知会员服务
51+阅读 · 3月26日
DeepSeek模型关键创新技术综述
DeepSeek模型关键创新技术综述
专知会员服务
48+阅读 · 3月21日
调查分析两百余篇大模型论文，数十位研究者一文综述RLHF的挑战与局限
调查分析两百余篇大模型论文，数十位研究者一文综述RLHF的挑战与局限
专知会员服务
49+阅读 · 2023年8月1日
ChatGPT 背后的“功臣”——RLHF 技术详解
ChatGPT 背后的“功臣”——RLHF 技术详解
专知会员服务
169+阅读 · 2023年2月21日
Nat Rev Mol Cell Bio｜用人工智能预测蛋白质结构的前景和机遇
Nat Rev Mol Cell Bio｜用人工智能预测蛋白质结构的前景和机遇
专知会员服务
19+阅读 · 2022年5月1日
热门VIP内容
相关资讯
【ICML2020-天津大学】多智能体深度强化学习中的Q值路径分解
【ICML2020-天津大学】多智能体深度强化学习中的Q值路径分解
专知
37+阅读 · 2020年7月2日
知识图谱最新研究综述
知识图谱最新研究综述
深度学习自然语言处理
45+阅读 · 2020年6月14日
多项NLP任务新SOTA，Facebook提出预训练模型BART
多项NLP任务新SOTA，Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
【AutoML】自动机器学习：最近进展研究综述 AutoML：A survey of State-of-the-art
【AutoML】自动机器学习：最近进展研究综述 AutoML：A survey of State-of-the-art
产业智能官
15+阅读 · 2019年8月13日
Word2Vec 与 GloVe 技术浅析与对比
Word2Vec 与 GloVe 技术浅析与对比
LibRec智能推荐
25+阅读 · 2017年5月15日
相关基金
DMB信号水汽探测方法若干问题研究
国家自然科学基金
3+阅读 · 2015年12月31日
SDN数据平面中大规模流表的高性能查找方法研究
国家自然科学基金
4+阅读 · 2015年12月31日
大规模模糊RDF数据管理关键技术研究
国家自然科学基金
9+阅读 · 2015年12月31日
基于UGC的应急响应决策支持系统关键技术研究
国家自然科学基金
13+阅读 · 2014年12月31日
基于BIM的建筑生命周期环境与经济评价及优化设计方法研究
国家自然科学基金
3+阅读 · 2014年12月31日
相关论文
A survey and taxonomy of loss functions in machine learning
Arxiv
27+阅读 · 2023年1月13日
On Neural Differential Equations
Arxiv
24+阅读 · 2022年2月4日
Graph Contrastive Learning with Adaptive Augmentation
Arxiv
10+阅读 · 2021年2月26日
Phase-aware Speech Enhancement with Deep Complex U-Net
Phase-aware Speech Enhancement with Deep Complex U-Net
Arxiv
15+阅读 · 2019年3月7日
Deep learning in agriculture: A survey
Arxiv
11+阅读 · 2018年7月31日
微信扫码咨询专知VIP会员
Top