会员服务
人工智能 · 基准测试 ·
2020 年 12 月 20 日
【Facebook】人工智能基准(Benchmarking)测试再思考，55页ppt
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

当前人工智能中的基准测试范式存在许多问题:基准很快饱和，容易过度拟合，包含可利用的注释器工件，评估指标不清晰或不完善，并且不能衡量我们真正关心的东西。我将谈谈我在尝试重新思考我们在人工智能(特别是在自然语言处理)中进行基准测试的方式时所做的工作，包括对抗性的NLI和模因数据集，以及最近推出的Dynabench平台。

https://nlp.stanford.edu/seminar/details/douwekiela.shtml

成为VIP会员查看完整内容
https://nlp.stanford.edu/seminar/details/douwekiela.shtml
【55页ppt】Rethinking Benchmarking in AI
30

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。
LinkedIn《贝叶斯优化推荐系统》，IJCAI报告，142页ppt
LinkedIn《贝叶斯优化推荐系统》，IJCAI报告，142页ppt
专知会员服务
51+阅读 · 2021年1月11日
【Yoshua Bengio】因果表示学习，附视频与72页ppt
【Yoshua Bengio】因果表示学习，附视频与72页ppt
专知会员服务
75+阅读 · 2021年1月7日
最新《弱监督预训练语言模型微调》报告，52页ppt
最新《弱监督预训练语言模型微调》报告，52页ppt
专知会员服务
37+阅读 · 2020年12月26日
最新《元学习》研究进展报告与论文，DeepMind Jane Wang研究科学家为你讲解，附下载
最新《元学习》研究进展报告与论文，DeepMind Jane Wang研究科学家为你讲解，附下载
专知会员服务
46+阅读 · 2020年12月7日
【Facebook AI】无监督机器翻译，336页ppt，Unsupervised Machine Translation
专知会员服务
17+阅读 · 2020年11月17日
【KDD2020】可解释深度神经网络，200页ppt
专知会员服务
169+阅读 · 2020年8月26日
GANs最新进展，30页ppt，GANs: the story so far
GANs最新进展，30页ppt，GANs: the story so far
专知会员服务
42+阅读 · 2020年8月2日
商业数据分析，39页ppt
商业数据分析，39页ppt
专知会员服务
160+阅读 · 2020年6月2日
少标签数据学习，54页ppt
少标签数据学习，54页ppt
专知会员服务
196+阅读 · 2020年5月22日
【Facebook AI】对抗性NLI:自然语言理解的新基准，Adversarial NLI: A New Benchmark for Natural Language Understanding
【Facebook AI】对抗性NLI:自然语言理解的新基准，Adversarial NLI: A New Benchmark for Natural Language Understanding
专知会员服务
10+阅读 · 2019年11月2日
Google DeepMind最新报告—深度神经网络压缩进展（附PPT下载）
Google DeepMind最新报告—深度神经网络压缩进展（附PPT下载）
专知
27+阅读 · 2019年4月16日
斯坦福NLP组最新报告：自然语言处理中的学习挑战（附149页报告全文下载）
斯坦福NLP组最新报告：自然语言处理中的学习挑战（附149页报告全文下载）
专知
14+阅读 · 2019年4月8日
5GAA：C-V2X和DSRC的性能对比分析报告
5GAA：C-V2X和DSRC的性能对比分析报告
智能交通技术
11+阅读 · 2019年3月8日
39页《迁移学习自然语言生成》PPT
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
阿里巴巴ET城市大脑
阿里巴巴ET城市大脑
智能交通技术
6+阅读 · 2018年12月23日
全面超越人类！Google称霸SQuAD，BERT横扫11大NLP测试
全面超越人类！Google称霸SQuAD，BERT横扫11大NLP测试
量子位
7+阅读 · 2018年10月13日
自然语言处理(NLP)前沿进展报告（PPT下载）
自然语言处理(NLP)前沿进展报告（PPT下载）
专知
23+阅读 · 2018年9月29日
NAACL研讨会深思：NLP泛化模型背后的虚假和脆弱
NAACL研讨会深思：NLP泛化模型背后的虚假和脆弱
论智
4+阅读 · 2018年8月24日
【教程】188页PPT帮你理解深度学习在智能对话系统中应用
【教程】188页PPT帮你理解深度学习在智能对话系统中应用
专知
21+阅读 · 2018年8月8日
阿里云研究中心发布城市大脑白皮书：“城市大脑”有三大衡量标准
阿里云研究中心发布城市大脑白皮书：“城市大脑”有三大衡量标准
阿里云
6+阅读 · 2018年6月28日
Torchattacks: A PyTorch Repository for Adversarial Attacks
Arxiv
1+阅读 · 2021年2月19日
CoDEx: A Comprehensive Knowledge Graph Completion Benchmark
Arxiv
10+阅读 · 2020年10月6日
A Benchmarking Study of Embedding-based Entity Alignment for Knowledge Graphs
Arxiv
3+阅读 · 2020年7月20日
Consensus-Aware Visual-Semantic Embedding for Image-Text Matching
Arxiv
4+阅读 · 2020年7月17日
Adversarial NLI: A New Benchmark for Natural Language Understanding
Arxiv
4+阅读 · 2019年10月31日
DyKgChat: Benchmarking Dialogue Generation Grounding on Dynamic Knowledge Graphs
Arxiv
3+阅读 · 2019年10月1日
Commonsense Reasoning for Natural Language Understanding: A Survey of Benchmarks, Resources, and Approaches
Arxiv
16+阅读 · 2019年4月2日
Orthogonal Matching Pursuit for Text Classification
Arxiv
6+阅读 · 2018年7月12日
TBD: Benchmarking and Analyzing Deep Neural Network Training
Arxiv
3+阅读 · 2018年3月16日
Efficient Parallel Translating Embedding For Knowledge Graphs
Arxiv
9+阅读 · 2018年1月9日
VIP会员
相关主题
人工智能
基准测试
相关VIP内容
LinkedIn《贝叶斯优化推荐系统》，IJCAI报告，142页ppt
LinkedIn《贝叶斯优化推荐系统》，IJCAI报告，142页ppt
专知会员服务
51+阅读 · 2021年1月11日
【Yoshua Bengio】因果表示学习，附视频与72页ppt
【Yoshua Bengio】因果表示学习，附视频与72页ppt
专知会员服务
75+阅读 · 2021年1月7日
最新《弱监督预训练语言模型微调》报告，52页ppt
最新《弱监督预训练语言模型微调》报告，52页ppt
专知会员服务
37+阅读 · 2020年12月26日
最新《元学习》研究进展报告与论文，DeepMind Jane Wang研究科学家为你讲解，附下载
最新《元学习》研究进展报告与论文，DeepMind Jane Wang研究科学家为你讲解，附下载
专知会员服务
46+阅读 · 2020年12月7日
【Facebook AI】无监督机器翻译，336页ppt，Unsupervised Machine Translation
专知会员服务
17+阅读 · 2020年11月17日
【KDD2020】可解释深度神经网络，200页ppt
专知会员服务
169+阅读 · 2020年8月26日
GANs最新进展，30页ppt，GANs: the story so far
GANs最新进展，30页ppt，GANs: the story so far
专知会员服务
42+阅读 · 2020年8月2日
商业数据分析，39页ppt
商业数据分析，39页ppt
专知会员服务
160+阅读 · 2020年6月2日
少标签数据学习，54页ppt
少标签数据学习，54页ppt
专知会员服务
196+阅读 · 2020年5月22日
【Facebook AI】对抗性NLI:自然语言理解的新基准，Adversarial NLI: A New Benchmark for Natural Language Understanding
【Facebook AI】对抗性NLI:自然语言理解的新基准，Adversarial NLI: A New Benchmark for Natural Language Understanding
专知会员服务
10+阅读 · 2019年11月2日
热门VIP内容
相关资讯
Google DeepMind最新报告—深度神经网络压缩进展（附PPT下载）
Google DeepMind最新报告—深度神经网络压缩进展（附PPT下载）
专知
27+阅读 · 2019年4月16日
斯坦福NLP组最新报告：自然语言处理中的学习挑战（附149页报告全文下载）
斯坦福NLP组最新报告：自然语言处理中的学习挑战（附149页报告全文下载）
专知
14+阅读 · 2019年4月8日
5GAA：C-V2X和DSRC的性能对比分析报告
5GAA：C-V2X和DSRC的性能对比分析报告
智能交通技术
11+阅读 · 2019年3月8日
39页《迁移学习自然语言生成》PPT
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
阿里巴巴ET城市大脑
阿里巴巴ET城市大脑
智能交通技术
6+阅读 · 2018年12月23日
全面超越人类！Google称霸SQuAD，BERT横扫11大NLP测试
全面超越人类！Google称霸SQuAD，BERT横扫11大NLP测试
量子位
7+阅读 · 2018年10月13日
自然语言处理(NLP)前沿进展报告（PPT下载）
自然语言处理(NLP)前沿进展报告（PPT下载）
专知
23+阅读 · 2018年9月29日
NAACL研讨会深思：NLP泛化模型背后的虚假和脆弱
NAACL研讨会深思：NLP泛化模型背后的虚假和脆弱
论智
4+阅读 · 2018年8月24日
【教程】188页PPT帮你理解深度学习在智能对话系统中应用
【教程】188页PPT帮你理解深度学习在智能对话系统中应用
专知
21+阅读 · 2018年8月8日
阿里云研究中心发布城市大脑白皮书：“城市大脑”有三大衡量标准
阿里云研究中心发布城市大脑白皮书：“城市大脑”有三大衡量标准
阿里云
6+阅读 · 2018年6月28日
相关论文
Torchattacks: A PyTorch Repository for Adversarial Attacks
Arxiv
1+阅读 · 2021年2月19日
CoDEx: A Comprehensive Knowledge Graph Completion Benchmark
Arxiv
10+阅读 · 2020年10月6日
A Benchmarking Study of Embedding-based Entity Alignment for Knowledge Graphs
Arxiv
3+阅读 · 2020年7月20日
Consensus-Aware Visual-Semantic Embedding for Image-Text Matching
Arxiv
4+阅读 · 2020年7月17日
Adversarial NLI: A New Benchmark for Natural Language Understanding
Arxiv
4+阅读 · 2019年10月31日
DyKgChat: Benchmarking Dialogue Generation Grounding on Dynamic Knowledge Graphs
Arxiv
3+阅读 · 2019年10月1日
Commonsense Reasoning for Natural Language Understanding: A Survey of Benchmarks, Resources, and Approaches
Arxiv
16+阅读 · 2019年4月2日
Orthogonal Matching Pursuit for Text Classification
Arxiv
6+阅读 · 2018年7月12日
TBD: Benchmarking and Analyzing Deep Neural Network Training
Arxiv
3+阅读 · 2018年3月16日
Efficient Parallel Translating Embedding For Knowledge Graphs
Arxiv
9+阅读 · 2018年1月9日
微信扫码咨询专知VIP会员
Top