卖萌屋新闻联播栏目，倾情上线~

2021 年 11 月 10 日 夕小瑶的卖萌屋

编 | 小轶

感谢提供本期内容的 iven、ZenMoore、 jxyxiangyu、付瑶

今天这篇推文是卖萌屋全新的原创系列———暂且取名为“卖萌屋新闻联播”节目。卖萌屋的作者、小编日常都会在团队群里分享各种最新发现的实用资源、有意思的学术工作。小伙伴们在互相分享的过程中都受益匪浅。我们也非常希望能将其中一些有价值的内容分享给各位小屋的读者们。

区别于过往以介绍单篇工作为主的推送形式，“新闻联播”栏目会将最新鲜的实用信息汇集在一起，以言简意赅的短新闻形式呈现给大家。本文也是小屋的第一次尝试，还请各位多多留言反馈。

有用的资源

EMNLP、NIPS 论文放出

EMNLP 2021 的 paper 都官方放出啦。之前只出了 accepted paper 的标题列表，没给原文 pdf。大家之前相中的 paper 们，现在都可以去尽情翻牌啦~

链接：
https://aclanthology.org/events/emnlp-2021/

NIPS 2021 的 accepted paper 列表也公布了。

链接：
https://neurips.cc/Conferences/2021/AcceptedPapersInitial

吴恩达首届 Data-centric AI 比赛获胜方案

小屋在今年 6 月的时候有向大家推荐过吴恩达老师发起的 Data-Centric AI 竞赛。区别于传统的 Model-Centric 比赛，这项比赛不是给定数据集，让参赛者造更好的模型；而是给定模型，要求参赛者通过不断改进数据以获得更好的模型效果。这种比赛设计其实更加符合真实工程实践中的需求 —— SOTA 模型往往大同小异，真正重要的反倒是数据。

现在该比赛已经结束，获胜队伍们都纷纷将自己的比赛方案整理成文，发布在了 DeepLearning AI 网站上。

选手博文链接：
https://www.deeplearning.ai/blog/
比赛主页链接：
https://github.com/hazyresearch/data-centric-ai/blob/main/README.md

好玩的demo

Hugging Face 上线新工具：上传图片一键生成二次元图片

Hugging Face 家前些天上线了一个新玩具，可以将上传的照片/图片一键变为二次元风画像。emmm虽然其实某图秀秀的美颜软件已经推出类似功能很久了，但效果跟 Hugging Face 家完全不能比... 大家可以上去玩玩，不过现在要排队了，排队时长 30 分钟起步:)

demo 链接：
https://huggingface.co/spaces/akhaliq/AnimeGANv2

学术前沿

CMU & Stanford 联合推出多模态基准测试平台 MultiBench

CMU、Stanford 等大学近日联合发布了一个最新的多模态 Benchmark，MultiBench。是目前为止最为全面的测试多模态方法的基准测试平台。共覆盖 15 个数据集、20个预测任务，并提供了超过20种核心多模态方法的标准实现。测试代码完全模块化，非常便于快速实验。做多模态的同学可以关注一下。

项目主页：
https://cmu-multicomp-lab.github.io/multibench/
论文链接：
https://arxiv.org/pdf/2107.07502.pdf

谷歌发布大规模情感分类数据集 GoEmotions

Google 最新发布了一个情感分类数据集。此前情感分类的粒度其实非常粗糙，时常只有正/负向两类情感，最多的也不过分到五六种。而且还有一个问题就是，一段文本往往只认为有一种情感——这个假设显然也是不对的。谷歌爸爸这次一鼓作气，设置了 58 种细粒度情感，标注了 58k 的 Reddit 评论。推出了最新数据集 GoEmotions。

UW、Facebook、Allen AI 联合推出语言模型元学习框架 MetaUCL，142 个数据集上验证有效

一个 Few-shot 场景下的的元训练框架，在包括分类、QA、NLI 等等 142 个 NLP 数据集上进行实验，皆优于基准模型。几个基准模型都是非常 competitive 的方法，包括前段时期大火的 instruction prompting。

论文链接：
https://arxiv.org/pdf/2110.15943.pdf
项目地址：
https://github.com/facebookresearch/metaicl

建语料库什么的...让 GPT-3 来办就好啦！

最后推荐一篇非常有意思的论文。以往，我们在某个任务上训练模型的过程是：人类知识 → 手动标注语料库 → 训练模型。这篇文章则探索了另一个思路：无标注语料 → 差不多快要成精了的 GPT-3 → GPT-3 自动生成某任务上的语料 → 训练该任务的模型。这篇文章用 GPT-3 生成了一个尝试知识图谱，用于训练一个具有常识推理能力的小模型。结果这个小模型在常识推理任务上的表现比它的爸爸 GPT-3 还要厉害！

论文标题：
Symbolic Knowledge Distillation: from General Language Models to Commonsense Models
论文链接：
https://arxiv.org/pdf/2110.07178.pdf

近期原创推荐

最后，夹带私货地推荐几篇卖萌屋近期的精彩原创:)

《一文跟进Prompt进展！综述+15篇最新论文逐一梳理》：从 7 月的 prompt 综述为起点，对 prompt 相关基本概念做了初步扫盲。并梳理了在其之后的 15 篇 prompt 最新重要工作。推荐收藏~
《仅仅因为方法 Too Simple 就被拒稿，合理吗？》：佐治亚理工教授在 twitter 上吐槽了自己因“方法 too simple”而惨遭拒稿，引起一众同情。本文从该事件出发展开了一系列探讨——我们究竟在期待怎样的工作？引用文中的一段话：“现在 AI 界似乎缺少一套系统的理念与方法整合不同领域不同任务不同数据集上的不同成果，同时也缺少或是刻意遮蔽了一个统一的期望解决的最高问题，而将目光下放到在特定数据集上不同方法论间的竞争”。
《你的 GNN，可能 99% 的参数都是冗余的》：大家都用 GNN 在图上做 reasoning，但是 GNN 真的有用吗？杨笛一老师的这篇工作表明，GNN 在很多复杂任务上都是可有可无的。GNN能做的 reasoning 仅限简单的任务（比如计数）于是作者们设计了一个图上计数的模块取代 GNN，用不到 GNN 1% 的参数，战胜 sota。
《如何提升大规模Transformer的训练效果？Primer给出答案》：这篇介绍了谷歌爸爸的最新工作 Primer——通过模型架构自动搜索技术，找到一个高效更为 Transformer 变种。实验表明，Primer 可以用原本三分之一的算力得到相近的实验结果。然而看完我只想说——AI 圈有了 foundation，还有了 primer，是不是联名美妆界指日可待！！！？

好了今天的推荐就到这里了。如果各位觉得有用，或者有任何建议的话，还请多多点赞留言呀~ 也欢迎各位把自己看到的有用资讯后台发送给我们。我们会统一整理，在日后的推送中分享给大家！

萌屋作者：小轶

是小轶，不是小秩！更不要叫小铁！高冷的形象是需要大家一起维护的！作为成熟的大人，正在勤俭节约、兢兢业业，为成为一名合格的（但是仍然发量充足的）PhD而努力着。日常沉迷对话系统，说不定，正在和你对话的，并不是不是真正的小轶哦（！？）

“高冷？那是站在冰箱顶端的意思啦。” ——白鹡鸰

作品推荐：

1.写了一篇关于 NLP 综述的综述！

2.全球44家机构，55位大佬，历时两年，打造最强NLG评测基准！

3.谷歌重磅：可以优化自己的优化器！手动调参或将成为历史！？

4.ACL20 Best Paper揭晓！NLP模型评价体系或将迎来重大转折