会员服务 ·

11月AI大事件回顾：GPT3开放使用/女娲视觉大模型/AE文艺复兴/...

2021 年 12 月 8 日 夕小瑶的卖萌屋

编 | iven

感谢提供本期内容的 ZenMoore、 jxyxiangyu、付瑶

大家好～ 11月的新闻速报来啦！上个月不知道大家有没有忙着写文章，反正小编是这样的：

好啦，让我们快来回顾上个月的 AI 大新闻吧！

学术进展

何恺明 Masked Autoencoders：自监督恢复原图就行

像 MLM 一样直接重构图片里的像素，竟然也能 work。这篇文章构建了不对称的自编码器，用来恢复图片中 mask 掉的像素。这样朴素的想法，在 ViT 盛行的今天，显得格格不入😂

Yoshua Bengio 一作，长达 70 页：为主动学习拓展理论

在 NeurIPS 提出生成流网络（GFlowNets）之后，Yoshua Bengio 又为我们详细阐述了它的数学框架和数学性质。同时，对原始 GFlowNet 的理论进行了扩展。

https://arxiv.org/abs/2111.09266

Gradients are Not All You Need

梯度反传，可以说是过去几十年中机器学习复兴的主角。也正是 PyTorch TensorFlow 等自动微分库的出现，让越来越多的人进入机器学习领域。这篇工作讨论了在使用迭代可微系统时出现的一个潜在问题。

当通过迭代可微系统计算梯度时，我们需要计算由状态转换雅可比行列式的乘积组成的项。如果 Jacobian 的特征值大于 1，则梯度会爆炸。小于 1, 梯度则会消失。针对这个问题，文章给出了分析和解决方法。

https://arxiv.org/abs/2111.05803

ICLR 最高分文章

11 月 12 号，ICLR 出分，最高分文章 Contrastive Label Disambiguation for Partial Label Learning 引起了大家关注：对比学习的方法在部分标签数据上学习（比如 n 类标签，只使用其中的 m 类数据训练）竟能超过全监督学习。

https://openreview.net/forum?id=EhYjZy6e1gJ

ViT 综述：引发原作者感慨

来自联想、中科院的团队发表了 A Survey of Visual Transformers。针对 CV 的分类、目标检测、语义分割三个任务，回顾了 100+ ViT 模型。引发 ViT 作者本人感慨：这一年的进展我都没想到呢 :P

arxiv.org/abs/2111.06091 https://twitter.com/arankomatsuzaki/status/1463692664814063625

女娲：通用视觉生成模型

MSRA 北大团队发表了文章 NUWA: Visual Synthesis Pre-training for Neural visUal World creAtion。这个工作设计了一个 3D Transformer Encoder-Decoder，可以同时处理 3D(video)，2D(image)，1D(text) 的数据用于视觉生成任务。在文字生成图片任务上超过了 DALL-E。

arxiv.org/abs/2111.12417

业界新闻

OpenAI 取消 GPT-3 的等待名单

去年五月发布的 GPT-3 一直需要申请许可才能访问。11月18日，OpenAI 终于取消了等待名单机制，所有开发者都可以直接邮箱登录，使用 API。

Deepmind 登上 Nature 封面：给数学家提供启发

这篇文章探索了机器学习在识别数学结构和模式方面的潜力，并帮助数学家找到他们可能从未发现的发现——这是第一次证明人工智能可以在纯数学的前沿提供帮助。这个框架可以快速验证，两个量之间的关系是否值得研究。

https://www.nature.com/articles/d41586-021-03593-1
https://deepmind.com/blog/article/exploring-the-beauty-of-pure-mathematics-in-novel-ways

资源工具

Sebastian Ruder 最新 QA 教程

Sebastian Ruder 在 EMNLP 2021 的最新 tutorial，主题是 Multi-Domain Multilingual Question Answering。这可能是第一个包含“特定领域内”和“跨语言” QA 的教程。

教程主页：
https://github.com/sebastianruder/emnlp2021-multiqa-tutorial

幻灯片地址：
https://tinyurl.com/multi-qa-tutorial

读论文神器登顶 B 站热搜：沈向洋博士带大家读论文

在线论文阅读神器 ReadPaper 由沈向洋博士创办的 IDEA 旗下团队研发，其收录了近 2 亿篇论文，提供了提取图表、在线检索、翻译、做笔记等功能。页面中的论文速读功能中，很有可能会出现一位大佬，通过十个问题带你速读论文。

https://www.bilibili.com/video/BV1dg411P7De

八卦趣事

完善的同行评议还有多远？

视频博主 Yannic Kilcher 分析了 NeurIPS 2021 在 Openreview 上多轮打分结果之间的一致性，发现除了最优秀的很小一部分文章，其他文章在不同审稿人之间的评价几乎是完全随机的。

https://youtu.be/DEh1GR0t29k

原创推荐

6 年大厂面试官，谈谈我对算法岗面试的一些看法正在求职的小伙伴一定要认真学习这篇文章！市面上的面经只教人怎样表现，这篇文章告诉我们，面试到底在考察什么能力，面试官是怎么考虑怎么设计面试的。
11 个好用的科研工具推荐！工作效率提升 max！好多给大家节省时间的科研小工具！好多痛点能被这篇文章解决：调整引用格式、公式表格转成 latex、给模型起名字、定制化 arXiv 阅读工具……
吐血整理：论文写作中注意这些细节，能显著提升成稿质量非常具体又实用的论文写作建议。评论区网友表示“每天看一遍可以大幅减少被导师骂的概率”。
Facebook 推出 8 比特优化器，两行代码拯救你的显存！也不必研究这个优化器是啥原理，点开文章，复制两行代码——显存立减 75%。咱直接 base 变 large，其他啥都不变，不香嘛～
图灵奖大佬 Lecun 发表对比学习新作，比 SimCLR 更好用！这篇文章为大家分享了 Yann Lecun 等人发表的《Decouple Contrastive Learning》。这篇文章仅仅对 InfoNCE 的表达式进行了一处修改，就大大缓解了 InfoNCE 对于大 Batch Size 的需求问题，并在不同规模的评测数据集上取得了更好的结果。

好啦！这个月的总结就到这里！如果有漏下的，我们评论区见～

萌屋作者：𝕚𝕧𝕖𝕟

在北大读研，目前做信息抽取，对低资源、图网络都非常感兴趣。希望大家在卖萌屋玩得开心ヾ(=･ω･=)o

作品推荐

老板让我用少量样本 finetune 模型，我还有救吗？急急急，在线等！

谷歌：CNN 击败 Transformer，有望成为预训练界新霸主！LeCun 却沉默了...

中文 BERT 上分新技巧，多粒度信息来帮忙

恕我直言，很多小样本学习的工作就是不切实际的

你的 GNN，可能 99% 的参数都是冗余的