7 Papers & Radios | 首个用于工业开发的自动代码生成系统；多模态图像合成与编辑综述

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周主要论文包括首个用于工业开发的自动代码生成系统，精巧高效还入选了顶会；英伟达 & 斯坦福做出了超轻薄 VR 眼镜。

目录

1. Incorporating Domain Knowledge through Task Augmentation for Front-End JavaScript Code Generation
2. Ferroelectric/paraelectric superlattices for energy storage
3. Oscillations of Drops with Mobile Contact Lines on the International Space Station: Elucidation of Terrestrial Inertial Droplet Spreading
4. Holographic Glasses for Virtual Reality
5. Panoptic Scene Graph Generation
6. Multimodal Image Synthesis and Editing: A Survey
7. Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling? 
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Incorporating Domain Knowledge through Task Augmentation for Front-End JavaScript Code Generation

• 作者：Sijie Shen 等
• 论文地址：https://arxiv.org/pdf/2208.10091.pdf

摘要： 代码生成，即希望机器能像人一样将一些自然逻辑，用形式化的方式，或者说代码表达出来，这样的能力非常令人振奋，同样也充满了困难。目前尽管深度学习非常强大，但即使是百亿级的 Transformer，仍然在这个任务上做的不尽人意。而本文提出的模型，第一次真正在工业开发场景中，帮助用户快速生成高效的代码。

具体而言，对于不那么熟悉代码的淘宝店主，应用了本文提出模型的 BizCook，能帮助生成购物网站的业务代码。

本工作已被计算机软件工程顶会 ESEC/FSE 2022 Industry Track 接收，并且已经在阿里巴巴的 BizCook 平台应用 。据我们所知，BizCook 是 第一个在工业开发环境中被采用的领域代码生成系统 。

本文进一步将 JavaScript 逻辑表达分为以下四个类别。

推荐： 首个用于工业开发的自动代码生成系统，精巧高效还入选了顶会。

论文 2：Ferroelectric/paraelectric superlattices for energy storage

• 作者：Hugo Aramberri 等
• 论文地址：https://www.science.org/doi/10.1126/sciadv.abn4880

摘要： 目前，缩小电子产品的一个主要障碍是其电容器的尺寸相对较大。不过，现在科学家们已经开发出新的超晶格 (Superlattice)，可能会使制造的电容器尺寸仅为传统电容器的百分之一。这项研究发表在《Science Advances》上。

该团队构建了 由铁电钛酸铅 (PbTiO_3) 和顺电钛酸锶 (SrTiO_3) 制成的超晶格 。之所以称为超晶格，是因为钛酸铅和钛酸锶本身排列成晶格结构，它们被放置在彼此交替的薄层中。

(PbTiO_3)_4/(SrTiO_3)_4 超晶格的声子不稳定性和基态。

推荐： 大块头时代终结？新型超晶格材料使电容器体积缩小 100 倍。

论文 3：Oscillations of Drops with Mobile Contact Lines on the International Space Station: Elucidation of Terrestrial Inertial Droplet Spreading

• 作者：J. McCraney 等
• 论文地址：https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.129.084501

摘要： 当全世界的天文学家都沉浸在对遥远宇宙的新观点时，来自国际空间站上的一项实验让我们对再熟悉不过的「水」有了更进一步的认识。具体而言，空间站特有的微重力环境清楚地展示了水滴在固体表面振荡和扩散的方式，这些发现对 3D 打印、喷雾冷却、制造和涂层操作方面有着非常实际的应用。

该研究发表在《物理评论快报》上。他们研究了一系列的图像，其中包含了水滴震荡的几十种可能形状。Steen 通过对水滴的能量状态进行编号，将它们组织成一个「周期表」。

推荐： 四年研究浓缩为几分钟实验，已故教授所提理论在太空得到证明

论文 4：Holographic Glasses for Virtual Reality

• 作者：Jonghyun Kim
• 论文地址：https://d1qx31qr3h6wln.cloudfront.net/publications/Holographic_Glasses.pdf

摘要： 在最近一篇 SIGGRAPH 2022 论文中，来自英伟达和斯坦福大学的研究者展示了一种 新的基于 Pancake 透镜的 VR 眼镜——Holographic Glasses（全息眼镜） 。它的厚度只有 2.5 毫米，重 60 克，可以向佩戴者的每只眼睛展示 2D 或 3D 图像。

研究者表示，他们的 Holographic Glasses 基于最近的一类想法——使用人工智能技术来提高图像质量，并加速计算机生成的全息图（computer-generated holograms，CGH）的计算。

推荐： 厚度仅 2.5 毫米，重 60 克，英伟达 & 斯坦福做出了超轻薄 VR 眼镜。

论文 5：Panoptic Scene Graph Generation

• 作者：Jingkang Yang 等
• 论文地址：https://arxiv.org/abs/2207.11247

摘要 ： 本文中，新加坡南洋理工大学和商汤科技的研究者提出 全场景图生成（PSG）任务，携同一个精细标注的大规模 PSG 数据集 。

该任务利用全景分割来全面准确地定位对象和背景，从而解决场景图生成任务的固有缺点，从而推动该领域朝着全面和深入的场景理解迈进。 本研究被 ECCV 2022 会议接收 。

推荐： 全场景图生成 PSG：追求「最全面」的场景理解。

论文 6：Multimodal Image Synthesis and Editing: A Survey

• 作者：Fangneng Zhan 等
• 论文地址：https://arxiv.org/pdf/2112.13592.pdf

摘要：近期 OpenAI 发布的 DALLE-2 和谷歌发布的 Imagen 等实现了令人惊叹的文字到图像的生成效果，引发了广泛关注并且衍生出了很多有趣的应用。而文字到图像的生成属于多模态图像合成与编辑领域的一个典型任务。

近日，来自马普所和南洋理工等机构的研究人员 对多模态图像合成与编辑这一大领域的研究现状和未来发展做了详细的调查和分析 。

DALL-E 2 的整体架构。

推荐： 多模态图像合成与编辑这么火，马普所、南洋理工等出了份详细综述。

论文 7：Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling?

• 作者：Yi Tay 等
• 论文地址：https://arxiv.org/pdf/2207.10551.pdf

摘要： 在最近一篇论文中，谷歌的研究者试图了解归纳偏置（体系架构）对语言模型标度律的影响。为此，研究者 在多个计算区域和范围内（从 1500 万到 400 亿参数）预训练和微调了十种不同的模型架构 。

总体来说，他们 预训练和微调了 100 多种不同体系架构和大小的模型 ，并提出了在缩放这十种不同体系架构方面的见解和挑战。

本文的主要结果，包括可训练参数量、FLOPs（单次正向传递）和速度（每秒步数）等。

推荐： 谷歌、DeepMind 新研究：归纳偏置如何影响模型缩放？

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Sparse Optimization for Unsupervised Extractive Summarization of Long Documents with the Frank-Wolfe Algorithm.  (from Laurent El Ghaoui)

2. PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation.  (from Dacheng Tao)

3. Shortcut Learning of Large Language Models in Natural Language Understanding: A Survey.  (from Dacheng Tao)

4. Bitext Mining for Low-Resource Languages via Contrastive Learning.  (from Philipp Koehn)

5. I Know What You Do Not Know: Knowledge Graph Embedding via Co-distillation Learning.  (from Yang Liu)

6. Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization.  (from Yang Liu, Jianfeng Gao)

7. Combining Compressions for Multiplicative Size Scaling on Natural Language Tasks.  (from Ajay Gupta)

8. Characterizing narrative time in books through fluctuations in power and danger arcs.  (from Peter Sheridan Dodds)

9. GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization.  (from Sophia Ananiadou)

10. SciAnnotate: A Tool for Integrating Weak Labeling Sources for Sequence Labeling.  (from Le Song)

本周 10 篇 CV 精选论文是：

1. Learning from Unlabeled 3D Environments for Vision-and-Language Navigation.  (from Cordelia Schmid, Ivan Laptev)

2. Refine and Represent: Region-to-Object Representation Learning.  (from Trevor Darrell)

3. Learning Visibility for Robust Dense Human Body Estimation.  (from Ming-Hsuan Yang)

4. Masked Autoencoders Enable Efficient Knowledge Distillers.  (from Alan Yuille)

5. Hierarchical Perceptual Noise Injection for Social Media Fingerprint Privacy Protection.  (from Dacheng Tao)

6. The Value of AI Guidance in Human Examination of Synthetically-Generated Faces.  (from Kevin Bowyer)

7. State Of The Art In Open-Set Iris Presentation Attack Detection.  (from Kevin Bowyer)

8. ZoomNAS: Searching for Whole-body Human Pose Estimation in the Wild.  (from Xiaogang Wang)

9. Meta-Causal Feature Learning for Out-of-Distribution Generalization.  (from Xuelong Li)

10. Learning in Audio-visual Context: A Review, Analysis, and New Perspective.  (from Xuelong Li)

本周 10 篇 ML 精选论文是：

1. MentorGNN: Deriving Curriculum for Pre-Training GNNs.  (from Jiawei Han)

2. Learning Task Automata for Reinforcement Learning using Hidden Markov Models.  (from Michael Wooldridge)

3. A Multi-Head Model for Continual Learning via Out-of-Distribution Replay.  (from Bing Liu)

4. NeuralUQ: A comprehensive library for uncertainty quantification in neural differential equations and operators.  (from George Em Karniadakis)

5. Knowledge Graph Fact Prediction via Knowledge-Enriched Tensor Factorization.  (from Tim Finin)

6. A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning.  (from Mehryar Mohri, Tong Zhang)

7. Deterministic Graph-Walking Program Mining.  (from Roger Wattenhofer)

8. Intersection of Parallels as an Early Stopping Criterion.  (from Maarten de Rijke)

9. Provable Adaptivity in Adam.  (from Tie-Yan Liu)

10. GANs and Closures: Micro-Macro Consistency in Multiscale Modeling.  (from Ioannis G. Kevrekidis)

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com