ICLR 2020 | 受启诺奖研究，利用格网细胞学习多尺度表达（视频解读）

作者 | 买庚辰

编辑 | 丛末

本 文对由美国加州大学圣巴巴拉分校 完成的，被ICLR 2020录用的论文《Multi-Scale Representation Learning for Spatial Feature Distributions using Grid Cells》 进行解读。

论文：https://arxiv.org/pdf/2003.00824.pdf

论文简介：

目前，非监督语言编码模型加大的推进了自然语言处理技术的发展，他的核心理念就是根据词语在文章中的位置以及上下文关系使用神经网络把词语转化为向量空间表达，这个结果非常适合与多种下游的任务。 在空间分析领域，我们看到了非常相似的情况， GIS 学者注重于把地理对象（例如 POI ）的绝对位置信息和周边环境信息加入模型当中，这意味着一个广义的（地理）空间表达模型会对众多任务都有帮助。

然而，除了简单的对空间进行分割或者直接把坐标输入前馈神经网络（ FFN ）的做法，目前不存在这样的广义空间表达模型，不仅如此也很少有学者研究如何同时对不同特征的空间分布进行总体建模，而这一情况经常在 GIS 数据中出现。

与此同时，我们注意到近期赢得 诺贝尔奖的神经科学研究发现，哺乳动物的格网细胞（ grid cell ）提供了一种多尺度周期性的表达，这种表达作为哺乳动物大脑中位置编码的一种指标对于它们认路和整合路经信息十分重要。

基于这些发现，本文提出一种叫做 Space2Vec 的表达学习模型，他可以对地理对象的绝对空间位置和相对空间关系进行编码。 我们在两个真实的地理数据上做了实验： 1 ）根据 POI 的位置和周围环境信息预测它的种类； 2 ）利用拍摄位置的影像分类。

实验结果表明由于这种多尺度的空间表达， Space2Vec 在上述两个任务中都击败了众多成熟的机器学习方法，例如 RBF ，多层神经网络，以及网格镶嵌算法。 更细致的实验分析显示所有的基线方法均只能在一个尺度下较好的描述空间分布，但在其他尺度下的表现很差，与之相反 Space2Vec 的多尺度空间表达方法可以同时处理多个尺度下的空间分布。

作者简介：

买庚辰，美国加州大学圣巴巴拉分校地理系时空知识组织实验室博士。研究方向：空间显示的机器学习模型（Spatially-explicit machine learning），地理知识问答和知识图谱。

---

ICLR 2020 系列论文解读

0、ICLR 2020 会议动态报道

疫情严重，ICLR2020 将举办虚拟会议，非洲首次 AI 国际顶会就此泡汤

疫情影响，ICLR 突然改为线上模式，2020年将成为顶会变革之年吗？

火爆的图机器学习，ICLR 2020上有哪些研究趋势？

1、直播

回放 | 华为诺亚方舟ICLR满分论文：基于强化学习的因果发现

2、Oral

01. Oral | 一种镜像生成式机器翻译模型：MGNMT

02. Oral | 额外高斯先验目标，缓解负多样性无知

03. Oral | 引入额外门控运算，LSTM稍做修改，性能便堪比Transformer-XL

04. Oral | 并行蒙卡树搜索，性能无损，线性加速，勇闯「消消乐」1000关！

05. Oral | 元强化学习迎来一盆冷水： 不比元Q学习好多少

06. Oral | 用群卷积建立深度、等变的胶囊网络

07. Oral | 谷歌推出分布式强化学习框架SEED，性能“完爆”IMPALA，可扩展数千台机器，还很便宜

08. Oral | Reformer ，一种高效的Transformer

3、Spotlight

01. Spotlight | 模型参数这么多，泛化能力为什么还能这么强？

02. Spotlight | 公平与精确同样重要！CMU提出学习公平表征方法，实现算法公平

03. Spotlight | 组合泛化能力太差？用深度学习融合组合求解器试试

04. Spotlight | 加速NAS，仅用0.1秒完成搜索

05. Spotlight | 华盛顿大学：图像分类中对可实现攻击的防御（视频解读）

06. Spotlight | 超越传统，基于图神经网络的归纳矩阵补全

4、Poster

01. Poster | 华为诺亚：巧妙思想，NAS与「对抗」结合，速率提高11倍

02. Poster | 抛开卷积，多头自注意力能够表达任何卷积操作

03. Poster | NAS 太难了，搜索结果堪比随机采样！华为给出 6 条建议

04.  Poster | 清华提 NExT 框架，用「神经元执行树」学习可解释性

05. Poster | 谷歌最新研究：用“复合散度”量化模型合成泛化能力

06. Poster | 完胜 BERT，谷歌最佳 NLP 预训练模型开源，单卡训练仅需 4 天

07. Poster |  FSNet：利用卷积核概要进行深度卷积神经网络的压缩

08. Poster | "同步平均教学"框架为无监督学习提供更鲁棒的伪标签

09. Poster | 快速神经网络自适应技术

---

---

点击“ 阅读原文” 查看 ICLR 系列论文解读