受果蝇启发的哈希算法!用“生物学上合理的”突触可塑性规则生成哈希码

2020 年 2 月 23 日 新智元













  新智元报道  

来源:VB

编辑:王汐,元子

【新智元导读】FlyHash是一种受果蝇嗅觉电路启发的算法,已证明该算法可生成哈希码,性能优于经典算法。不幸的是,由于FlyHash使用随机投影,因此无法从数据中学习。为了克服这一限制,研究人员开发了BioHash,该技术应用“本地”和“生物学上可行的”突触可塑性规则来产生哈希码。「新智元急聘主笔、编辑、运营经理、客户经理,添加HR微信(Dr-wly)或扫描文末二维码了解详情。」


听说过FlyHash吗?这个算法的灵感来自于果蝇的嗅觉回路,它可以产生哈希码——物体的数字表示——其性能优于经典算法。不幸的是,由于FlyHash使用随机投影,它无法从数据中学习。


为了克服这一限制,普林斯顿大学、圣地亚哥大学、IBM Research和MIT-IBM Watson AI实验室的研究人员开发了BioHash,它应用“局部”和“生物学上合理的”突触可塑性规则来生成hash码。他们说,它比之前发布的各种哈希方法的基准测试都要好,而且它可以生成对相似度搜索有用的二进制表示。



正如研究人员在一份预先印刷的论文中详细解释他们的工作,这种被称为扩展表征的现象在神经生物学中几乎无处不在。在此上下文中,“扩展”是指将高维输入数据映射到甚至更高维的辅助表示。例如,在上面提到的果蝇嗅觉系统中,大约有50个神经元将它们的活动发送到大约2500个叫做Kenyon的细胞中,实现了大约50倍的扩展。


从计算的角度来看,扩展可以增加AI模型的内存存储容量。正是基于这种动机,该团队设计了散列算法BioHash,可用于相似度搜索。


在相似度搜索中,给定一个查询、一个相似度度量和一个包含任意数量项的数据库,目标是从数据库中检索与查询最相似的项的排序列表。当数据是高维的(例如图像或文档),而数据库很大(以百万或数十亿计的条目为单位),这在计算上是一个具有挑战性的问题。但是,近似解通常是可以接受的,包括一种称为位置敏感哈希(LHS)的哈希方案,其中每个数据库条目都用二进制表示进行编码,并检索密切相关的条目。


FlyHash利用LHS, BioHash也是如此。但重要的是,BioHash速度更快,可扩展性更强。


研究人员在MNIST和CIFAR-10上对Biohash进行了培训和测试。MNIST是一组包含7万张灰度图像的手写数字,其中10类数字从“0”到“9”不等,CIFAR-10是一个包含6万张来自10类数字(如“car”、“bird”)的数据集。他们说,BioHash在速度方面表现出了最好的检索性能,远远超过了其他方法,而BioHash的改进版本——BioConvHash——由于加入了专门构建的过滤器,性能甚至更好。


该团队断言,这提供了证据,说明扩展表示之所以在生物中普遍存在,是因为它们执行LHS。换句话说,他们把相似的刺激聚在一起,把不同的刺激分开。“我们的工作为以下提议提供了证据:LHS可能是稀疏膨胀电路利用的基本计算原理……Biohash以数据驱动的方式产生稀疏的高维哈希码,并以神经生物学上可行的方式学习突触。”


事实证明,神经生物学和机器学习领域是密切相关的。谷歌母公司Alphabet旗下的DeepMind本月早些时候发表了一篇论文,研究大脑是否以概率分布(一种提供不同结果发生概率的数学函数)而非单一平均值来代表未来可能的奖励。谷歌和马克斯·普朗克神经生物学研究所的科学家最近展示了一种递归神经网络——一种经常用于手写和语音识别的机器学习算法——它可以映射大脑的神经元。


参考链接:

https://venturebeat.com/2020/01/21/ibms-biologically-inspired-ai-generates-hash-codes-faster-than-classical-approaches/


登录查看更多
1

相关内容

[ICML2020]层次间消息传递的分子图学习
专知会员服务
33+阅读 · 2020年6月27日
专知会员服务
49+阅读 · 2020年6月14日
【SIGIR2020】用于冷启动推荐的内容感知神经哈希
专知会员服务
22+阅读 · 2020年6月2日
【IJCAI2020-CMU】结构注意力的神经抽象摘要
专知会员服务
21+阅读 · 2020年4月23日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
专知会员服务
25+阅读 · 2020年2月15日
基于二进制哈希编码快速学习的快速图像检索
极市平台
12+阅读 · 2018年5月17日
无问西东,只问哈希
线性资本
3+阅读 · 2018年1月18日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
谷歌Jeff Dean团队发文,探讨「学习模型」如何替代传统索引结构
北京思腾合力科技有限公司
5+阅读 · 2017年12月15日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
5+阅读 · 2018年3月6日
VIP会员
Top
微信扫码咨询专知VIP会员