简介： 事实证明，迁移学习是在缺乏训练数据的领域中训练深度学习模型的成功技术。主要方法是在大型通用数据集（例如ImageNet）上预训练模型，并在目标域上确定其权重。但是，在海量数据集数量不断增加的新时代，选择相关数据进行预训练是一个关键问题。我们引入了神经数据服务器（NDS），这是一个大型搜索引擎，用于将最有用的传输学习数据查找到目标域。我们的NDS由一个数据服务器组成，该数据服务器为几个大型的流行图像数据集建立索引，并旨在将数据推荐给具有目标应用程序的最终用户的客户端，该应用程序具有自己的小标签数据集。就像在任何可能为众多用户提供信息的搜索引擎中一样，我们希望数据服务器执行的在线计算最少。数据服务器代表具有更紧凑的专家混合模型的大型数据集，并使用它以低计算量在一系列数据服务器-客户端事务中执行数据搜索。我们展示了NDS在各种迁移学习场景中的有效性，展示了在一些目标数据集和任务（例如图像分类，对象检测和实例分割）上的最新性能。
作者： Xi Yan， David Acuna， Sanja Fidler
相关内容
多伦多大学（英语：University of Toronto)，位于安大略省多伦多市，与安大略省政府及议会环绕在市中心的女王公园四周，现已发展成为一所以圣乔治校区（St.George Campus, UTSG）为主，密西沙加校区（Mississauga Campus, UTM）和士嘉宝校区（Scarborough Campus, UTSC）为辅的，以"一主两翼"为格局的世界知名研究性大学。学校始于1827年英国乔治四世颁布的皇家宪章，是殖民时代上加拿大最早建立的高等学府。它早期名为“国王学院”，直至于1849年脱离圣公会而成为非宗教大学，并改为现名。受英国大学制度影响，多伦多大学是美洲少数实行独立书院制的学府，各书院享有高度自治权。
微信扫码咨询专知VIP会员