MIT教计算机识别美食照片，自动生成菜谱（paper+github+数据集）

当你想尝试烹饪新菜品的时候，你是否无从下手呢？现在CSAIL（麻省理工学院最大的实验室,也是世界著名的计算科学和人工智能实验室）的研究人员正在用深度学习帮助你更好的烹饪。

在与卡塔尔计算研究所（QCRI）和加泰罗尼亚理工大学的联合研究中，该团队训练了一种名为 Pic2Recipe 的人工智能系统，以查看食物照片，并能够预测成分并提出类似的食谱。

 

这可能看起来像过去几年中有过的照片识别练习，类似植物，鸟和狗品种鉴定的应用程序，的确有许多共同点。不过，根据麻省理工学院博士后的Yusuf Aytar的说法，Pic2Recipe在2017cvpr上有足够的创新能力：

“在计算机视觉识别领域，食物大多被忽视，因为我们没有大量数据集来进行预测。” 

该团队的其余成员包括麻省理工学院的Antonio Torralba教授，著名的研究生Nick Hynes和Javier Marin，西班牙加泰罗尼亚理工大学的科学家Ferda Ofli和质量控制可靠性研究研究主管Ingmar Weber Amaia Salvador。

他们的论文“烹饪食谱和食物图像学习跨模式嵌入”介绍了Recipe1M，一种新的大规模结构化语料库，超过1M的烹饪食谱数据和800k的食物图像，这使得它成为最大的公开可用的食谱数据集合。

项目的目的不是简单地制作一个海量的烹饪书籍，而是训练一个神经网络来检索食谱：

用户提交的照片被收藏到在线食谱中，并训练机器通过分析配料清单、烹饪说明和食品图像，来自动了解食物的制作方法。这个系统不仅应用在烹饪领域，也可以应用于社交媒体上分享的大量食品图像，以了解食品的重要性及其对公共卫生和文化遗产的作用。

食谱从二十多个流行的烹饪网站上搜集而来，并通过一条流水线进行处理，从原始HTML中提取相关文本，下载图像的链接，并将数据组合成一个紧凑的JSON模式，其中每个被标记的数据具有唯一性。 

Recipe1M数据集有两层。第一曾包含基本信息、标题、成分列表和准备菜肴的说明序列; 所有这些数据都以免费文本形式提供。第二层建立在第一层，并包括与该配方相关联的图像 - 这些图像以JPEG格式转换为RGB通道。Pic2Recipe通过分析食谱图像能够深入了解其成分并生成推荐食谱：

你也可以使用由CSAIL提供的Pic2Recipe网页版来探索食谱：

或者，你可以上传图像 - 但即使是大型数据集，在其清单中也有很多食材如拉面、薯片、牛排这些食物无法准确识别，但尤其擅长识别烘焙类食品：

paper：http://t.cn/R9vmeww

Github：http://t.cn/RK1bLkv

模型：http://t.cn/R9vm1jx

数据集：http://t.cn/R9vmBDN

网页版：http://t.cn/R9vmkhS

编辑：雷特

★推荐阅读★

深度 || 阿里巴巴的无人超市与人工智能战略

李飞飞入选2017ELLE女性科技之星

重磅 ‖ DeepMind让AI更有想象力（paper）

斯坦福大学研究人员开发出4D相机技术

该技术可用于机器人、无人机、自动驾驶(paper)

吴恩达新成果：机器学习模型能比医生更精确诊断心律失常

招聘 志愿者

希望你有稳定输出的时间，英文能力佳，从业者优先。

加入「AI从业者社群」请备注个人信息

添加小鸡微信  liulailiuwang