美剧《硅谷》深度学习APP获艾美奖提名：使用TensorFlow和GPU开发

会员服务 ·

美剧《硅谷》深度学习APP获艾美奖提名：使用TensorFlow和GPU开发

2018 年 7 月 15 日 新智元

《硅谷》中演示了一款识别热狗的软件Not Hotdog，可以在安卓和IOS下载

新智元报道

来源：Medium

作者：Tim Anglade

编辑：闻菲

【新智元导读】继AI制作动画人物、创作剧本、编辑电影之后，今天，一款AI软件正式获得黄金时段艾美奖提名：热播电视剧《硅谷》中一个使用深度学习自动识别热狗的软件再度走入公众视野，使用TensorFlow和英伟达GPU开发。

不知道你有没有看过热播美剧《硅谷》。作为近年来最佳职场喜剧之一，《硅谷》为我们展现了程序员不为人知的一面。《硅谷》在嬉笑怒骂间描绘了一部IT业创业辛酸史，不仅如此，人工智能、机器学习、加密货币……剧集的主题一直紧跟现实硅谷圈的潮流。

其中，在第四季第四集就出现了一个使用深度学习算法识别热狗的APP Not Hotdog，而且现在这款APP也能在安卓和iOS下载。

AI软件正式获得黄金时段艾美奖提名！

今天，制作这款的APP的Tim Anglade（是的，这款APP是他一个人制作的，当然得到了很多人的帮助）在Twitter上宣布，这款AI软件正式获得了黄金时段艾美奖提名！

实际上，在剧集播出后，这款APP就在硅谷掀起了一股话题热潮，因为当时正是图像识别的热度达到巅峰时期。

《硅谷》剧组决定在剧集里做一个能够在手机上运行的热狗识别软件。实现这一目标，Tim Anglade他们设计了一个直接在手机上运行的定制神经架构，并使用Tensorflow，Keras和Nvidia GPU进行训练。

虽然只是用来识别热狗（或者不是热狗），但这款APP无疑是深度学习和边缘计算的一个亲切使用案例。所有的AI工作都由用户的设备100％供电，处理图像时无需离开手机。这为用户提供了更快捷的体验（无需往返云端），离线可用性和更好的隐私。

要知道，那时候还没有TensorFlow Lite，100%在手机端实现物体识别还算是相对超前的概念。

这也使得整个APP能以0美元的成本运行，即使在100万用户的负载下，与传统的基于云的AI方法相比，可以节省大量成本。

这款APP是由一个开发人员自己在内部开发的，用一台笔记本电脑和附加GPU运行，使用手工收集的数据。

作者的开发环境，就是这样简单！

作为一款从剧集中诞生的衍生品，着实火热了一把，还在苹果开发者大会得到了宣传。

作者Tim Anglade在Medium上超详细地介绍了这款APP的设计、开发，从原型到产品的过程，可以阅读原文了解详情。

下面，我们将摘选介绍这款APP的技术细节，使用了什么架构、如何训练，有什么要点。

对非技术公司，个人开发人员和业余爱好者等时间和资源有限的人，构建自己的深度学习APP，是再好不过的上手材料。

Deepdogs架构：受谷歌MobileNet论文推动

他们的最终架构在很大程度上受谷歌在2017年4月17日发布的论文MobileNet的推动，这种新的神经网络架构具有类似Inception的准确性，但只有4M左右的参数。

部分代码截图

之前团队考虑过SqueezeNet，但SqueezeNet对于他们想要实现的目标来说又太简单了，Inception或VGG则不能在手机上运行。MobileNet更适宜在移动端运行，这在当时是他们的首要考虑因素。

距离APP发布还有不到一个月的时间，团队正在努力重现该论文的结果。但是，在MobileNet论文发表后的一天之内，伊斯坦布尔技术大学的学生Refik Can Malli已经在GitHub上公开提供了Keras实现代码。深度学习社区的开放性和活跃性令人赞叹。

团队的最终架构叫做Deepdogs，与MobileNets架构有很大不同，特别是：

没有在深度和逐点卷积（depthwise and pointwise）使用批量标准化（BN）和激活，因为XCeption论文似乎表明这样做会导致这种类型的体系结构的准确性降低。同时，这样还具有减小网络规模的好处。
使用了ELU而不是ReLU。与SqueezeNet实验一样，激活函数使用ELU比ReLU提供了卓越的收敛速度和最终精度。
没有使用PELU。虽然这种方法不错，但只要我们尝试使用它，这个激活函数似乎就会陷入二元状态，网络准确性不会逐步提高，而是从一批到下一批在~0％到100％之间交替。目前还不清楚为什么会发生这种情况。
没有使用SELU。我们简单做了个调查，iOS和Android版本之间使用SELU导致结果与PELU非常相似。我们怀疑SELU不应该作为激活函数被单独使用，而是正如其论文的标题所暗示的那样，作为狭义（narrowly-defined）SNN架构的一部分。
使用ELU维持BN。有许多迹象表明BN应该是不必要的，但是，在没有BN的情况下运行的每个实验都完全无法收敛。这可能是由于架构很小造成的。
在激活之前使用了BN。虽然现在关于这一点有所争议，但他们的小型网络在激活后做BN的实验也未能收敛。
为了优化网络，使用了Cyclical Learning Rates和Brad Kenstler的Keras实现。

在训练时，团队做了细致的数据增强和处理工作，解决了一些由闪光灯（如下）等造成的图像扭曲等问题。

数据集的最终构成是150k图像，其中只有3k是热狗——热狗再多花样就那么几种，但是长的像热狗而不是热狗的东西则太多了。这个比例 49：1的不平衡通过设置Keras的权重为49：1来解决。在剩余的147k图像中，大多数都是食物，只有3k张非食物照片，这是为了帮助网络更多地概括，如果图像中出现红色服装中的人物，就不会被欺骗去将其识别为热狗。

闪光灯和moiré 造成的扭曲变形

最终的训练学习率和精度是这样的：

APP遇到番茄酱的情况还是会失效（但你要这样在手臂上挤番茄酱也真没办法）

最神秘的部分：100%在手机端运行并识别热狗

设计出了一个相对紧凑的神经体系结构，并且训练它来处理在移动环境中可能发现的情况，但是，仍然还需要做很多工作才能使其正常在手机上运行。

关于如何让Deepdog在手机上运行，可能是这个项目中最神秘的部分。因为在当时能找到在移动设备上运行商用深度学习APP的资料还相当匮乏。于是，他们咨询了Tensorflow团队，得到了特别是Pete Warden，Andrew Harp和Chad Whipkey的文档以及慷慨帮助。

舍入网络的权重有助于将网络压缩到其大小的约25％。本质上，不是使用从训练中派生的任意stock value，而是优化选择N个最常见的值，并将网络中的所有参数设置为这些值，从而大大减少压缩后网络的大小。但是，这对未压缩的APP大小或内存使用量没有影响。不过，团队没有使用这项优化，因为他们的网络足够小。
商用开发编译时，使用-Os来优化TensorFlow库
从TensorFlow库中删除不必要的操作：TensorFlow在某些方面就像是一个虚拟机，从中移除不必要的操作，可以节省大量的权重（和内存）。
团队不是在iOS上使用TensorFlow，而是使用苹果的内置深度学习库（BNNS，MPSCNN和更高版本的CoreML）。他们在Keras中设计网络，使用TensorFlow进行训练，导出所有权重值，使用BNNS或MPSCNN重新实现网络（或通过CoreML导入），并将参数加载到新的实现当中。

通过动态注入神经网络来改变APP行为

如果你觉得动态地将JavaScript注入到应用程序中很酷，那就试试在应用程序中注入神经网络吧！

他们使用的最后一个产品技巧是利用CodePush和苹果相对宽松的服务条款，在提交给应用商店后实时注入我们的神经网络的新版本。虽然这主要是为了帮助在发布后快速地向用户提供准确的改进，但是你可以使用这种方法来大幅扩展或改变应用程序的特性集，而不必再通过应用程序商店的审查。

教训总结和改进

有很多事情没有成功，或者我们没有时间去做，这些就是我们将来要研究的想法:

更仔细地调整我们的数据增强参数。

端到端测量准确性，即应用程序最终确定抽象事项，例如我们的程序是否有2个或更多的类别，Hotdog识别的最终阈值是什么（我们最终让应用程序说“Hotdog”，如果识别在权重四舍五入后，等于0.90而不是默认值0.5）

在应用中建立一个反馈机制——如果结果是错误的，让用户发泄不满，或者积极改进神经网络。

用一个更大的分辨率而不是224 x 224像素识别图像——本质上使用MobileNetsρ值> 1.0

UX/DX，偏见，以及人工智能的神秘谷

最后，不得不指出用户体验、开发人员体验和内置偏见对开发人工智能应用明显和重要的影响。这三件事在我们的经验中有非常具体的影响：

用户体验(User Experience) 在人工智能应用开发的每个阶段都比传统应用更重要。目前还没有深度学习算法能够给你带来完美的结果，但在很多情况下，深度学习+用户体验的正确组合将导致无法区分完美的结果。当开发人员设置正确的路径来设计他们的神经网络，在用户使用应用程序时设置正确的期望，以及优雅地处理不可避免的AI故障时，正确的UX期望是不可替代的。在没有用户体验第一思维模式的情况下构建AI应用程序就像训练没有随机梯度下降的神经网络：在构建完美的AI用例的过程中，最终会陷入Uncanny Valley的局部最小值。