【伯克利Alvin Wan博士论文】高效设计深度神经网络

一些相互竞争的担忧是，深度学习在“边缘”设备上的计算机视觉应用缓慢。边缘设备仅为设备上的算法提供有限的资源，从而限制了功耗、内存和存储使用。例如，移动电话、自动驾驶汽车和虚拟现实耳机都需要高精度和低延迟，这两个目标会争夺资源。

为了解决这个西西弗式的任务，现代方法花费了大量的计算来设计解决方案，超过了数千个小时或数年的GPU计算来设计一个单一的神经网络。更不用说，在单一的一组资源约束下，这些工作只最大化了一个性能指标——准确性。如果资源约束的集合改变了怎么办?如果额外的性能指标出现在前面，比如可解释性或泛化?设计高效神经网络的现代方法由于目标过于单一和狭隘而需要过多的计算而受到限制。

本文直接解决了现代方法的瓶颈，通过高效设计高效的深度神经网络实现了最先进的性能。这些改进不仅减少了计算量或提高了精度;相反，我们的方法提高了性能，减少了计算需求，尽管增加了搜索空间大小的数量级。我们还展示了被错过的机会，表现指标超越了准确性，重新设计任务，使准确性、可解释性和泛化共同提高，这是传统智慧不可能实现的，这表明，可解释性和准确性参与了零和游戏。

这篇的论文最终提出了一组模型，为生产就绪的模型设置了新的灵活性和性能标准:这些模型是最先进的，精确的，可解释的，可概括的，并且可以在CPU时间内配置任何资源约束。