【MIT-韩松】微型化机器学习与高效深度学习，127页ppt

今天的人工智能太大了。深度神经网络需要非凡的计算能力，因此需要强大的训练和推理能力。这严重限制了人工智能在边缘设备上的实际部署。我们的目标是提高深度学习的效率。首先，我将介绍MCUNet，它为物联网设备带来了深度学习。MCUNet是一个联合设计高效神经架构(TinyNAS)和轻量级推理引擎(TinyEngine)的框架，能够在只有1MB Flash的物联网设备上实现ImageNet规模的推理。接下来我将讨论TinyTL，它支持设备上的迁移学习，将内存占用减少7-13倍。最后，我将描述可微分增强技术，它能够实现数据效率高的GAN训练，仅使用100张图像生成逼真的图像，而过去需要数万张图像。我们希望这样的TinyML技术可以让人工智能更环保、更快、更可持续。