TensorRT——深度学习serving的极致优化

TensorRT是NVDIA由底层架构进入软件层面的信号，同时未来深度学习在serving端的效能一定是一个关键问题。

一

傲海瞎扯

从12年深度学习在某图像识别大赛中大放异彩后，关于深度学习的热度就没消停过。跟所有技术发展的路线一致的是，最初一项技术的火热，往往人们更关注这个技术的本质，而随着时间的推移，人们会开始关注本质外的周边的一些服务和功能。对于深度学习来讲，前几年人们都在关注网络的构建。随着网络的复杂度增加，给生成模型的服务效率带来了很大压力，于是现在越来越多的关注度来到了模型的serving端，典型代表就是TensorRT引擎。

大家都知道，深度学习最火的框架是Tensorflow，当Google一家开始垄断深度学习框架的时候，作为底层GPU计算引擎的垄断者NVDIA自然也不会袖手旁观，于是推出了TensorRT。从商业竞争角度来看，NVDIA在利用自身对于底层硬件端的理解优势，也在从上层软件角度去切分深度学习市场。Google VS NVDIA可能会是未来Deeplearning的有一场战役。

二

TensorRT是啥

NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和未来的网络架构。TensorRT需要CUDA的支持。TensorRT包含一个为优化生产环境中部署的深度学习模型而创建的库，可获取经过训练的神经网络(通常使用32位或16位数据)，并针对降低精度的INT8运算来优化这些网络。借助CUDA的可编程性，TensorRT将能够加速助推深度神经网络日益多样化、复杂的增长趋势。通过TensorRT的大幅度加速，服务提供商能够以经济实惠的成本部署这些计算密集型人工智能工作负载。

简单解释下，因为现在的深度学习模型太庞大，应用到一些IOT领域，比如汽车、家用机器人中，会带来延时等弊端。利用TensorRT可以把这种模型转化成一种叫做GIE的格式，通过这种方式， TensorRT可以实现以最小化延迟和最大化吞吐量运行优化网络。

之前发的招聘可能要求有点高了，现在再发一个岗位，也是急招。要求JAVA开发3年经验以上，懂一咪咪机器学习即可，就这两条。也是PAI团队，急招！！！简历砸给我：594167264@qq.com

你可以选择关注我

   也可以不关注

微信号：凡人机器学习

长按二维码关注