又有新的开源库来了,英伟达出品,数量×2。
正在举行的CVPR 2018大会上,英伟达开源了数据增强库NVIDIA DALI和图像解码库NVIDIA nvJPEG。
两个新库都是什么画风?简而言之,NVIDIA DALI是一个GPU加速的数据增强和图像加载库,为优化深度学习框架数据pipeline而设计,而NVIDIA nvJPEG是用于JPEG解码的高性能GPU加速库。
具体效果如何?我们继续往下看。
△ 英伟达CEO黄仁勋
一般来说,计算机视觉应用里有多阶段预处理数据pipeline,包括从磁盘加载和提取数据、解码、裁剪和调整大小、颜色和空间转换和格式转换等数据密集型步骤。
通过DALI,研究人员可利用MXNet、TensorFlow和PyTorch在AWS P3 8 GPU实例或Volta GPU的DGX-1系统上扩展训练性能。
综合来看,DALI的方便之处在于:
能与MxNet、TensorFlow和PyTorch等简单的框架集成
具有支持多种数据格式的可移植训练工作流,如JPEG、原始格式、LMDB、RecordIO和TFRecord等
具有可配置图形和自定义operator的自定义数据pipeline
当DALI进行高性能GPU加速解码时,就需要nvJPEG登场了。这个GPU加速库支持单个和批处理图像的解码、颜色空间转换、多相位解码,以及CPU和GPU混合解码。
与只使用CPU解码的应用程序相比,用nvJPEG进行解码的吞吐量更高,延迟低了。
英伟达官网上有DALI和nvJPEG的相关介绍,地址给你:
https://news.developer.nvidia.com/announcing-nvidia-dali-and-nvidia-nvjpeg/?ncid=—43656
目前DALI已完成开源,可在GitHub上使用:
https://github.com/NVIDIA/dali
nvJPEG的候选版本可以免费下载,征集反馈和测试中:
https://developer.nvidia.com/nvjpeg
— 完 —
诚挚招聘
量子位正在招募市场运营实习生,参与线上/线下活动整体流程,帮助制作相关物料,运营社群等。工作地点在北京中关村。
期待有热情的同学加入!简历欢迎投递到quxin@qbitai.com
具体细节,请在量子位公众号(QbitAI)对话界面,回复“实习生”三个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态