Github 项目推荐 | Nvidia 用于数据增强和 JPEG 图像解码的 GPU 加速库 DALI

今天的深度学习应用程序包括复杂的多阶段预处理数据流水线，其中包括主要在 CPU 上执行的计算密集型步骤。例如，在 CPU 上执行诸如从磁盘加载数据、解码、剪裁、随机调整大小、颜色和空间增强以及格式转换等步骤，限制了训练和推理任务的性能和可扩展性。此外，今天的深度学习框架有多个数据预处理实现，这导致诸如训练和推理工作流的可移植性以及代码可维护性等挑战。

NVIDIA 数据加载库（DALI）是高度优化的构建模块和执行引擎的集合，可加速深度学习应用程序的输入数据预处理。 DALI 提供加速不同数据管道的性能和灵活性，作为一个单独的库，可以轻松集成到不同的深度学习训练和推理应用程序中。

Github 链接：

https://github.com/NVIDIA/DALI

DALI 开发者文档：

https://docs.nvidia.com/deeplearning/sdk/dali-developer-guide/index.html

DALI 的主要亮点包括：

• 从磁盘读取到准备训练/推理的完整的数据流水线；

• 可配置图形和自定义操作员的灵活性；

• 支持图像分类和分割工作量；

• 通过框架插件和开源绑定轻松实现集成；

• 具有多种输入格式的便携式训练工作流 - JPEG，LMDB，RecordIO，TFRecord；

• 通过开源许可证可扩展以满足用户的特定需求

注意：DALI v0.1 是预发布软件，这意味着某些功能可能不完全正常运行，可能包含错误或设计缺陷。

  安装预构建的 DALI 包

安装前提：

• Linux

• NVIDIA CUDA 9.0

• DALI 支持的深度学习框架:

  MXNet，Version 1.3 beta is required, mxnet-cu90==1.3.0b20180612 or later

  pyTorch，Version 0.4

  TensorFlow，Version 1.8

安装：

pip install --extra-index-url https://developer.download.nvidia.com/compute/redist nvidia-dali

  从源代码编译 DALI：

前提：

• Linux

• NVIDIA CUDA 9.0

• nvJPEG library

• protobuf version 2 or above (version 3 or above is required for TensorFlow TFRecord file format support)

• CMake version 3.5 or above

• libjpeg-turbo version 1.5.x or above

• OpenCV version 3 or above

• (Optional) liblmdb version 0.9.x or above

• DALI 支持以下深度学习框架:

• MXNet，Version 1.3 beta is required, mxnet-cu90==1.3.0b20180612 or later

  pyTorch，Version 0.4

  TensorFlow，Version 1.8

注意：TensorFlow 需要为 DALI 构建 TensorFlow 插件。

获取 DALI 源代码：

git clone --recursive https://github.com/NVIDIA/dali
cd dali

建立目录：

mkdir build
cd build

编译 DALI：

无 LMDB 支持编译 DALI：

cmake ..
make -j"$(nproc)" install

LMDB 支持编译 DALI：

cmake -DBUILD_LMDB=ON ..
make -j"$(nproc)" install

可选的 CMake 构建参数：

• BUILD_PYTHON - build Python bindings (default: ON)

• BUILD_TEST - include building test suite (default: ON)

• BUILD_BENCHMARK - include building benchmarks (default: ON)

• BUILD_LMDB - build with support for LMDB (default: OFF)

• BUILD_NVTX - build with NVTX profiling enabled (default: OFF)

• BUILD_TENSORFLOW - build TensorFlow plugin (default: OFF)

安装 Python 绑定：

pip install dali/python

CCF-GAIR 大会即将开幕！

▼▼▼