会员服务 ·

【前沿】Pytorch开源VQA神经网络模块，让你快速完成看图问答

专知内容组（编）

【导读】近期，NLP专家Harsh Trivedi使用Pytorch实现了一个视觉问答的神经模块网络，想法是参考CVPR2016年的论文《Neural Module Networks》，通过动态地将浅层网络片段组合成更深结构的模块化网络。这些模块可以通过联合训练来自由组合。代码已经在Github上开源，让我们来看下。

Neural Module Network (NMN) for VQA in Pytorch

注释：这不是一个用于神经模块网络训练的官方资源库。

NMN是通过动态地将浅层网络片段组合成更深结构的模块化网络。这些模块可以通过联合训练来自由组合。本代码是用PyTorch实现的视觉问答的神经模块网络。大部分想法直接来自下面的文章：

Neural Module Networks: Jacob Andreas, Marcus Rohrbach, Trevor Darrell and Dan Klein. CVPR 2016.

如果您在工作中使用本代码，请引用上述文章。我们在下面介绍重现实验结果的说明，首先看一下结果演示：

演示:

更多结果可以用visualize_model.ipynb看到。

https://github.com/HarshTrivedi/nmn-pytorch/blob/master/visualize_model.ipynb

依赖关系:

下面是项目的主要python依赖项: torch, torchvision caffe, matplotlib,numpy, matplotlib and sexpdata

你还需要有斯坦福的解析器（https://nlp.stanford.edu/software/lex-parser.shtml）。一旦加载完成，请确保在.bashrc中设置STANFORDPARSER，以便使目录$STANFORDPARSER / libexec /包含有stanford-parser.jar

下载数据:

您需要从VQA网站下载图像、注释和问题。你也需要下载VGG模型文件来预处理图像。为了节省您的时间和精力，确保下载的文件放置在合适的目录结构中，我准备了几个download.txt。

在根目录查找中运行以下命令 find . | grep download.txt。您应该能够看到以下包含download.txt的目录:

./preprocessing/lib/download.txt
./raw_data/Annotations/download.txt
./raw_data/Images/download.txt
./raw_data/Questions/download.txt

每个download.txt都具有特定的指令，您需要在相应的目录中运行wget命令。确保文件与下载数据后相应的download.txt中提到的文件相同。

预处理:

预处理目录包含预处理raw_data所需的脚本。预处理数据被存储在preprocessed_data中。这个仓库中的所有脚本都在一些set上运行。下载数据时，默认设置（目录名称）是train2014和val2014。你可以通过使用pick_subset.py构建一个像train2014-sub，val2014-sub这样的问题类型特定的子集。您需要确保训练/测试/验证集名称与以下脚本中一致（通常在代码顶部设置）。默认情况下，所有内容都可以在默认设置上运行，但是如果您需要特定设置，则需要按照以下注释操作。您需要按顺序运行以下脚本：

1. python preprocessing/pick_subset.py 
   [# Optional: If you want to operate on spcific question-type ]
2. python preprocessing/build_answer_vocab.py         
   [# Run on your Training Set only]
3. python preprocessing/build_layouts.py              
   [# Run on your Training Set only]
4. python preprocessing/build_module_input_vocab.py  
   [# Run on your Training Set only]
5. python preprocessing/extract_image_vgg_features.py 
   [# Run on all Train/ Test / Val Sets]

备忘录：添加setting.py以确保set名称可以用于实验的全局配置。