Numerous works have analyzed biases in vision and pre-trained language models individually - however, less attention has been paid to how these biases interact in multimodal settings. This work extends text-based bias analysis methods to investigate multimodal language models, and analyzes intra- and inter-modality associations and biases learned by these models. Specifically, we demonstrate that VL-BERT (Su et al., 2020) exhibits gender biases, often preferring to reinforce a stereotype over faithfully describing the visual scene. We demonstrate these findings on a controlled case-study and extend them for a larger set of stereotypically gendered entities.


翻译:许多著作分别分析了视觉和经过培训的语文模式中的偏见----然而,对这些偏见在多式联运环境中的相互作用没有多少注意,这项工作扩大了基于文字的偏见分析方法的范围,以调查多式联运模式,并分析了这些模式在内部和相互模式中的协会和偏见,具体地说,我们证明VL-BERT(Su等人,2020年)表现出了性别偏见,往往倾向于强化一种成见,而不是忠实地描述视觉场景,我们在受控的案例研究中展示了这些结果,并将这些结果推广到更多的陈规定型的性别实体。

0
下载
关闭预览

相关内容

专知会员服务
88+阅读 · 2021年6月29日
数字化健康白皮书,17页pdf
专知会员服务
107+阅读 · 2021年1月6日
专知会员服务
17+阅读 · 2020年9月6日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
31+阅读 · 2019年10月16日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
《科学》(20190517出版)一周论文导读
科学网
5+阅读 · 2019年5月19日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
自然语言处理 (NLP)资源大全
机械鸡
35+阅读 · 2017年9月17日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
19+阅读 · 2021年6月15日
Arxiv
103+阅读 · 2021年6月8日
Arxiv
6+阅读 · 2019年9月4日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
VIP会员
相关VIP内容
相关资讯
《科学》(20190517出版)一周论文导读
科学网
5+阅读 · 2019年5月19日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
自然语言处理 (NLP)资源大全
机械鸡
35+阅读 · 2017年9月17日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员