【科普】吴飞教授：《走进人工智能》---第10讲 从单通道独奏到多通道协同：跨媒体计算∣麦格克效应

由高等教育出版社、高等教育电子音像出版社出品，浙江大学上海高等研究院联合上海人工智能实验室智能教育中心共同打造了原创人工智能前沿科普有声通识数字栏目——《走进人工智能》，主理人为浙江大学上海高等研究院常务副院长，浙江大学人工智能研究所所长、中国图象图形学学会理事、动画与数字娱乐专业委员会副主任 吴飞教授 ，本栏目已在喜马拉雅平台正式上线。

本期内容为《走进人工智能》：第10讲 从单通道独奏到多通道协同：跨媒体计算∣麦格克效应

《走进人工智能》

第10讲

从单通道独奏到多通道协同：跨媒体计算

你好，这里是吴飞的数字专栏《走进人工智能》。上一讲中我们分别从辛普森悖论、因果与关联的差异以及因果分析手段这三个方面介绍了“从知其然到知其所以然：因果推理”。在专栏的第十讲，我为你准备的内容是“从单通道独奏到多通道协同：跨媒体计算”。“兼听则明、偏信则暗”，现实生活中我们通过听觉、视觉和触觉等手段对所处环境中的各种信息进行融合处理，达到“眼观六路、耳听八方”的效果，体现了人脑指挥不同媒体数据，协同完成感知、认知、决策、行动和控制等“大合唱”的任务，这就是跨媒体计算。接下来我将介绍跨媒体认知机制、跨媒体计算和跨媒体推理三个方面的内容。

麦格克效应：闻其音、见其颜、悟错意

现代认知科学的相关研究表明，人对外界的感知呈现出跨媒体特性，也就是说人对外界事物的了解，是通过视觉、听觉、触觉、味觉等多种感觉器官协同获得外界信息，从而形成认识的。早期研究认为，大脑的认知过程就是通过融合不同类型的感知信息而完成的。

1976年，英国萨里大学（University of Surrey）心理学家哈里·麦格克（Harry McGurk）和约翰·麦克唐纳（John MacDonald）发现了一个有趣的现象：在一段视频中，配音演员在没有改变表演者口型的前提下，故意将表演者用嘴巴发音的一个音节用另外一个不同的音节来代替。然后，将更改了发音的视频播放出来让志愿者观看，结果志愿者声称听到的音节既不是表演者口型对应的音节、也不是配音演员发音的音节，而是一个全新的音节。在这个实验中，未改变口型的视觉信息和更改过的听觉信息合并在一起，让志愿者听到了一个全新的声音，确实有些“闻其音、见其颜、悟错意”的感慨，这个过程被叫做“麦格克效应（McGurk effect）”。

这就涉及到人类的跨媒体认知机制。“麦格克效应”是大脑对眼睛和耳朵所提供的矛盾的信息进行猜测的结果，它验证了人类对外界信息的认知是通过对听觉和视觉等不同感官信息进行整体处理后才得到的，任何感官信息的缺失或不准确都将导致大脑对外界信息的理解产生偏差。当人们感知的视觉信息和听觉信息相互矛盾时，对这些信息的理解既不符合视觉信息也不符合听觉信息。

产品名称：走进人工智能∣有声通识十五讲

主理人：吴飞

出品机构：高等教育出版社 、高等教育电子音像出版社

合作机构：浙江大学上海高等研究院、上海人工智能实验室智能教育中心

出品时间：2022年1月

中国图象图形学学会关于开展“决策咨询专家团队”建设工作的通知

《Visual Intelligence》英文刊编辑招聘启事

关于开展2022年“最美科技工作者”学习宣传活动的通知

中国图象图形学学会高校志愿者招募

中国图象图形学学会关于组织开展科技成果鉴定的通知

2022年CSIG图像图形中国行承办方征集中