- · 《智库时代》栏目设置[06/28]
- · 《智库时代》收稿方向[06/28]
- · 《智库时代》投稿方式[06/28]
- · 《智库时代》征稿要求[06/28]
- · 《智库时代》刊物宗旨[06/28]
【CAA智库】复旦大学张军平:爱犯错的智能体 --
作者:网站采编关键词:
摘要:小朋友小时候,我们请了一位家里外婆辈份的亲戚帮忙来照顾。虽然长我一辈,年龄却比我小。不过还好,亲戚家在湖南省的华容县,那边的人管这个辈份的都称为“家(Ga)家(Ga)”,所
小朋友小时候,我们请了一位家里外婆辈份的亲戚帮忙来照顾。虽然长我一辈,年龄却比我小。不过还好,亲戚家在湖南省的华容县,那边的人管这个辈份的都称为“家(Ga)家(Ga)”,所以,叫起来也不会太尴尬和别扭,反正外人听不懂。小朋友学语言很快,一切都很正常。可是GaGa老是叫不好,总发成DaDa。她自己也没觉得有什么不对,我们纠了几次,没什么效果,只好听之任之了。还好,随着小朋友一天天的长大,终于有一天她自己纠正过来了。
上一篇说过,人在辨声方面有“鸡尾酒会效应”的能力。一个人不需要借助视觉的帮助就可以在酒会中选择性地聆听需要听的声音,而把其他声音弱化甚至屏蔽掉。谷歌则尝试结合视频与语音来提高人声分离的性能。那么,视觉与听觉之间会不会相互影响呢?
一、听觉错觉
第一个证实有相互影响的实验来源于一次意外。早在20世纪70年代中期,英国Surrey大学的心理学家Harry McGurk和他的助手John MacDonald做了个实验。他们用不同的口语因素给视频配音,想研究不同时期儿童对语言的理解程度。在配音的时候,一个本应发“ga”的音节错配成了“ba”的音,测试者听完后坚持认为听到的音节是第三节音素“da”而不是视频中说出来的原音节。对于这个意外,他们分析后认为,在听觉系统和视觉系统收集的信息存在相互矛盾时,人类会优先相信视觉通道传输进来的信息。因为与视觉系统相比,听觉系统获得的信息没有那么强的确定性。他们将这一现象称“麦格克效应”(McGurk effect)。该成果发表在1976年的《自然》杂志上[1]。
随着研究的深入,科学家们发现这种视听觉相互影响的“麦格克效应”在很多方面都有体现。如儿童早期发音的学习上。如果视觉和听觉没有得到好的整合,儿童就容易产生错误的发音。另外,视力不好的人,如果摘下眼镜,也很可能出现“麦格克效应”,会感觉自己的听力也同时下降了。
麦格克效应
2007年,K?rding等进一步研究了视听觉相互影响的情况。他们在5个平行的位置上均放置了发声和闪光设备,然后在不同或相同的位置同时给出声音和闪光,让19位测试者判断发声的位置和闪光的位置。实验设置和结果如图1所示[2]。
从图上可以看出,当光和声音分别处理、没有相互干扰时,19个测试者的反应是稳定且合乎正确分布的。而当灯光和声音同时出现后,能看出1)闪光位置的判断几乎不受影响,和没有声音的时候分布一致;2)声音的位置影响明显。尤其最后一列,其声音似乎容易被光线影响,而形成轻微向左的误判。这表明声音的不确定更多一些,更容易被闪光影响。所以,这两个实验都证明了,视觉确实会影响听觉的认知。
图1:视听觉线索的组合[2]。(a): 实验架构。每个测试,一个视觉和一个听觉刺激同时被给出,测试者通过按按钮来报告感知的视觉刺激和听觉刺激位置。(b): 视觉对在中间位置发出的听觉刺激的感知位置影响被显示。不同颜色对应在不同位置的视觉刺激(从左到底,颜色从暖色调转为冷色调)。只有声音的模型以灰色表示。C) 对于35种刺激条件,测试者(实线)以及理想观测者的预测(破折线)的平均响应。左边第一列虚线为五个闪光位置;第二列为无音频的响应,从左至右的折线表示响应位置。在无音频时响应很精确。 上方第一行指五个声音位置;第二列为无视频响应,从左到右的折线表示响应情况
二、无限音阶的拓扑
听觉反过来会促进视觉上的感知。我们在观赏影视作品时经常能感受到。比如在家看恐怖电影时,一到令人发悚的情节, 胆小点的就会情不自禁把音量关小或干脆把耳机拿下来,说明视听觉的双重作用确实增强了影片的恐怖程度。
另外,在音乐中,还有个奇怪的旋律。他通过两个或多个声部的交替,能产生无穷递进的感觉,让人误以为声音一直在往高处走。这就是谢帕得音阶(Shepard tone),也称为无限音阶。
相比音乐的历史,这种音阶出现的时间并不早。它是美国斯坦福大学的心理学家谢帕德在1971年的心理学实验中发明的,所以称为谢帕得音阶。它由不重合的多个八度音组合在一起,形成多个声部。2017年克里斯托弗?诺兰执导关于1940年二战历史事件“敦刻尔克大撤退”的电影《敦刻尔克》时,为了能为海边撤退的场景来营造一种无始无终的紧张感,便送给作曲家汉斯?季默一个手表连续敲击的录音。季默受此启发,便以与之类似的谢帕德音阶为基础,创作了电影的背景乐。事实证明,这段配乐非常完美地加强了撤退时的紧张感,让观众有了身临其境、坐立不安的感觉。
文章来源:《智库时代》 网址: http://www.zksdbjb.cn/zonghexinwen/2020/1013/690.html