第一节 视听语言的心理基础
不同于文字、绘画、摄影等，视听语言具有三个相互联系的属性：一是由视听技术特性决定的逼真性（真实性）。视听语言具有纪实性特征，能够以光波、声波形式来记录和再现现实生活的真实图景。二是由艺术加工后产生的幻觉性（表意性）。视听语言的“真”是不完全的，是在再现现实的基础上，进行了不同程度的表现，以营造一定的幻象。三是时间性和空间性。视听语言不仅能够再现客观现实的空间感和立体感，还利用时间再现物体的速度感与节奏感。
那么，这一切是如何实现的呢？其实，正是人的认知心理特性，才使人能够感受到视听语言的这种独特魅力。“了解我们人类自身接受影像和声音（或光波和声波）时特有的生理、心理机制，对我们掌握并熟练运用视听语言来表情达意具有先决意义。”[21]这里所说的心理机制，就是指认知心理，即指人认识外界事物的过程，或者说是对作用于人的感觉器官的外界事物进行信息加工的过程，包括感觉、知觉、记忆、思维等心理现象。就视听语言特性的心理基础而言，决定逼真性的视听技术是对人的感觉器官的仿真，而表意性（幻觉性）和时空感的心理反应机制则主要是知觉过程和思维过程等认知心理。
一、运动感的形成
运动的幻觉是影像的一个基本幻觉。我们观看屏幕上的影像时，得到的是一连串具有时间连续性的流畅运动着的影像。实际上，影像的运动是不存在的，它是由一连串静止画面组成的。这种运动感产生的心理机制主要是感觉过程的视觉后像现象和运动知觉过程的似动现象。
心理反应过程的第一个阶段是感觉，即人脑对当前直接作用于感觉器官的客观事物个别属性的反映。视觉和听觉都属于外部感觉，是由身体外部刺激作用于视觉器官（眼睛）和听觉器官（耳朵）所引起的感觉。视觉后像是指当光刺激视觉器官时，在眼睛内所产生的兴奋不随着刺激的终止而消失，而是在刺激停止后维持若干时间所留下的一种光感觉。它是感觉后像的一种。
当外界刺激停止作用后，还能暂时保留一段时间的感觉形象叫感觉后像。各种感觉器官都能产生感觉后像，如电灯灭了，眼睛里还保留着亮着的灯泡的形象；声音停止后，耳朵里还有这个声音的余音在萦绕等。
视觉后像分正后像和负后像两种。与外界刺激具有相同特征的后像为正后像，如上例中视觉后像仍为灯的形象即是正后像。负后像是与外界刺激的特征相反或颜色互补的后像。如电灯灭了，眼睛里留下的是一个暗的灯泡的形象，背景却是亮的，这种后像即是负后像。如果是红色的刺激物，盯着看一会儿，再将目光移到一张灰白纸上，可看到一个蓝绿色的形象，这是彩色的负后像。彩色的负后像是刺激色的补色，红色的补色即是绿色（蓝绿色）。正后像和负后像还可以相互转换。如在夜间看一个乳白灯泡几分钟，突然关闭电灯后，出现的后像可能是亮的，也可能是暗的；而且亮暗是交替出现的。因为是乳白灯泡，后像里有时出现的是白灯泡，有时出现的是彩色灯泡，而且灯泡的色彩也会交替变换。
后像持续的时间与刺激的强度呈正比，即刺激的明度越强或刺激的延续时间越长，后像的明度和持续时间也越长。研究发现，这个时间通常是0.1～0.4秒左右。电影、电视中画面产生运动感的视觉暂留原理，也被称为视觉暂停现象、余晖效应，其实就是视觉正后像原理在影视中的一种应用。当电影胶片以每秒24格画面的速度匀速转动时（也就是几乎以0.04秒每格的速度快速转动），因为速度很快，所以第一格画面的视觉后像还没来得及消失，第二格画面就被视觉器官感觉到了；第二格画面的视觉后像还没消失时，第三格画面就又进入了眼睛……如此继续下去，胶片上一系列静态画面就因视觉暂留现象的作用而使观众的视觉形成了一种连续不中断的感觉，从而产生了逼真的运动感。电视画面的运动原理与此相同，只是每秒25帧画面。中国古代所谓的“走马灯”就是这一机制的最早应用。法国卢米埃尔兄弟也利用这个原理，发明了“活动电影机”，从而促成了电影的诞生。
在实际生活经验中，人们更多的是从知觉而不是感觉上认识外界事物。从这个意义上说，知觉才是认知心理过程的第一个阶段，感觉只是在实验室中才把它作为一种独立的心理现象加以研究。知觉是直接作用于感觉器官的客观事物的整体在人脑中的反映。它不仅是各种感觉的结合，更受个人的知识和经验的影响。由视觉引起的知觉叫视知觉，由听觉引起的知觉叫听知觉。因此，运动感主要是建立在视知觉产生似动现象的原理上。
知觉包括空间知觉、时间知觉、运动知觉等类型。运动知觉是对物体在空间中的位移产生的知觉。运动知觉的产生需要物体的运动有一定的速度，物体位移的速度太快或太慢，人们都知觉不到运动。当物体的运动被知觉到的时候产生的知觉即是运动知觉，这种运动知觉叫真动。而物体在空间并没有发生位移，却能被知觉为运动的心理现象，就叫做似动现象。
运动知觉的这种似动现象的原理就是画面运动感产生的心理机制。电影屏幕上各种形象实际并不活动，而观众能够知觉到它是运动的，就是因为人的运动知觉有似动现象。这种现象是1833年由普拉托制造动景器后才被认识到的。因此，似动现象又叫动景现象。动景器的进一步改进，最后发展成为电影。
似动现象的原理可以用似动现象最简单的形式即Φ现象（所以似动现象也称为Φ现象）来说明。当视野不同位置的两个光点以大约每秒4到5次的频率交替出现时，就会发生Φ现象。当这种交替的速率相对较慢时，就好像是单个光点在两个位置之间来回移动。这种运动从第一个点的位置到第二个点的位置有很多的路径，但人通常只能看到最简单的路径，那就是一条直线。[22]就像一串亮起的灯，一个亮完了，第二个再亮，然后是第三个、第四个，一个接一个地亮，看上去就像是一个灯在沿着灯串流动。
此外，还有一种叫自主运动的似动现象，构成了动画影视的心理机制。屏幕上的一个亮点，本来它并没有动，盯着它看时，有时会觉得它在移动。这是因为光点比较小，周围又没有其他东西作为参照，于是就产生了这种自主运动。无论是较为传统的动画，还是当前的数字动画，都是把绘制好的动画角色的一格格画面以高速频率依次闪现，从而使观众产生逼真的运动感。
欧文·洛克指出，关于影视的运动错觉，视觉暂留只说明了为什么没有出现闪烁，可并不说明外观似动；进而提出解释外观似动的感觉理论和推断理论可能都正确。感觉理论是把似动看作实际运动的一个特例，而且将这种知觉解释为视觉神经系统的运动检测神经元放电的结果。推断理论是指，对于A物体在某处消失后B物体突然在另一处出现这样的问题，似动是一种解决。毕竟，这一过程与实动很像，尤其是过程很快的时候。[23]这两种理论似乎解释的是两种不同的似动现象。第一种为短期过程的似动知觉，产生根据是A和B的视网膜映像的空间间隔很小，二者出现的时间间隔也很小。第二种为长期过程的似动，根据是A与B之间的时间间隔与空间间隔都较大。感觉理论可用来解释第一种似动，推断理论则用来解释第二种似动。
二、纵深感的形成
纵深感是我们在观看屏幕上平面的影像时所感受到的深度感。由于投射到视网膜上的图像是两维的，所以大脑的这种三维立体的空间认知也是影像的一个基本幻觉。其产生的心理机制主要是空间知觉过程。
空间知觉是对物体的大小、形状、距离、方位等空间特性的知觉，包括大小知觉、形状知觉、距离知觉和方位知觉。其中，判断物体与自己之间距离远近的距离知觉是产生纵深感或立体感的主要心理过程，所以距离知觉也叫深度知觉或立体知觉。
视觉和听觉都能提供深度知觉的线索和特征。来自听觉方面的深度线索比较简单，主要是物体发出的声音的大小等特征，如听到由轻到重的脚步声，我们就可以判断出有人在走近自己。但更主要的线索来自于视觉，包括外界物理条件、单眼和双眼视觉的生理机制等。
单眼线索是用一只眼睛就能感受到的深度线索，包括：
双眼线索主要是指双眼视差，它是纵深感或立体感形成的主要知觉线索。两眼的瞳孔相距大约65毫米，当用两只眼睛同时看一个物体的时候，这个物体在两眼视网膜上的呈像是有差别的，即左眼看物体的左边多一些，右眼看物体的右边多一些，两眼视网膜上便形成两个略有差异的视像，这两个略有差异的视像就叫双眼视差。虽然两眼存在着这个略有差异的视像，但在它们传到大脑皮层后，会被整合成一个视像，而这个视像就是一个立体的。所以尽管存在着双眼视差，但我们平时看东西时是不会注意到两只眼睛得到的视像是不一样的。
双眼视差原理就是立体摄影、立体电影的制作原理。两个摄影和放映的镜头都相距65毫米，拍摄时拍了两个同步的画面。放映时把这两个画面分别投射到银幕上。看的时候戴上一副眼镜，运用光学原理，让左眼看到的是左边镜头放映的画面，右眼看到的是右边镜头放映的画面，这样就和生活中用两只眼睛看东西一样了，从而产生了立体感。
三、表意功能的形成
视听语言的逼真性和表意性是一体两面的关系。“视听语言中的具体影像首先必然是对具体被摄物的逼真再现，然后再通过镜头组接等方式并根据特定的语境（具体作品的上下文）来实现表意。”[24]如果说视听语言是实现表意的技术手段，那么对视听语言所表之意的理解与把握又是如何达成的呢？也就是说，视听语言表意功能形成的心理机制是什么呢？
我们认为，所谓的表意，就是对事物特征或本质的某种抽象表达。而人脑对客观事物的本质和事物之间内在联系的心理认识过程是思维。所以，视听语言表意功能形成的心理机制主要是思维心理过程，即在视觉暂留和双眼视差等感知心理特性基础上，视听思维借助视听表象（意象）等认知心理过程最终达成了这种表意性。
格式塔心理学者鲁道夫·阿恩海姆最早提出了视觉思维的说法。他认为，不能将感知与思维分割开来，艺术活动是理性的一种形式，其中知觉与思维错综交织，结为一体。“感知，尤其是视知觉，具有思维的一切本领。这种本领不是指人们在观看外物时高级的理性作用参与到了低级的感觉之中，而是说视知觉本身并非低级，它本身已经具备了思维，具备了认识能力和理解能力。”[25]由此，我们说视听思维就是指视知觉与听知觉在感知事物的同时就具备了思维的功能。“知觉包括了对物体的某些普遍性特征的捕捉；反过来，思维要想解决具体问题，又必须基于我们所生活的世界的种种具体意象。”[26]
思维具有间接性和概括性。前者表现为能以直接作用于感觉器官的事物为媒介、对没有直接作用于感觉器官的客观事物加以认识；后者表现为把一类事物的共同属性抽取出来，形成概括性的认识。没有了思维的间接性，人们只能是直观而感性地认识事物；失去了思维的概括性，人们也只能认识个别的、具体的事物。同样，视听思维也正是因思维的这些特性，才能够使视听语言形成其表意的功能。“视知觉远远不单纯是一种对有关个别性质、个别物体和个别事件的信息的收集，而是对一般普遍性质的把握。通过产生代表某一类性质、某一类物体和某一类事件的意象，视知觉便为概念的形成奠定了基础。”[27]
一般而言，思维是借助语言与言语来实现的、能揭示事物本质特征及内部规律的理性认识活动。视听思维只是用视觉和听觉所获得的意象代替了语言与言语。而且，阿恩海姆通过大量事实证明，任何思维，尤其是创造性思维，都是通过意象进行的，只不过这种意象不是普通人所说的那种意象，它是通过知觉的选择作用生成的意象。
其实，意象是表象的一种。表象是一种记忆，是过去感知过的事物的形象在头脑中再现的过程（当然，在头脑中所出现的事物的形象也叫表象）。思维过程的产生依赖于记忆。表象既具有直观形象性，又有概括性，因而起到了从感知向思维过渡的桥梁作用。“意象即是由记忆表象或现有知觉形象改造而成的想象性表象”。[28]心理学家麦金又将视觉意象分为三种：一是客观可见的部分，二是想象虚拟的部分，三是构建的部分，这几部分之间是相互作用的。
实际上，视听意象工作原理与阿恩海姆对视觉意象的解释基本一致。他认为，意象更多的是对事物的一种抽象，既包括对事物形状、特征等的概括，更是通过记忆机制将事物从它们所在的环境（或前后关系）中“抽取”出来，从而实现了意象作为绘画、意象作为符号与意象作为纯粹记号的功能。
绝大多数情况下，通过视听意象进行的视听思维属于想象的过程。即对已有的表象进行加工、改造，创造出新形象的思维过程。也就是说，视听思维虽以意象的内容为素材，来源于表象，却不是简单地对感知过的事物的形象在头脑中进行复原与再现，而是对其进行加工与改造，从而创造出新的形象。因此，视听想象是一种创造性的思维。
一般来说，想象按其是否有意识、有目的可分为无意想象和有意想象两种。无意想象是没有预定目的，在某种刺激作用下不由自主产生的想象，例如梦和幻觉。有意想象是在一定目的、意图和任务的影响下，有意识地进行的想象。视听想象就属于后者，它是视听语言的创作者和接受者有意识进行的思维过程。
从创作者的角度看，视听想象属于创造想象，即不依据现成的描述和图示，独立地创造出新形象的过程。从接受者的角度看，视听想象属于再造想象，即根据视听语言所展示的图景和塑造的情境，在头脑中形成相应形象的过程。