1.4.2 多模态情感分析

文本、声音、视觉等不同模态的情感信息并非互相孤立，事实上，不同模态之间的情感信息往往具有一定相关性，如果在情感分析时只依赖于单模态，则可能难逃局限性。例如，当人们说话的时候，语气语调与表情也传递了情感信息，同一句话搭配不同的语调表情可能传达不同的情感，如果将分析范围局限在文本模态则可能忽视其他模态的情感信息。

多模态情感分析（Multimodal Sentiment Analysis，MSA）指融合多个模态信息的情感分析方法，根据多模态数据的组织形式的不同，这些方法可以划分为叙述式和交互式两类[16]。叙述式多模态情感分析致力于研究已经“展现”的数据形式，例如社交平台上已经发布的含有文本、图像、视频、音频的多模态情感数据。交互式情感分析则旨在挖掘聊天、会话中每位谈话者的情感状态，研究会话双方的情感演化趋势。

可以看到，多模态情感分析方法使得各个模态的信息得以互相融合与补充，进而实现1+1＞2的分析预测效果。多模态情感分析方法在商业营销、智能教育、辅助医疗等方面有着重要的商业价值和应用意义。