第二十三届中国研究生数学建模竞赛
复杂场景下多模态情感预测与可解释分析
Multimodal Sentiment Prediction & Interpretability
当文本、语音与画面局部缺失，模型如何理解情感，又如何解释判断？
基于 CMU-MOSEI，构建从三模态对齐、掩码感知融合到证据定位的完整实验流程，联合完成情感三分类与强度回归。
缺失掩码交互示意
Δt = 0.2 s将三种模态对齐到同一时间网格，观察连续缺失如何编码。
语音在 [1.2, 2.0) s 内的掩码为 0；文本、视觉保持有效。
抽象信号与时间片段仅作原理示意，不对应真实样本或模型推理结果。
最终模型 · 测试集
参与数据处理、模型设计与训练、实验分析及论文撰写全流程。
先对齐时间，
再融合信息。
将异构媒体转换为可追溯、带有效性掩码的统一时序输入。
基于 CMU-MOSEI 数据，构建覆盖 100 条原始视频的处理流程。文本、语音和视觉映射至统一的 0.2 秒时间网格，保存有效性掩码及原始素材对应关系。
- source videos
- 100 条
- temporal resolution
- 0.2 秒
从视频帧提取视觉信号
利用 OpenCV 完成人脸区域检测，提取 HOG、HSV 颜色及光流运动特征，覆盖形状、颜色和运动信息。
词级对齐与时间映射
结合 Wav2Vec2-CTC 词级对齐，将三模态信息映射至共同时间轴，为跨模态交互提供对应关系。
保留有效性与素材索引
保存有效性掩码，标记输入的可用状态；保留特征与原始素材的对应关系，支持后续关键文本、语音时段和视频帧定位。
感知缺失，
学习模态交互。
BERT 掩码感知门控交互网络，联合完成情感分类与强度回归。
使用 BERT 文本编码、Transformer 跨模态交互及自适应门控融合，将文本、语音和视觉信息汇入联合预测流程。
BERT 编码
文本语义
语音输入
词级时间对齐
视觉特征
HOG / HSV / 光流
Transformer 跨模态交互
建模文本、语音与视觉之间的交互关系
掩码感知 · 自适应门控融合
有效性掩码 + 多模态信息
情感三分类
情感强度回归
三模态输入统一至 0.2 秒时间网格；图中展示主要模块与任务关系。
连续区间缺失增强
在连续时段模拟局部信息缺失，处理不同模态组合、缺失比例及缺失位置，评估模型对不完整输入的适应能力。
为什么同时保留对齐、掩码和原始素材关系？
时间对齐建立模态间的对应；有效性掩码保留输入是否可用的信息；原始素材关系使解释结果能够回到具体文本、语音时段和视频帧。三者分别服务于交互建模、缺失处理与证据追溯。
从模型对照，
到缺失条件评估。
围绕增强策略、门控和模态交互设计实验，分析各部分的影响。
实验样本
组模型对照
种局部缺失条件
基于 4,850 条样本完成 7 组模型对照及 105 种局部缺失条件评估，覆盖不同模态组合、缺失比例及缺失位置。最终模型在 727 条测试样本上取得以下结果。
| 指标 | 结果 | 评估任务 |
|---|---|---|
| Accuracy ↑ | 68.64% | 情感三分类 |
| Macro-F1 ↑ | 64.93% | 情感三分类 |
| MAE ↓ | 0.6505 | 情感强度回归 |
Accuracy 与 Macro-F1 评估分类表现，MAE 评估回归误差。以上为最终模型的测试集结果；105 种局部缺失条件是实验覆盖范围。
查看实验分析维度
增强策略：分析连续区间缺失增强的影响。
融合机制：分析自适应门控与跨模态交互的作用。
缺失条件：从模态组合、缺失比例和缺失位置三个维度开展评估。
让预测结果，
回到媒体证据。
贡献计算、时段定位与解释验证，连接模型输出和原始素材。
计算贡献
使用精确 Shapley 贡献计算，分析多模态信息对预测的贡献。
定位关键证据
结合多尺度窗口遮蔽，定位关键文本、语音时段和视频帧，并对应至原始素材。
检验解释效果
通过删除与保留实验检验解释效果，将分析结果整理为带媒体证据的离线解释卡。
30条缺失专项预测
20条带媒体证据的离线解释卡
整理模型权重、推理代码与复现文档，并参与论文撰写，完成从数据处理、建模训练到实验分析与成果交付的全流程工作。
技术栈
- Python
- PyTorch
- OpenCV
- BERT
- Transformer
- Wav2Vec2
- FFmpeg