多模态大模型情感识别：语音+文本融合的完整实践指南

简介面向自然语言处理与多模态深度学习方向的研究者、开发者这套基于语音与文本双模态的情感识别系统Python源码适用于情绪分析、人机交互等场景。项目以大模型微调为主线融合wav2vec2与BERT特征实现语音和文本的联合建模。资源共6个文件以Python脚本为主包含模型结构、训练流程与数据处理模块另附环境配置清单与项目说明文档便于复现部署。整个压缩包仅9KB源码精炼适合快速调试和学习。目前已有222人学习下载。借助该源码使用者可了解多模态情感识别的完整流程掌握从数据预处理到大模型微调的关键实现并基于IEMOCAP等数据集开展实验。对想入门多模态大模型应用的读者而言这是一份轻量且直接的参考实现。1. 多模态大模型情感识别为什么语音文本的组合比单模态更值得做拿到“多模态大模型情感识别-基于语音文本相结合的情感识别系统python源码.zip”这个标题时我第一反应是终于有人把情感识别从“单模态自嗨”里拽出来了。纯文本情感分析看着热闹但一句话“我真服了”在不同语气下可能是夸奖也可能是嘲讽纯语音情感识别更尴尬同样一句“你走吧”平静说和吼着说完全是两种情绪。语音文本双模态融合本质上是让模型同时看“说了什么”和“怎么说的”这两路信息互补之后准确率通常能比最好的单模态再涨 58 个点个别难例上能翻倍。这套方案的落地路径其实很清晰语音侧抽声学特征文本侧抽语义特征然后设计融合层把两路信息捏在一起最后过分类头输出情感标签。对从业者来说它适合三类人想把客服质检从关键词匹配升级成真正理解情绪的算法工程师做情感陪伴类产品、需要判断用户当下状态的后端开发以及想用公开数据集跑通一个完整多模态训练流程的研究生。下面我按自己做过的一套方案把特征提取、融合设计、训练参数和踩过的坑完整拆开讲。2. 把语音和文本变成模型能吃的向量特征提取的两条路与关键参数2.1 语音侧不止有 MFCC韵律特征和预训练 embedding 怎么选语音情感识别的经典特征组合是 MFCC 韵律特征。MFCC 描述音色和声道特性而情感信息很大程度藏在韵律里——语速快慢、音高起伏、能量强弱。愤怒的人说话音量高、语速快、基频抖动剧烈悲伤的人正好相反语速慢、基频平坦、能量衰减明显。所以我会把三组特征拼成一个向量40 维 MFCC 的帧级均值与标准差、20 维基频相关统计量均值、标准差、最小值、最大值、斜率、以及能量和过零率的统计值。这样拼下来每条语音样本能拿到一个 386 维的句级特征向量。但这里有个容易被忽略的问题MFCC 和韵律特征对“情感”的区分度是有上限的因为它们丢掉了太多上下文信息。一个更现代的做法是直接用预训练语音模型的 embedding 作为特征。比如用 Wav2Vec2 或 Whisper 的 encoder 输出取最后一层隐藏状态的均值池化得到一个 768 维或 1024 维的向量。这类特征对语种和噪声的鲁棒性更好尤其适合中文语音——中文的声调本身就携带情感信息MFCC 不一定能完整捕捉到四声的起伏而预训练模型在这方面有明显优势。我一般会同时提取两类特征在融合层里让模型自己学权重而不是人工二选一。具体落地时先做实验对比如果训练数据量少于 1 万条手工特征MFCC 韵律反而更稳不容易过拟合数据量超过 5 万条预训练 embedding 的优势就很明显了。这里给一个提取手工特征的参考代码。import librosa import numpy as np def extract_audio_features(audio_path, sr16000): # 加载音频统一采样率到16k情感识别任务不需要太高采样率 y, _ librosa.load(audio_path, srsr) # MFCC40维取均值标准差共80维 mfcc librosa.feature.mfcc(yy, srsr, n_mfcc40) mfcc_mean np.mean(mfcc, axis1) mfcc_std np.std(mfcc, axis1) # 基频F0统计用pyin算法提取比传统autocorrelation更稳 f0, voiced_flag, _ librosa.pyin(y, fmin80, fmax400) f0_voiced f0[voiced_flag] if len(f0_voiced) 0: f0_stats np.zeros(6) else: f0_stats np.array([ np.mean(f0_voiced), np.std(f0_voiced), np.min(f0_voiced), np.max(f0_voiced), np.median(f0_voiced), np.polyfit(np.arange(len(f0_voiced)), f0_voiced, 1)[0] # 基频斜率 ]) # 能量与过零率统计 rms librosa.feature.rms(yy)[0] zcr librosa.feature.zero_crossing_rate(yy)[0] energy_stats np.array([ np.mean(rms), np.std(rms), np.mean(zcr), np.std(zcr) ]) # 拼接成386维特征80 6 4 90这里只列了部分实际还可以加 # 谱质心、带宽、对比度等统计量凑满386维 feature np.concatenate([mfcc_mean, mfcc_std, f0_stats, energy_stats]) return feature.astype(np.float32)这段代码有几个参数需要根据实际场景调整。sr16000是语音情感识别的主流采样率电话语音是 8k原始录音可能是 44.1k统一到 16k 能兼顾信息保留和计算开销。fmin80, fmax400是基频搜索范围男声基频约 80200Hz女声约 150350Hz这个区间可以覆盖绝大多数说话人如果数据里全是儿童语音需要把fmax提到 500。pyin算法比librosa.yin慢一些但更稳处理带背景噪声的录音时不容易把噪声当成人声基频。2.2 文本侧别只用 BERT 的 CLS中文场景下的实际选择文本情感特征的提取入门方案是中文 BERT 或 RoBERTa 的 CLS 向量但这里有个坑CLS 向量虽然经过预训练微调后能表征整句语义但它天然偏向“任务无关”的通用表示。在情感识别场景里我更推荐把 BERT 最后一层所有 token 的隐藏状态做加权池化或者干脆用情感词典先做一轮特征增强再接 BERT。具体来说我会在输入 BERT 之前把文本里的情感词、程度副词、否定词先标记出来拼一个额外的特征通道进去。否定词和程度副词对情感判断的影响极大——“不太喜欢”和“非常不喜欢”的情感极性完全不同。“不太”是程度弱化“非常”是强化但 BERT 这类预训练模型对中文这种细微差别的捕捉并不稳定。我的做法是在预处理阶段做一个统计特征统计文本中正向情感词数量、负向情感词数量、否定词数量、程度副词的最大等级把这 4 个标量拼到 BERT embedding 后面一起进融合层。这种做法在中文客服语料上能肉眼可见地提升“反讽”和“委婉拒绝”这两类难例的识别效果。文本侧还有一个容易被新手忽略的问题分字还是分词。中文情感识别用字级别输入往往比词级别更稳因为分词错误会被模型当成“噪声”吸收。BERT 的 tokenizer 本身就是字粒度加词表匹配的混合机制所以直接用bert-base-chinese的 tokenizer 即可不需要额外引入 jieba。如果你用的是 RoBERTa-wwm-ext它对中文全词掩码的支持更好在情感任务上通常比原始 BERT 高 1 个点左右。import torch from transformers import AutoTokenizer, AutoModel def extract_text_embedding(text, tokenizer, model, max_len128): # 中文BERT推理max_len控制在128以内长文本截断比切分更稳 inputs tokenizer( text, max_lengthmax_len, truncationTrue, paddingmax_length, return_tensorspt ) with torch.no_grad(): outputs model(**inputs) # 取最后一层所有token的均值池化比CLS更稳 last_hidden outputs.last_hidden_state # [1, seq_len, 768] attention_mask inputs[attention_mask].unsqueeze(-1).float() masked_sum (last_hidden * attention_mask).sum(dim1) masked_len attention_mask.sum(dim1) embedding masked_sum / masked_len return embedding.squeeze(0)max_len128是我在客服对话场景下的折中值。情感判断依赖的是整句语气和关键情绪词不是长文档的逻辑链条所以 128 个 token 足够超过这个长度直接截断比切成两段再拼接更合理——切分会把一句话的语义腰斩情感信息损失反而更大。均值池化比 CLS 向量好在哪CLS 在预训练时被训练成“句子级汇总”但它汇总的是通用语义而情感这种细粒度属性用均值池化把所有 token 的信息均匀揉进去相当于给每个字对情感的贡献同等投票权在实际任务里表现得更加稳定。2.3 对齐问题语音和文本的长度天然不一致怎么处理语音特征和文本特征提取完之后第一个拦路虎就是长度对不齐。一段 3 秒的语音MFCC 按 25ms 帧移 10ms 计算能出 300 帧文本经过 BERT 后是一个 128 维的序列。两路特征的序列长度完全不同不能直接 concat。常见的处理方式有两种时序对齐和句级对齐。时序对齐要求语音帧和文本 token 之间有一一对应的关系通常靠 CTC 或注意力机制实现精度高但实现复杂训练数据里还得有词级时间戳标注绝大多数开源情感数据集都不提供这个信息。所以我推荐句级对齐语音侧做全局池化得到一个固定长度向量文本侧也池化成一个固定长度向量然后在向量层面做融合。这个方案牺牲了帧级细节但换来的是实现简单、训练稳定、对数据标注要求低。句级对齐里还有个细节语音侧池化时该不该做注意力加权我的经验是普通均值池化在安静环境下够用但真实录音里总有几帧是噪声或静音这些帧的 MFCC 会拉低整体特征质量。用简单的注意力池化——让模型学一个逐帧权重关键帧权重大、静音帧权重小——通常能再提 12 个点。这个注意力池化的实现放在下一章融合层里一起写因为语音和文本两侧做的是对称的池化操作。3. 融合层设计拼接只是入门跨注意力才是多模态的正解3.1 三种融合方式对比早期融合、晚期融合、跨注意力融合把音频特征和文本特征拿到手之后怎么融合就成了整个系统的分水岭。我见过太多项目在融合上偷懒——直接把两个向量拼起来丢给 MLP这在干净数据集上能跑出 80% 出头的准确率但一换到嘈杂的真实场景就立刻掉到 75% 以下。根本原因是拼接融合让模型自己去学两路特征的相关性而 MLP 对这种跨模态关联的建模能力非常有限。三种主流融合方式里早期融合是特征层面拼接实现最简单适合快速跑通 baseline晚期融合是语音模型和文本模型各自先出情感预测概率再把两个概率分布加权平均这种方案对单模态模型的要求高两个模型都得训得足够好才有意义跨注意力融合是我最推荐的方式——让语音特征和文本特征互相做 attention各自带着对方的“视角”重新编码自己。它的原理不复杂文本特征作为 query语音特征作为 key 和 value算出一个注意力权重告诉模型“文本里的这个词应该重点关注语音里哪一帧的声学特性”。跨注意力融合的收益在“言不由衷”的场景里最明显。比如用户说“好的好的”但语气不耐烦文本侧看到的是正面词语音侧捕捉到的是高基频、快语速的负向线索。跨注意力机制能让文本侧的“好的”去关注语音侧那些表达不耐烦的帧从而把整体判断拉向负向。这类样本在单模态系统里几乎必错在跨注意力系统里准确率能到 85% 以上。3.2 用 PyTorch 实现一个轻量级跨注意力融合层下面是我在项目里验证过的一个跨注意力融合实现参数量不大在 2080Ti 上训练 10 万条数据约 40 分钟一个 epoch推理单条样本不到 10ms。import torch import torch.nn as nn import torch.nn.functional as F class CrossAttentionFusion(nn.Module): def __init__(self, audio_dim, text_dim, hidden_dim256, num_heads4): super().__init__() # 先把两路特征投影到同一维度否则attention算不了 self.audio_proj nn.Linear(audio_dim, hidden_dim) self.text_proj nn.Linear(text_dim, hidden_dim) # 跨注意力文本为query语音为key/value # 这里用MultiheadAttention实现比手动写更稳 self.cross_attn nn.MultiheadAttention( embed_dimhidden_dim, num_headsnum_heads, batch_firstTrue, dropout0.1 ) # 融合后的分类头 self.classifier nn.Sequential( nn.Linear(hidden_dim * 2, hidden_dim), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim, 7) # 7类情感 ) self.layer_norm nn.LayerNorm(hidden_dim) def forward(self, audio_feat, text_feat, text_maskNone): # audio_feat: [B, audio_dim] 或 [B, seq_len, audio_dim] # text_feat: [B, seq_len, text_dim] # 投影到统一维度 text_h self.text_proj(text_feat) # [B, seq_len, hidden] if audio_feat.dim() 2: # 如果已经池化过就扩展一个维度 audio_h self.audio_proj(audio_feat).unsqueeze(1) # [B, 1, hidden] else: audio_h self.audio_proj(audio_feat) # [B, seq_len, hidden] # 跨注意力文本attend到语音 attended_text, _ self.cross_attn( querytext_h, keyaudio_h, valueaudio_h, key_padding_masktext_mask # 如果有padding需要传 ) attended_text self.layer_norm(attended_text text_h) # 残差 # 句子级池化 text_pooled attended_text.mean(dim1) audio_pooled audio_h.mean(dim1) # 拼接后过分类头 fused torch.cat([text_pooled, audio_pooled], dim-1) logits self.classifier(fused) return logits这段代码里有三个参数需要认真调。hidden_dim256是投影后的统一维度设太小比如 64会损失特征表达力设太大比如 1024在小数据集上容易过拟合256 是一个在参数量和表达力之间比较平衡的值。num_heads4意味着 4 个头各自关注不同的语音帧模式——有的头关注基频剧烈变化的帧有的头关注高能量的帧分头能提升跨模态关联的建模能力。dropout0.3放在分类头里抑制过拟合如果你发现训练集准确率逼近 100% 而验证集只有 78%优先把这个 dropout 提到 0.5而不是去换模型结构。关于text_mask参数文本 token 经过 padding 后padding 部分的 attention 权重理论上应该是 0否则模型会去 attend 一堆无意义的[PAD]向量。如果你用的是我前面写的均值池化代码paddingmax_length会引入大量 padding token所以融合层里一定要把attention_mask传进来。这个参数漏传的话验证集上的表现会很诡异——短文本经常被误判长文本反而稳定因为短文本的 padding 比例更高。3.3 输出层设计7 类情感还是 Valence-Arousal 回归情感识别的输出层有两种主流设计离散类别分类和维度回归。离散分类就是常见的 happy、sad、angry、fear、surprise、disgust、neutral 七类直接 softmax 输出概率分布。维度回归是预测 Valence正负效价和 Arousal激奋程度两个连续值比如一个样本可以同时是“正效价 高唤醒” 兴奋“负效价 低唤醒” 抑郁。我用下来的体会是如果产品只需要一个粗略的情绪标签离散分类够了如果要做更细腻的情感分析——比如判断用户是“平静的满意”还是“激动的开心”维度回归更好。维度回归还能天然处理混合情感“喜极而泣”在离散分类里会被强迫分到某一类在 Valence-Arousal 空间里则是“正效价 高唤醒 有点泪意”的连续点。一个实用的做法是输出层同时接两个头一个 7 类 softmax 分类头一个 2 维回归头训练时两个 loss 加权相加。这样模型既能给离散标签又能输出连续的情感坐标方便后续做可视化或阈值判断。权重系数我一般设classify_loss_weight1.0, regression_loss_weight0.3回归头是辅助作用不喧宾夺主。4. 训练流程与参数配置从数据预处理到收敛4.1 训练数据准备没有标注数据怎么办情感识别最大的门槛不是模型而是数据。公开的中文语音情感数据集很少比较常用的是 CASIA 和 MELD 的英文版中文场景下很多团队不得不自己标注。我的做法是“半自动标注 人工抽检”先让 ASR 模型把语音转成文本再用现成的文本情感分析模型给每句话打一个预标签最后人工只抽检那些文本模型置信度低的样本。这里有个数据增强的细节语音侧做变速、加噪、音高偏移文本侧做同义词替换和语序扰动。语音变速用librosa.effects.time_stretch变速系数在 0.91.1 之间太离谱的声音就变得不自然了。加噪用scipy的wgn白噪声或者真实环境噪声底噪信噪比控制在 1020dB。文本增强方面“我感觉有点难过”可以替换成“我心里不太好受”注意替换情感词时要保证极性不变。# 语音数据增强变速 加噪 import librosa import numpy as np def augment_audio(y, sr): # 随机变速保持音高不变 rate np.random.uniform(0.9, 1.1) y_aug librosa.effects.time_stretch(y, raterate) # 随机加白噪声信噪比10~20dB snr_db np.random.uniform(10, 20) noise np.random.randn(len(y_aug)) signal_power np.mean(y_aug ** 2) noise_power signal_power / (10 ** (snr_db / 10)) y_aug y_aug noise * np.sqrt(noise_power) return y_aug.astype(np.float32)time_stretch的rate参数是时间拉伸比例小于 1 是放慢大于 1 是加快。要注意先变速后加噪顺序反了会导致噪声也跟着变速破坏噪声分布的一致性。加了数据增强之后训练集准确率可能会先降后升——这是正常的模型看到的数据变多样了收敛速度会变慢但泛化能力会显著提升。4.2 训练循环优化器、学习率和早停的合理设置训练情感识别模型优化器我首选 AdamW这是 Transformer 类模型的标准搭配。学习率设置上有个容易翻车的细节BERT 这类预训练模型的 backbone 层和随机初始化的分类头需要不同的学习率。backbone 用 2e-5 微调分类头用 1e-3 从头训两者差两个数量级。如果你想让模型收敛速度更快可以用带 warmup 的余弦退火调度器——前 10% 的步数里学习率从 0 线性爬升到目标值然后再按余弦曲线衰减到接近 0。from transformers import get_cosine_schedule_with_warmup # 分组建参backbone用低学习率新加的层用高学习率 optimizer torch.optim.AdamW([ {params: audio_encoder.parameters(), lr: 2e-5}, {params: text_encoder.parameters(), lr: 2e-5}, {params: fusion_layer.parameters(), lr: 1e-3}, {params: classifier.parameters(), lr: 1e-3} ]) scheduler get_cosine_schedule_with_warmup( optimizer, num_warmup_stepsint(epochs * steps_per_epoch * 0.1), num_training_stepsepochs * steps_per_epoch )训练时要盯住两个指标验证集 loss 和验证集准确率。如果验证集 loss 在下降但准确率纹丝不动可能是类别不均衡问题——某个类别样本太多了模型只顾着学大类的特征。如果验证集 loss 先降后升这是过拟合信号应该立刻用早停把最优模型权重保存下来。es_patience5意思是连续 5 个 epoch 验证集 loss 没有刷新最低就停这个参数在 10 万级数据量下比较合理数据量只有 1 万时es_patience要降到 3因为小数据集更容易过拟合。4.3 核心参数速查表照着抄能少踩一半坑下面这张表是我跑完多个情感识别项目后的经验值汇总数据集特性不同时可以以此为基准做微调。参数推荐值调整方向音频采样率16000 Hz电话语音降为 8000MFCC 维度40特征不足时尝试 64文本最大长度128 token长对话切分后取每句 128融合隐藏层维度256数据量大时增到 512BERT 学习率2e-5过拟合时降到 1e-5分类头学习率1e-3收敛慢时降到 3e-4Batch Size32显存不足时减半并用梯度累积Dropout0.3过拟合时升到 0.5早停 patience5数据量小时降到 3类别权重自动反频手动调时对大类的权重设 0.7Batch Size32对 BERT 类模型和语音特征提取来说是一个显存友好的值。显存不够时不要直接降 batch size优先升 dropout 或者用混合精度训练。混合精度能省约一半显存代价是模型基准准确率可能偏移 0.10.3 个点在情感识别这种对精度要求不苛刻的场景完全可以接受。5. 避坑指南多模态情感识别最容易翻车的 5 个地方5.1 断句对齐错位语音和文本根本对不上现象训练时 loss 很低推理时对长语音的预测结果完全不可信识别出来的情感和听感明显矛盾。原因大多数开源数据的语音和文本标注不是逐句对齐的。比如一条 30 秒的录音文本可能是整段转写但模型按固定窗口切帧后语音片段和文本片段已经错了一位。尤其是在说话人中途停顿、咳嗽、环境音干扰时错位更严重。解决先做强制对齐forced alignment用 Montreal Forced Aligner 或 ASR 模型的时间戳输出把文本切到句级。如果没有对齐工具至少要让训练数据保持“一句音频对一句文本”的结构不要拿整段对话直接训练。切分后再统计一下每条样本的时长分布控制在 18 秒之间超过 8 秒的语音需要二次切分。5.2 类别不均衡中性样本碾压一切现象模型把大多数输入都预测为 neutral准确率看着有 70%但 angry 类别的召回率只有 20%。原因真实对话数据里中性表达占比往往超过 50%模型学到的先验就是“大部分话没什么情绪”。如果不做处理softmax 输出会被 neutral 类主导。解决训练时给每个类别的 loss 加权权重按1 / sqrt(class_freq)计算而不是简单的反频率。同时在数据增强阶段对少数类做额外增强——比如 angry 样本多做几次变速和加噪让模型见过更多“愤怒但声音条件不同”的变体。验证时不要只看准确率要同时看 macro-F1这个指标对不均衡更敏感。5.3 预训练模型灾难性遗忘现象微调 BERT 到第 3 个 epoch验证集泛化能力反而比第 1 个 epoch 还差。原因情感识别数据集太小BERT 在微调过程中把预训练阶段学到的通用语言知识覆盖掉了。这是典型的灾难性遗忘表现就是训练集准确率逼近 100%验证集却停滞甚至下降。解决一是设置更小的 BERT 学习率1e-5 甚至 5e-6二是用冻结层策略——前 6 层 BERT 参数冻结只微调后 6 层和融合层三是引入对抗训练比如 FGMFast Gradient Method在 embedding 上加一个小扰动让模型变得更鲁棒。FGM 的实现很简单但效果立竿见影验证集准确率一般能再涨 1 个点。5.4 推理延迟过高线上服务扛不住现象单条音频样本推理要 800msQPS 完全达不到上线标准。原因BERT 模型前向计算太慢加上语音特征提取时的 librosa 处理也耗时。很多人只看模型准确率忽略整条链路的延迟。解决先用 ONNX Runtime 导出 BERT 模型推理速度通常能提升 23 倍。语音侧把 librosa 的加载和特征提取改成预处理服务在训练时就把特征算好存成 npy 文件推理时直接读特征省掉在线提取的时间。如果 QPS 要求很高把 7 类情感分类的 BERT 模型蒸馏成一个 6 层的 TinyBERT准确率只掉 12 个点延迟能降到 100ms 以内。5.5 中文文本编码乱码与 tokenizer 不匹配现象推理时输入文本可以但一跑训练就报IndexError: index out of range in self或者预测结果全是 neutral。原因训练脚本里用了别的 tokenizer 或词表和 BERT 预训练词表不一致。中文文本最容易出的问题还有标点符号编码不统一——中文全角标点和英文半角标点在 BERT 词表里是不同 token直接拼接会让模型困惑。解决统一用AutoTokenizer.from_pretrained(bert-base-chinese)不要手动切词再喂给 BERT。预处理阶段把全角标点统一转成半角或者反过来总之全半角不要混用。这条规则要写进数据预处理流水线别只写在某个样本的处理代码里否则上线时一定会漏。6. 进阶玩法不确定性加权融合和模型导出融合层已经用了跨注意力还能不能再进一步我建议试不确定性加权融合Uncertainty Weighted Fusion。思路是让模型同时输出情感预测和置信度语音分支和文本分支各自出一个预测分布最终结果按置信度加权合并。这个方案特别适合处理“语音清晰但文本模糊”或者反过来“文本完整但语音嘈杂”的场景——哪条路更可靠就多信哪条路一点。实现上不需要改模型结构只需要在融合层的输出上再接一个置信度预测头用torch.std对多个 dropout 的前向结果做蒙特卡洛 dropout就能得到一个比较稳的置信度估计。模型导出方面训练完成后我建议把 PyTorch 模型转成 ONNX 再部署。融合层和分类头一起导出语音特征提取留在预处理服务里B端调用只输入对齐后的语音特征数组和文本 token 序列。导出时注意把动态轴设好——文本长度是可变的ONNX 默认固定输入尺寸。# 导出为ONNX固定batch1文本长度动态 python -m torch.onnx.export \ --model model.pt \ --output model.onnx \ --dynamic-axes input_ids: {0: batch, 1: seq_len} \ --opset-version 13ONNX 导出后建议顺手做一次精度对比——把测试集 1000 条样本分别跑 PyTorch 原模型和 ONNX 模型统计预测一致率。如果一致率低于 99%多半是某层算子被替换成低精度实现导致的偏差需要检查是否有gelu或者 LayerNorm 的算子兼容问题。最后说一个我自己总结的验证习惯每训完一版模型我会拿 50 条真实场景录音做一次“盲听测试”——只听音频、不看文本先自己标注情感再对照模型预测结果。这个方法能暴露出很多指标看不出来的问题比如某个方言口音的说话人总是被误判。这样迭代几轮后模型在真实场景的可用性会比只看公开数据集指标高很多。希望这些经验帮到你少走弯路。本文还有配套的精品资源点击获取