l 深度探讨了融合多模态机器学习的人机交互多模态情感分析方法。
l 深度探讨了实现鲁棒性的多模态情感分析方法与实现策略。
l 系统论述了深度人工智能时代共融机器人自然交互的基础理论与实现方法。

第一篇概述
章多模态情感分析概述3
1.1多模态情感分析相关研究概述3
1.2模态缺失相关研究概述6
1.3本章小结7
第2章多模态机器学习概述8
2.1多模态表示学习概述8
2.1.1联合型表示学习9
2.1.2协同型表示学习9
2.2多模态表示融合概述10
2.2.1前期融合10
2.2.2中期融合10
2.2.3后期融合11
2.2.4末期融合11
2.3本章小结11
第3章多任务学习机制概述13
3.1在计算机视觉中的多任务架构13
3.2在自然语言处理中的多任务架构14
3.3在多模态学习中的多任务架构16
3.4本章小结18目录  面向共融机器人的自然交互——多模态交互信息的情感分析  

第二篇多模态情感分析数据集与预处理
第4章多模态情感分析数据集简介23
4.1CMUMOSI24
4.2CMUMOSEI24
4.3IEMOCAP24
4.4MELD25
4.5本章小结25
第5章多模态多标签情感分析数据集构建26
5.1概述26
5.2多模态多标签的中文情感分析数据集制作26
5.2.1数据收集和标注26
5.2.2统计和分析28
5.3本章小结29
第6章基于主动学习的多模态情感分析数据的自动标定30
6.1相关工作30
6.1.1数据标注30
6.1.2主动学习31
6.2研究方法35
6.2.1整体结构介绍36
6.2.2MMAL模块介绍38
6.2.3半监督学习模块40
6.3实验设置40
6.3.1实验参数和评价标准40
6.3.2基线模型选择41
6.4结果分析42
6.4.1主动学习方法效果分析42
6.4.2半监督主动学习方法效果分析44
6.4.3消融实验46
6.5本章小结47
第三篇单模态信息的情感分析
第7章基于文本的情感分析51
7.1基于情感词典的情感分析方法52
7.2基于深度学习的情感分析方法53
7.2.1单一神经网络的情感分析53
7.2.2混合神经网络的情感分析53
7.2.3引入注意力机制的情感分析54
7.2.4使用预训练模型的情感分析54
7.3本章小结55
第8章基于语音信息的情感分析56
8.1基于ConstantQ色谱图的音频情感分类56
8.1.1ConstantQ色谱图抽取58
8.1.2CRLA模型59
8.1.3特征抽取网络59
8.1.4上下文表征学习59
8.1.5实验与分析60
8.2基于异构特征融合的音频情感分类63
8.2.1频谱特征抽取64
8.2.2统计特征抽取66
8.2.3CHFFM66
8.2.4CSFM67
8.2.5实验与分析68
8.3本章小结71
第9章基于人脸关键点的图片情感分析72
9.1CMCNN73
9.1.1设计思想73
9.1.2模型整体框图74
9.1.3CCAM75
9.1.4SCAM76
9.1.5多任务优化目标77
9.2实验设置77
9.2.1基准数据集77
9.2.2数据预处理78
9.2.3基线方法79
9.2.4评价指标79
9.2.5训练策略和参数设置80
9.3实验结果和分析80
9.3.1与基线方法的结果对比80
9.3.2迁移效果验证82
9.3.3特征可视化83
9.3.4模块化分析84
9.4本章小结85
第四篇跨模态信息的情感分析
0章跨模态特征表示方法89
10.1文本模态特征表示方法90
10.2音频模态特征表示方法91
10.2.1格式转换92
10.2.2特征工程92
10.2.3数据对齐93
10.2.4高阶特征提取94
10.2.5融合特征95
10.3实验与分析97
10.3.1数据集和评价指标97
10.3.2实验设置98
10.3.3实验结果98
10.4不足和展望100
10.5本章小结100
1章基于多层次信息互补的融合方法101
11.1方法102
11.1.1模态表示模块102
11.1.2模态相似度和情绪识别多任务105
11.2实验与分析106
11.2.1数据集106
11.2.2数据预处理106
11.2.3评价指标107
11.2.4训练细节和参数设置107
11.2.5对比基线108
11.2.6实验分析108
11.3不足与展望111
11.4本章小结112
2章生成式多任务网络的情绪识别113
12.1方法115
12.1.1情绪多任务网络115
12.1.2生成式多任务模块116
12.2实验与分析117
12.2.1数据集117
12.2.2数据预处理118
12.2.3基线模型119
12.2.4评价指标以及重要参数设置119
12.2.5情绪分类实验结果119
12.2.6实验分析121
12.3不足与展望122
12.4本章小结122
3章面向非对齐序列的跨模态情感分类124
13.1SAFRLM125
13.1.1多模态对齐模块126
13.1.2融合表示初始化模块126
13.1.3自调节模块127
13.2实验与分析128
13.2.1数据集及实验设置129
13.2.2单模态特征抽取及评价指标129
13.2.3基线模型129
13.2.4跨模态情感分类实验结果130
13.2.5Crossmodal block的数目对实验的影响131
13.2.6定性分析132
13.3不足与展望133
13.4本章小结133
4章面向对齐序列的跨模态情感分类134
14.1问题定义135
14.2音频特征抽取与对齐135
14.3CMBERT模型135
14.3.1预训练BERT模型136
14.3.2时序卷积层137
14.3.3Masked Multimodal Attention137
14.4实验与分析139
14.4.1数据集和评价指标139
14.4.2实验设置139
14.4.3跨模态情感分类实验结果139
14.4.4注意力机制可视化分析141
14.5不足与展望143
14.6本章小结143
第五篇多模态信息的情感分析
5章基于多任务学习的多模态情感分析模型147
15.1基于多任务学习的多模态情感分析模型概述148
15.1.1模型总体设计148
15.1.2单模态表示学习网络149
15.1.3表示融合和分类150
15.1.4多任务优化目标151
15.2实验设置和结果分析151
15.2.1实验设置151
15.2.2结果与分析152
15.3本章小结156
6章基于自监督学习的多任务多模态情感分析模型157
16.1基于自监督学习的单模态伪标签生成模型157
16.1.1模型总体设计157
16.1.2ULGM159
16.1.3自适应的多任务损失函数162
16.2实验设置和结果分析163
16.2.1实验设置163
16.2.2结果与分析164
16.3本章小结168
7章基于交叉模块和变量相关性的多任务学习169
17.1概述169
17.2权值共享层框架169
17.3多任务学习层框架171
17.3.1多任务交叉模块171
17.3.2基于皮尔森相关系数的特征融合173
17.4多任务学习算法实验175
17.4.1实验评测指标175
17.4.2实验条件176
17.4.3实验结果176
17.5本章小结177
8章基于互斥损失函数的多任务机制研究178
18.1概述178
18.2常用损失函数178
18.2.1基础损失函数178
18.2.2中心损失函数179
18.2.3互斥损失函数180
18.3基于多任务机制的互斥损失函数181
18.4损失函数策略对比实验182
18.4.1实验条件182
18.4.2实验结果182
18.5本章小结184
9章基于多任务多模态算法的迁移学习探究185
19.1概述185
19.2迁移学习概述185
19.2.1迁移学习的背景185
19.2.2迁移学习的定义185
19.3迁移数据集186
19.4迁移实验186
19.4.1实验条件186
19.4.2实验结果186
19.5本章小结187
第20章基于模态缺失的多模态情感分析方法188
20.1任务定义188
20.2处理数据缺失方法概述188
20.2.1基于模态转译方法189
20.2.2基于张量正则化方法190
20.3模型的框架结构191
20.3.1特征抽取模块192
20.3.2模态重构模块193
20.3.3模态融合模块194
20.3.4模型训练195
20.4实验195
20.4.1多模态情感分析数据集195
20.4.2模态序列特征抽取196
20.4.3基线模型196
20.4.4实验设置196
20.4.5评价标准197
20.5实验分析197
20.5.1模型对缺失程度鲁棒性研究197
20.5.2模型对缺失模态组合鲁棒性研究200
20.5.3消融实验200
20.6本章小结202
第六篇多模态情感分析平台及应用
第21章多模态情感分析实验平台简介205
21.1概述205
21.2平台概览206
21.3数据端207
21.3.1数据管理207
21.3.2数据标注208
21.4模型端209
21.4.1多模态情感分析流程210
21.4.2模型训练与微调210
21.5分析端210
21.5.1多维结果分析211
21.5.2模型对比211
21.5.3端到端现场演示211
21.6实验评价213
21.6.1评价基准数据集213
21.6.2评价标注结果214
21.6.3评价现场演示215
21.7本章小结215第22章扩展应用： 基于多模态临床特征表示与融合的端到端中医体质
评价系统21622.1概述216
22.2中医体质评价系统217
22.3方法218
22.3.1面诊特征表示模块218
22.3.2舌诊特征表示模块219
22.3.3问诊特征表示模块219
22.3.4中医体质预测220
22.4实验220
22.5本章小结221
结束语222
参考文献223
附录A中英文缩写对照表237
附录B图片索引240
附录C表格索引243

共融机器人是能够与作业环境、人和其他机器人自然交互、自主适应复杂动态环境并协同作业的机器人。“敏锐体贴型”的自然交互是共融服务机器人的研究热点问题之一。当前迫切需要共融机器人具备多模态交互信息的情感分析能力。本书针对多模态机器学习方法的情感分析领域，从多模态交互信息特征的学习表示出发，系统介绍了自然交互中的特征学习表示、特征融合和情感分类的方法，并进一步探讨了如何实现鲁棒的多模态情感分析法。 本书是共融机器人自然交互领域国内第一本系统介绍多模态交互信息情感分析的专业书籍，可为读者掌握共融机器人研究领域人机情感分析的关键技术和基础知识，为追踪该领域的发展前沿提供重要的学习和研究参考。