l 深度探讨了融合多模态机器学习的人机交互多模态情感分析方法。
l 深度探讨了实现鲁棒性的多模态情感分析方法与实现策略。
l 系统论述了深度人工智能时代共融机器人自然交互的基础理论与实现方法。

第一篇概述
章多模态情感分析概述3
1.1多模态情感分析相关研究概述3
1.2模态缺失相关研究概述6
1.3本章小结7
第2章多模态机器学习概述8
2.1多模态表示学习概述8
2.1.1联合型表示学习9
2.1.2协同型表示学习9
2.2多模态表示融合概述10
2.2.1前期融合10
2.2.2中期融合10
2.2.3后期融合11
2.2.4末期融合11
2.3本章小结11
第3章多任务学习机制概述13
3.1在计算机视觉中的多任务架构13
3.2在自然语言处理中的多任务架构14
3.3在多模态学习中的多任务架构16
3.4本章小结18目录  面向共融机器人的自然交互——多模态交互信息的情感分析  

第二篇多模态情感分析数据集与预处理
第4章多模态情感分析数据集简介23
4.1CMUMOSI24
4.2CMUMOSEI24
4.3IEMOCAP24
4.4MELD25
4.5本章小结25
第5章多模态多标签情感分析数据集构建26
5.1概述26
5.2多模态多标签的中文情感分析数据集制作26
5.2.1数据收集和标注26
5.2.2统计和分析28
5.3本章小结29
第6章基于主动学习的多模态情感分析数据的自动标定30
6.1相关工作30
6.1.1数据标注30
6.1.2主动学习31
6.2研究方法35
6.2.1整体结构介绍36
6.2.2MMAL模块介绍38
6.2.3半监督学习模块40
6.3实验设置40
6.3.1实验参数和评价标准40
6.3.2基线模型选择41
6.4结果分析42
6.4.1主动学习方法效果分析42
6.4.2半监督主动学习方法效果分析44
6.4.3消融实验46
6.5本章小结47
第三篇单模态信息的情感分析
第7章基于文本的情感分析51
7.1基于情感词典的情感分析方法52
7.2基于深度学习的情感分析方法53
7.2.1单一神经网络的情感分析53
7.2.2混合神经网络的情感分析53
7.2.3引入注意力机制的情感分析54
7.2.4使用预训练模型的情感分析54
7.3本章小结55
第8章基于语音信息的情感分析56
8.1基于ConstantQ色谱图的音频情感分类56
8.1.1ConstantQ色谱图抽取58
8.1.2CRLA模型59
8.1.3特征抽取网络59
8.1.4上下文表征学习59
8.1.5实验与分析60
8.2基于异构特征融合的音频情感分类63
8.2.1频谱特征抽取64
8.2.2统计特征抽取66
8.2.3CHFFM66
8.2.4CSFM67
8.2.5实验与分析68
8.3本章小结71
第9章基于人脸关键点的图片情感分析72
9.1CMCNN73
9.1.1设计思想73
9.1.2模型整体框图74
9.1.3CCAM75
9.1.4SCAM76
9.1.5多任务优化目标77
9.2实验设置77
9.2.1基准数据集77
9.2.2数据预处理78
9.2.3基线方法79
9.2.4评价指标79
9.2.5训练策略和参数设置80
9.3实验结果和分析80
9.3.1与基线方法的结果对比80
9.3.2迁移效果验证82
9.3.3特征可视化83
9.3.4模块化分析84
9.4本章小结85
第四篇跨模态信息的情感分析
0章跨模态特征表示方法89
10.1文本模态特征表示方法90
10.2音频模态特征表示方法91
10.2.1格式转换92
10.2.2特征工程92
10.2.3数据对齐93
10.2.4高阶特征提取94
10.2.5融合特征95
10.3实验与分析97
10.3.1数据集和评价指标97
10.3.2实验设置98
10.3.3实验结果98
10.4不足和展望100
10.5本章小结100
1章基于多层次信息互补的融合方法101
11.1方法102
11.1.1模态表示模块102
11.1.2模态相似度和情绪识别多任务105
11.2实验与分析106
11.2.1数据集106
11.2.2数据预处理106
11.2.3评价指标107
11.2.4训练细节和参数设置107
11.2.5对比基线108
11.2.6实验分析108
11.3不足与展望111
11.4本章小结112
2章生成式多任务网络的情绪识别113
12.1方法115
12.1.1情绪多任务网络115
12.1.2生成式多任务模块116
12.2实验与分析117
12.2.1数据集117
12.2.2数据预处理118
12.2.3基线模型119
12.2.4评价指标以及重要参数设置119
12.2.5情绪分类实验结果119
12.2.6实验分析121
12.3不足与展望122
12.4本章小结122
3章面向非对齐序列的跨模态情感分类124
13.1SAFRLM125
13.1.1多模态对齐模块126
13.1.2融合表示初始化模块126
13.1.3自调节模块127
13.2实验与分析128
13.2.1数据集及实验设置129
13.2.2单模态特征抽取及评价指标129
13.2.3基线模型129
13.2.4跨模态情感分类实验结果130
13.2.5Crossmodal block的数目对实验的影响131
13.2.6定性分析132
13.3不足与展望133
13.4本章小结133
4章面向对齐序列的跨模态情感分类134
14.1问题定义135
14.2音频特征抽取与对齐135
14.3CMBERT模型135
14.3.1预训练BERT模型136
14.3.2时序卷积层137
14.3.3Masked Multimodal Attention137
14.4实验与分析139
14.4.1数据集和评价指标139
14.4.2实验设置139
14.4.3跨模态情感分类实验结果139
14.4.4注意力机制可视化分析141
14.5不足与展望143
14.6本章小结143
第五篇多模态信息的情感分析
5章基于多任务学习的多模态情感分析模型147
15.1基于多任务学习的多模态情感分析模型概述148
15.1.1模型总体设计148
15.1.2单模态表示学习网络149
15.1.3表示融合和分类150
15.1.4多任务优化目标151
15.2实验设置和结果分析151
15.2.1实验设置151
15.2.2结果与分析152
15.3本章小结156
6章基于自监督学习的多任务多模态情感分析模型157
16.1基于自监督学习的单模态伪标签生成模型157
16.1.1模型总体设计157
16.1.2ULGM159
16.1.3自适应的多任务损失函数162
16.2实验设置和结果分析163
16.2.1实验设置163
16.2.2结果与分析164
16.3本章小结168
7章基于交叉模块和变量相关性的多任务学习169
17.1概述169
17.2权值共享层框架169
17.3多任务学习层框架171
17.3.1多任务交叉模块171
17.3.2基于皮尔森相关系数的特征融合173
17.4多任务学习算法实验175
17.4.1实验评测指标175
17.4.2实验条件176
17.4.3实验结果176
17.5本章小结177
8章基于互斥损失函数的多任务机制研究178
18.1概述178
18.2常用损失函数178
18.2.1基础损失函数178
18.2.2中心损失函数179
18.2.3互斥损失函数180
18.3基于多任务机制的互斥损失函数181
18.4损失函数策略对比实验182
18.4.1实验条件182
18.4.2实验结果182
18.5本章小结184
9章基于多任务多模态算法的迁移学习探究185
19.1概述185
19.2迁移学习概述185
19.2.1迁移学习的背景185
19.2.2迁移学习的定义185
19.3迁移数据集186
19.4迁移实验186
19.4.1实验条件186
19.4.2实验结果186
19.5本章小结187
第20章基于模态缺失的多模态情感分析方法188
20.1任务定义188
20.2处理数据缺失方法概述188
20.2.1基于模态转译方法189
20.2.2基于张量正则化方法190
20.3模型的框架结构191
20.3.1特征抽取模块192
20.3.2模态重构模块193
20.3.3模态融合模块194
20.3.4模型训练195
20.4实验195
20.4.1多模态情感分析数据集195
20.4.2模态序列特征抽取196
20.4.3基线模型196
20.4.4实验设置196
20.4.5评价标准197
20.5实验分析197
20.5.1模型对缺失程度鲁棒性研究197
20.5.2模型对缺失模态组合鲁棒性研究200
20.5.3消融实验200
20.6本章小结202
第六篇多模态情感分析平台及应用
第21章多模态情感分析实验平台简介205
21.1概述205
21.2平台概览206
21.3数据端207
21.3.1数据管理207
21.3.2数据标注208
21.4模型端209
21.4.1多模态情感分析流程210
21.4.2模型训练与微调210
21.5分析端210
21.5.1多维结果分析211
21.5.2模型对比211
21.5.3端到端现场演示211
21.6实验评价213
21.6.1评价基准数据集213
21.6.2评价标注结果214
21.6.3评价现场演示215
21.7本章小结215第22章扩展应用： 基于多模态临床特征表示与融合的端到端中医体质
评价系统21622.1概述216
22.2中医体质评价系统217
22.3方法218
22.3.1面诊特征表示模块218
22.3.2舌诊特征表示模块219
22.3.3问诊特征表示模块219
22.3.4中医体质预测220
22.4实验220
22.5本章小结221
结束语222
参考文献223
附录A中英文缩写对照表237
附录B图片索引240
附录C表格索引243

共融机器人是能够与作业环境、人和其他机器人自然交互、自主适应复杂动态环境并协同作业的机器人。“敏锐体贴型”的自然交互是共融服务机器人的研究热点问题之一。当前迫切需要共融机器人具备多模态交互信息的情感分析能力。本书针对多模态机器学习方法的情感分析领域，从多模态交互信息特征的学习表示出发，系统介绍了自然交互中的特征学习表示、特征融合和情感分类的方法，并进一步探讨了如何实现鲁棒的多模态情感分析法。 本书是共融机器人自然交互领域国内第一本系统介绍多模态交互信息情感分析的专业书籍，可为读者掌握共融机器人研究领域人机情感分析的关键技术和基础知识，为追踪该领域的发展前沿提供重要的学习和研究参考。

• 
  

• 发货方式

• 
  

• 自动：在特色服务中标有自动发货的商品，拍下后，源码类 软件类 商品会在订单详情页显示来自卖家的商品下载链接，点卡类 商品会在订单详情直接显示卡号密码。

  手动：未标有自动发货的的商品，付款后，商品卖家会收到平台的手机短信、邮件提醒，卖家会尽快为您发货，如卖家长时间未发货，买家也可通过订单上的QQ或电话主动联系卖家。

• 
  

• 退款说明

• 
  

• 1、源码类：商品详情(含标题)与实际源码不一致的（例：描述PHP实际为ASP、描述的功能实际缺少、功能不能正常使用等）！有演示站时，与实际源码不一致的（但描述中有"不保证完全一样、可能有少许偏差"类似显著公告的除外）；

• 2、营销推广类：未达到卖家描述标准的；
  

  3、点卡软件类：所售点卡软件无法使用的；

• 3、发货：手动发货商品，在卖家未发货前就申请了退款的；

  4、服务：卖家不提供承诺的售后服务的；（双方提前有商定和描述中有显著声明的除外）

  5、其他：如商品或服务有质量方面的硬性常规问题的。未符合详情及卖家承诺的。
  

• 注：符合上述任一情况的，均支持退款，但卖家予以积极解决问题则除外。交易中的商品，卖家无法修改描述！

• 
  

• 注意事项

• 
  

• 1、在付款前，双方在QQ上所商定的内容，也是纠纷评判依据（商定与商品描述冲突时，以商定为准）；

  2、源码商品，同时有网站演示与商品详情图片演示，且网站演示与商品详情图片演示不一致的，默认按商品详情图片演示作为纠纷评判依据（卖家有特别声明或有额外商定的除外）；

• 3、点卡软件商品，默认按商品详情作为纠纷评判依据（特别声明或有商定除外）；

• 4、营销推广商品，默认按商品详情作为纠纷评判依据（特别声明或有商定除外）；
  

  5、在有"正当退款原因和依据"的前提下，写有"一旦售出，概不支持退款"等类似的声明，视为无效声明；

  6、虽然交易产生纠纷的几率很小，卖家也肯定会给买家最完善的服务！但请买卖双方尽量保留如聊天记录这样的重要信息，以防产生纠纷时便于送码网快速介入处理。

• 
  

• 送码声明

• 
  

• 1、送码网作为第三方中介平台，依据双方交易合同（商品描述、交易前商定的内容）来保障交易的安全及买卖双方的权益；

• 2、非平台线上交易的项目，出现任何后果均与送码网无关；无论卖家以何理由要求线下交易的（如：要求买家支付宝转账付款的，微信转账付款的等），请联系管理举报，本平台将清退卖家处理。