第1章 基础知识
1.1 研究背景
随着社会进步和机器人技术的不断发展，特别是在比尔·盖茨提出“机器人进入千家万户”的战略设想后，家庭服务机器人逐渐受到人们关注，此外，在人口老龄化日益严重的今天，智能服务机器人进入家庭为老人、残障人士提供服务的需求越来越迫切。在这样的背景下，众多发达国家都对家庭服务机器人的研究gao度重视，相继制订了相应的战略发展规划。我国科学技术部也组织编制了《服务机器人科技发展“十二五”专项规划*，将服务机器人研究作为“十二五”期间机器人技术研究的重要部分。国家自然科学基金委员会也启动了“共融机器人基础理论与关键技术研究”重da研究计划，明确提出了对能够与作业环境、人和其他机器人自然交互、自主适应复杂动态环境并协同作业的共融机器人的概念及其研究方向。在这些政策导向的推动下，国内外很多著名gao校和学者先后投身其中，家庭服务机器人的研究逐渐进入了gao速发展时期。
尽管已有众多的gao校和科研机构对服务机器人展开了研究，但是目前服务机器人的研究仍处于一个较di的水平，相比人们期望的机器人进入日常家庭，提供宜人化服务还有一定差距，其原因主要在于机器人自身智能程度的限制以及家庭环境的复杂性。在家庭环境下，服务机器人要完成一项服务任务（如获取和操作工具），往往涉及“用到哪些工具？”“工具是什么样的？”“工具在哪里？”“我在哪里？”和“我怎样到达工具处？”等问题，其中，前两个问题属于工具知识表示与推理的范畴，后三个问题则可通过有效的地图模型寻求解决。事实上，在服务机器人研究领域中，有效的工具知识表示和环境地图模型是机器人理解并适应环境，继而完成路径规划和定位导航，并zui终提供自然交互服务的基础。
服务机器人对工具和环境的理解研究经历了两个阶段，即感知阶段（面向导航）和认知阶段（面向自然交互）。在感知阶段，工具表示主要基于颜色、纹理等底层表观特征，环境也主要以几何、栅格、拓扑等地图形式描述，该阶段缺乏对物品功用性等语义的描述，且地图信息也过度简化而仅适用于路径规划和定位导航，对机器人环境理解和与人自然交互帮助甚少。发展到认知阶段，工具的中层和gao层语义信息得到重视，并且通过在传统感知地图中加入这些语义信息，初步建立了与人类认知相兼容的环境描述，即认知地图。
在人类认知过程中，对家庭工具的认知通常通过有参照地学习（聚类和监督式学习的思想）同类工具的表观和语义来构建该类工具的模型，对家庭场景的认知则根据其中所含标志性工具将场景赋予特定语义信息。总体来看，这些语义信息在人类活动中起着至关重要的作用，频繁出现在人们的日常用语中，并且深刻地影响着人们的理解和交互。传统感知型机器人正是由于没有考虑工具及场景的语义，因此无法以与人相同或相似的方式认知服务环境，故而难以与人形成自然交互而做到人性化服务。
目前，认知环境及其中功能区场景、工具的研究已经初步展开，但问题还远未到解决的程度，通用的、实用化的工具与功能区知识表示及认知地图表示方法仍需要进一步深入研究。在认知层面上，当前研究主要聚焦在工具名称及空间关系语义上。但根据李飞飞等研究团队的zuixin调查研究，功用性这一语义特征在人类认知中起到更da作用，某种程度上讲，功用性是一种比名称及空间关系更有意义的语义描述，将其融入环境认知中将Jda地提升机器人认知水平。此外，目前可认知环境中工具及功能区的语义信息da多依靠所粘贴的语义标签来提供，机器人通过阅读标签获取语义，属于一种被动式认知方式，且标签标记存在负担繁重、部分工具标记困难的问题。随着图像处理和机器学习理论的发展，模拟人类的环境认知与学习机制，使机器人自主识别工具与场景已成为服务机器人领域的一个重要研究方向。
此外，对于工作在家庭这种动态复杂环境的机器人，受自身感知范围所限，机器人难以实时地获得整个家庭的动态信息，不利于其提供快捷gao效的服务。物联网技术将日常物品连成网络并进行智能化识别、定位、跟踪、监控与管理。通过将物联网与服务机器人有效结合，可实现两者的you势互补：一方面，物联网为机器人提供全局感知，弥补机器人全局感知能力弱的缺陷；另一方面，机器人可视为物联网的执行机构，从而使物联网具备主动服务能力。可见，物联网机器人系统是机器人进入家庭提供智能服务的可行发展方向。
1.2 国内外研究现状
本书围绕基于学习的家庭物联网机器人系统工作环境深层认知关键理论与技术展开探讨，所研究的问题属于机器学习、状态估计等理论及其在机器人环境理解与认知方面的应用。由于家庭环境认知的复杂性，目前国内外研究主要集中在工具识别、室内场景识别，以及环境地图表示与构建三个方面D立展开。
1.2.0.1 工具识别研究
工具识别是服务机器人应具备的基本功能。目前，工具识别算法da致可以分为三个类别：diyi类以Dalal和Triggs提出的基于支持向量机分类器的方向梯度直方图（histogram of oriented gradient，HOG）特征刚性检测器为代表[1]，作为刚性模型的扩展，变形部件模型[2]在很多基准测试中取得了不错的效果。第二类建立在Viola和Jones[3]工作基础之上，使用了Boosting方法和各种不同的特征通道。此类检测器在处理工具轮廓方面不够灵活，但是在行人数据集下具有很hao的识别精度，并可达到在线识别。第三类为基于投票机制的工具中心预测器[4]。上述方法均在RGB图像上进行处理，未考虑场景图像的深度信息。目前随着可同时获取颜色和深度数据的di成本RGB-D相机的出现，基于RGB-D进行工具识别逐渐引起学者的关注。与此同时，受特征学习研究的推动，机器人领域的学者们开始对其展开研究并应用于RGB-D工具识别。Bo等[5]通过将核观点引入深度图和3D点云提出了RGB-D核描述符，并在RGB-D工具数据集下得到了更gao的识别精度。Blum等[6]将K均值（K-means）聚类特征学习用于RGB-D工具识别。zui近，卷积神经网络（convolutional neural networks，CNN）被用来训练并提取图像的CNN特征，以进行场景中工具的识别[7]，实验结果表明，基于CNN特征的工具识别算法准确率较其他常规算法明显提gao，该研究还指出，在RGB图像上提取CNN特征的方法同样适用于深度图像，且将RGB和深度信息结合可生成更加丰富的特征。上述方法虽然在识别准确率上有不断提gao，但da部分都基于滑动窗口机制，由于RGB-D图像搜索空间jda，因此很难达到在线识别。将视觉显著性计算、随机森林、K均值等方法引入工具检测和识别算法中，为实现在线识别提供了一种有效的解决策略，在该方面本课题组已经展开初步研究[8-10]。
此外，受自然交互和宜人服务任务驱动，机器人已能识别工具的一些基础语义信息，如工具名称、种类等。近年来，功用性（affordance）被提出来[11；12]，其因连通现实世界与任务世界而被认为是语义的重要组成部分。借鉴人类认知方式，使机器人具备工具部件功用性认知能力，对机器人主动智能提升具有重要意义。目前，机器人主要通过读取语义标签方式被动获取工具功用性等语义，基于推理学习的主动认知方法研究刚刚出现[9-13]。
1.2.0.2 室内场景识别研究
室内场景识别在机器人和计算机视觉领域是一个非常具有挑战性的开放问题.Lazebnik等[14]在该方面做出了开创性的工作，随后场景识别主流方法致力于利用表观特征或空间信息来构建场景图像的全局表示，并在室外场景识别时取得了很hao的效果，但针对室内场景表现不jia，其原因有二：diyi，室内工具存在形式的多样性，造成同类场景呈现较da差异；第二，人造环境中不同场景类间存在相似性。为了弥补di层特征表示方法的不足，一些中层和gao层语义信息被用来进行图像的表示。文献[15]提出了一种考虑不同视觉单词间的空间关系的空间金字塔匹配模型。文献[16]建立了一种语义框架，通过基于隐藏工具的语义表示方法来预测图像类别。Wan等[17]提出了一种更加有效的gao层特征表示方式，不仅考虑到场景图像中出现的工具，还将各个工具之间的空间位置关系考虑其中，包括前、后、上、下、左、右、包含、被包含、近、远。
传统视觉感知模型通过识别场景的工具推断场景类型，然而目前的研究成果表明人类对图像的局部细节并不敏感。心理学家则预测功用性是实现人类感知外部环境的关键[18]。将所含工具功用性、布局（位置）及空间关系等语义信息融合起来，是提gao场景识别准确率的行之有效的研究方向，本课题组提出一种规避码本的室内功能区表示与建模方法[19]。
1.2.0.3 环境地图表示与构建研究
地图是服务机器人理解所处环境，实现自主导航以及与人进行交互的基础。环境地图的精度和内容的完备性将直接影响机器人的服务质量。从地图形式和内容看，对环境的描述主要分为感知类地图和认知类地图两da类。感知地图研究较早，发展到现在主要有几何地图、拓扑地图、混合地图等。认知地图[20；21]也称语义地图[22；23]、全息地图[24；25]等，是一种集成了工具空间分布及自身属性，同时包括各种上下文语义及其推理关系的功能强健的xin型环境模型。文献[26]提出了空间混合级联地图模型，文献[22]通过识别粘贴在da工具上的QRCode标签，构建了含da工具功能属性和归属关系描述的三维栅格语义地图。
在环境地图构建方面，基于概率方法的机器人同时定位与建图（simultaneous Localization and mapping，SLAM）仍是目前的主流研究方法[27；28]。Rao-Blackwellized粒子滤波（Rao-Blackwellized particle filtering，RBPF）同时具备扩展卡尔曼滤波（exTended Kalman filter，EKF）和粒子滤波的you势，已被成功应用于SLAM中[28]。尽管国内外学者对SLAM问题已经进行了深入研究，定位与建图的精度得到了da幅提升，然而，此过程中传感器机载，机器人观测误差与运动误差相耦合，导致定位和建图误差会随机器人运动距离发生不可避免的扩散。
综上可见，现有认知地图更多地关注表观特征和工具空间关系等语义信息，而忽略了功用性这一关键语义。此外，通过人工标签获取工具语义的方式存在标注工作繁重、适用性有限等缺点，且因破坏环境原貌、不符合日常习惯而显得不够自然、和谐。
1.2.0.4 发展动态分析
家庭物联网机器人系统环境认知是当前服务机器人研究的重要热点问题，但该问题的解决还有很长的路要走。目前研究仍处于初级阶段，存在以下难点问题.
（1）完整有效的环境知识表示模型尚待研究建立。必须明确，仅依靠认知地图并不能达到自然交互、宜人服务级别的环境认知。尽管认知地图能够描述家庭环境中场景与工具间的包含关系及空间上下文语义，使机器人具备了初步的服务空间概念，但这对达到自然交互的要求还远远不够。受人类认知启发，分别针对工具及功能区构建包含更深层次语义信息的知识库，并研究其与认知地图的关联关系，将是一种提升服务质量的有效途径。
（2）机器人环境认知的主动学习能力尚需提gao。当前，机器人对环境及其组成成分的表观特征已可通过各类传感器获取并分析，但对语义层面的特征则需要借助语义标签方式由人告知。这种被动式获取方式，一方面限制了机器人在自然家庭环境中的应用，另一方面，对机器人智能增长亦无推动。因此，对服务机器人环境认知的主动学习方法亟待展开研究。
（3）工具、功能区的语义内涵有待扩展。面向自然交互，机器人需要与人类认知方式相兼容，因此，现有工具及功能区的语义描述需要扩展。近几年斯坦福da学李飞飞研究团队[11]和康奈尔da学Ashutosh Saxena研究团队[12]不约而同地指出，功用性是工具及功能区的重点语义特征。此外，对功能区功用性的认知还需要参考其中工具功用性、布局及空间关系等诸多因素联合确定。
综上所述，服务机器人对服务环境的理解已由感知层面深化到认知层面，相关研究也已由对物理空间和表观特征空间的建模转移到语义空间下的建模，但该方面研究刚刚开始，亟待展开进一步深入研究。综合研究现状以及作者本人和所在课题组在环境认知方面已展开的研究工作，本项目组提出在免标签自然家庭环境下，基于学习的家庭物联网机器人系统自主环境认知研究课题，对提升机器人环境认知深度、广度及自主性方面所涉及的关键理论和方法展开综合性的研究，针对工具及功能区的知识表示、知识库构建与更xin、与知识库关联的认知地图分层描述与物联网机器人联合建图等问题提出较为系统的解决方案。
1.3 本书所用特征
1.3.1 深度几何特征
本书根据深度图像计算功用性边缘检测模型对应的几何特征，其中平均曲率为微分几何中反映曲面弯曲程度的内蕴几何量，记为fMC，主曲率为（k1；k2）；k1>k2，则fMC=（k1+k2）/2。梯度幅值和方向梯度直方图特征是用来进行物体边缘检测的有效特征描述子。形状指数（SI）和曲度（CV）表征表面在不同方向的弯曲，体现人对形状的感知。形状指数SI和曲度CV的计算公式如下：
（1.1）
表面法向量是几何体表面的重要属性。本书从深度数据恢复3D点云，再从中估计出3D表面法向量，并去除样本块均值，使得视角变化时表面法向量特征鲁棒性更强。
gao斯曲率（Gaussian curvatures）同平均曲率一样是曲面论中重要的内蕴几何量，记为fGC，则fGC=k1k2（k1和k2为曲面上一个点的两个主曲率）。联合gao斯曲率和平均曲率可以确定8种曲面类型:峰、脊、鞍形脊、zui小面、平面、阱、谷和鞍形谷，有助于识别不同功用性的内部结构。
1.3.2 SIFT特征
尺度空间J值检测1先在图像尺度空间通过gao斯差分（difference of Gaussian，DoG）函数查找潜在的兴趣点，初步确定这些点的位置和尺度。DoG定义为两个不同尺度的gao斯滤波器的差分，即
（1.2）
式中，G（x；y；k）为二维gao斯函数，.为gao斯正态分布的方差，I（x；y）表示原始图像，*表示卷积运算。
如图1.1所示，在检测尺度空间J值时，图中标记为叉号的像素为当前处理的像素点，它需要跟包括同一尺度的周围邻域8像素和相邻尺度对应位置的周围邻域9×2像素共26像素进行比较，如果该点为局部zui小值或zuida值点，则该点为兴趣点。zui底部和zui1；cy=CY部的DoG尺度图像，由于没有下一级图像和上一级图像，因此不再进行J值点检测。
图1.1 DoG尺度空间局部J值检测
兴趣点初选择 以上获得兴趣点是候选兴趣点，需要对这些兴趣点进行检验以保证可靠性。1先删除对噪声敏感的di对比度或在边缘定位差、不稳定的兴趣点，以增强匹配稳定性、提gao抗噪声能力。为了进一步提gao定位的稳定性，Lowe利用一个3D二次函数拟合兴趣点周围的采样点来寻找插值的zuida值[29]，不再简单地将兴趣点位置选择为中心采样点的位置。实验表明，精确确定候选兴趣点的位置对兴趣点的匹配也有Jda的改善。
确定兴趣点方向向量 排除掉不稳定兴趣点和精确定位兴趣点后，利用兴趣
