基于表面凹凸度的未知物体分割识别方法周改云;张国平;梁明阶;吕琼帅;马丽【摘要】为了使机器人在人们的生活中更加普及和大众化,并从一定程度上优化机器人对周围环境的认知功能,设计了一种利用目标物体表面凹凸度对该物体进行分割识别的方法.该方法对目标物体局部表面凹凸性的两类判定方法展开了系统性的探讨和分析,将连续局部表面凹凸度对布尔型判定进行替换,利用表面凹凸度和法方向信息这两个要素设计了一类全新的分割权重运算方法,进而为输入场景构造相应的无向带权图,在这之后结合快速图分割算法获得相应的目标物体.实验结果表明,本文方法与基于凹凸性的判定方式相比,基于凹凸度的量化衡量在针对测量噪声和计算误差中具有的鲁棒性更好,实际分割结果比单一结合了法方向的实验结果好,更符合实践需求.【期刊名称】《四川大学学报（自然科学版）》【年(卷),期】2016(053)005【总页数】10页(P1001-1010)【关键词】机器人;认知能力;表面凹凸度;分割识别;鲁棒性【作者】周改云;张国平;梁明阶;吕琼帅;马丽【作者单位】平顶山学院软件学院,平顶山467000;平顶山学院软件学院,平顶山467000;华南理工大学计算机科学与工程学院,广州510006;广州市机器人软件及复杂信息处理重点实验室,广州510006;平顶山学院软件学院,平顶山467000;平顶山学院软件学院,平顶山467000【正文语种】中文【中图分类】TP242.6随着科学技术的不断发展，机器人渐渐地步入纷繁复杂的现实世界，其对现实场景的认知能力和诸多语义信息的获取能力十分关键.其中一个非常突出的问题是：机器人怎样发现周围环境中存在的物体和相应的信息[1].机器人要具备从周围环境中利用自身配置的传感器获取目标物体信息的能力，对传感器获取的信息进行科学的分割对机器人认知功能的实现十分重要.针对机器人的处理器视觉与图像分析领域而言，图像分割经过了一段非常久的发展历史，已经具备了比较完善的、性能突出的分割方法.按照工作思路上的区别，业内把分割方法系统性的划分为两大类，分别是基于模型的分割与无模型分割.针对前者而言，比较具有典型意义的是Rusu等[2] 研究的通过 RANSAC分割场景平面的方法.通过每次非定向选择三个非共线点来对既定的平面参数展开系统性的运算;然后，根据点和平面之间存在的距离来探究点和模型的一致性程度;最后，获得其中一致点数最大的平面模型.此类方法通用性比较良好，而且鲁棒性也十分出色，其不足之处在于对大量点云展开运算的时候其运算量过于庞大.Schnabel 等[3]学者出通过八叉树来构建各个点之间的近似空间关系，然后通过局部采样来增加RANSAC 的实际效率.针对无模型分割方法而言，并不会对分割目标进行模型假设，而是结合数据之间的相似性划分多个区域.另外，业内比较具有代表性的方法有Klasing 等[4]提出的直接通过点间的实际距离对点云展开分割的方案.此类方法一般情况下只对分割在空间上具有较大间隔的目标适用.Tribel 等[5]为待分割的点云运算三角网格，并通过连接节点对应的法向量的乘积来运算具体的边权重，在这之后通过基于图的快速分割算法对点云进行系统性的分割.此类方法可以有效地分割场景里面表面凹凸程度较低的物体.但是，现实中大部分物体并非具有平滑的表面，如零食袋、书包、柜子等.针对上述问题，本文将RGB-D感知数据作为探讨和分析对象，并根据可靠、高效等设计目标，创设了一种结合表面凹凸度进行室内场景分割的方法.首先，我们深入地探讨了局部表面凹凸性的判定方法，并结合该方法提出通过表面凹凸度来测量局部表面凹凸情况的整体思路.另外，基于表面凹凸度和法方向信息，设计了一种全新的分割权重计算机制；在这之后，我们设计了集合表面凹凸度进行目标物体分割的方法.以点云代表的场景为输入，在滤波、表面法方向估计等环节之后调整为无向带权图，然后结合图分割来获得目标物体.2.1 表面凹凸关系从几何计算的角度来分析，凸与凹是用于反映曲线的属性.Moosann 等[6]在经过长期的探讨和分析之后对凸概念的界定进行了拓宽，并提出凹与凸是用于体现两个局部表面连接的实际情况.通过si 与sj代表两个互相关联的局部表面，pi 与pj 分别代表si 与sj 的中心点，ni 和nj 分别代表pi 与pj 的实际法向量.除此之外，假定：1) pi 和pj 两者位于某一个坐标系当中;2) ni 与nj 都为单位向量，即∥ni∥=∥nj∥=1；3) 法方向是表面朝外.Moosann 等[6]利用表面中心点对应的向量差在法方向上的投影对局部凸关系的概念进行界定，同时这也被称作 Moosann 局部凸关系.与 Moosann 等有明显区别，Stein 等[7]利用向量间的夹角关系对局部凸关系的概念进行界定，称作 Stein 局部凸关系.下文将对凸关系展开详尽的论述.定义1 Moosann局部凸关系. 假定si和sj可以分别结合pi与pj及其ni和nj 展开具体的描述，在这里记dij=pj-pi.另外，dji=-dij,假如符合条件如下式所示. ni·dij≤0∧njdji≤0则si与sj就具有局部凸关系.定义2 Stein局部凸关系. 假定si和sj两者可以分别结合pi与pj及其ni与nj展开相应的描述，记.另外，，假如符合如下式条件.α-γ≥0则si与sj具有局部凸关系.同理，也可以对凹关系(比如假定α-γ≤0 )展开定义，然后判定给定的局部表面存在的具体关系.在实际应用案例中，为对点云数据展开准确的分割，先将所有的点视为局部表面的中心，最后对各个点相应的法方向展开计算，然后利用上文所述的概念对邻近点存在的关系凹凸展开判定.针对物体分割而言，表面凹凸性发挥着十分关键的作用，然而通常使用的二值划分技术不能用于噪声数据的处理，其鲁棒性不理想.因此，本文结合凹凸度度量，利用连续实值属性对布尔判定进行替代，不断扩宽它的应用范围，使其和分割环节有所关联，并运用此类方法增强其抗噪性能.2.2 凹凸度度量通常使用的场景分割法是把局部表面的凹凸性作为基础，但存在下述两个缺点：1) 一般是通过阈值来展开相应的划分，但是这个数值的设置和数据噪声互相关联;2) 在进行分割的过程中，无法对复杂多变的凹凸状况展开区分.结合文献[6,7]提出的概念，本文拟采用凹凸度来对该概念进行科学的度量，以解决上述问题.下面将对凹凸度展开具体的描述，并把它拓展到局部表面.定义3 表面间具有的凹凸度. 假定si与sj可以分别利用pi与pj及其ni 与nj来展开相应的描述，记dij=pj-pi∥pj-pi∥.另外，dji = -dij，此处，假如将si 和 sj 具有的凹凸度视为，则由式(3)可知，在[-1,1]中.k<0时，si和sj为局部凸关系;k>0时，Si和Sj为局部凹关系.k绝对值代表具体的凹凸情况，这个数值越高，则凹凸程度越突出.如果si 与sj位于一样的平面，k=0，此类情况说明凹凸程度为0.定义4 表面凹凸度. 假定和si关联的局部表面构成了，关联的，si和sj具有的凹凸度为，在这里，假如把si的凹凸度记作，则式(4)中，ωij代表影响权重，描述si与sj具有的对的实际贡献.因此，我们可以运算给定点云里面所有点的具体凹凸度.与表面法具有很高的相似性，在这里将凹凸度视为对应点的属性，利用它来展开点云分割.如图1所示，图1(b)～(d) 分别为图1(a) 的深度图、法方向图和凹凸度图.图1 (e)提供了运算之后的表面曲率.针对图2而言，指代的是图1中计算后得到的统计分布，图2(a)指代所有凹凸度的统计,图2(b)为绝对值> 0.1 的凹凸度的具体情况.3.1 方法框架基本框架涵盖3个主要内容，依次为预处理、分割以及后处理.(1) 在初始时期，恰当地对输入图像展开规范的平滑操作，利用此类方式把噪声消除，通过 He 等[8]研究人员提出的引导滤波法.另外，还一定要对分割时采用的特征展开求解操作.这些特征可以对分割发挥十分重要的作用，因此，如何获得良好的特征是重点关注的一个方面;(2) 从分割的角度来分析，在本文中结合快速分割法进行一系列的操作，图构造和边权重是十分关键的要素.而且充分体现出点云的特性，图构造应结合像素邻域来展开，并且还应该考虑深度的具体情况，以此避免连接前景与背景.在边权重的整个运算过程中，重点结合表面凹凸度与法方向等展开具体的运算，在获得了平滑区域之后，避免分割为多个部分;(3) 在后处理的整个过程当中，优化分割是其中十分关键的操作，涉及到合并一部分特定的噪声区域，同时还涉及到对边缘进行一系列的优化.所以，能够进行良好的分割就基本决定了分割的实际效果.深度图与组织化点云可以很容易地展开变换，为了便于分析和研究，本文将采用专业术语来展开后续的论述.组织化点云表示的方式为，把深度图简要的描述为，u与v依次代表行与列.本文主要利用代表特定点.3.2 估计局部表面法方向作为区域十分重要的特点，一部分分割法中引入表面法方向的一些特定的数据 [6,7, 9-13].利用组织化点云能够对邻域具有的特性展开访问，用像素近邻替换空间近邻，以此对领域展开相应的构造，以期能够大幅度减少搜索开销.法方向运算进程中，我们按照 Holz 等研究人员[14]的方法，重点利用特定点的2条切向量的外积展开相应的运算.针对组织化点云来讲，上述的切向量可以结合点相应像素的邻域展开具体的计算.用代表给定点，p(u-1,v) 与、p(u,v-1)与四者依次表示像素的上、下、左、右4个邻域，基于这个情况，经过该点的切向量可以用下式展开运算.v(u,v)=p(u+1,v)-p(u-1,v)h(u,v)=p(u,v+1)-p(u,v-1)通过上式，可对p(u,v)的法向量进行求解.n(u,v)=v(u,v)×h(u,v)因此，我们利用上述的方法来运算所有点的局部表面法向量.但需重点分析这个问题：真实世界中具有或多或少的观测噪声，因此，估算结果将受到比较严重的负面影响.鉴于此，笔者先通过箱式滤波来平滑切向量，然后再对法方向展开运算.为了让处理质量得到优化，应提前解出积分图像，即先后对横、纵向切向量v的所有通道运算出1张积分图像.这样，在四次存储访问之后就可以求解所有窗口包含数据的平均数，完成所有的平滑过程 [15].3.3 图构造与权重计算3.3.1 图构造在整个过程中，重点运用快速分割算法来展开相应的运算，此类方法的实际效率很高.另外，把进行分割的点视为一个图节点，然后，通过邻域构建所有节点之间的具体联系.但是，为避免连接能够较好的区分前景与背景信息，还一定要考虑到深度改变的情况.我们以给定深度图D中的点 , 假如它的邻域,u∈{u-1,u+1},v∈{v-1,v+1}满足下述的约束|D(u,v)-D(u,v)|<δd式(8)中，在和中间添加连接边.并行运用距离与夹角充当约束展开对比[14]，利用深度差法展开相应的操作，可以获得较好的效率.但是，假如约束十分苛刻，就有较大的几率在边缘形成孤立点，使最终结果的实际成效降低.本文通过深度变化划分就可以准确的把前景与背景进行区分，并以此完成有效的分割.3.3.2 权重计算文献[16]在探究和分析的过程中，先判断临近表面的实际凹凸程度，然后，根据获得的结果，抉择具体的方法对权重进行运算.此处，假定pi和pj有边连接，并且pi与pj两者的单位法向量分别用ni与nj来进行相应的描述，则下式就可运算pi和pj中间边的实际权重wij.式(9)中，dij=pj-pi表示点的具体向量差.在运算的整个过程中，1-ni·nj的作用是判定平滑度，以此获得相应的平滑区域.表面的平滑程度越高，ni·nj的数值也相对比较高，式(9) 中的wij也越小.为了防止凸的表面分割更为严重化，文献[16]通过一系列的方法降低权重，以此降低在凸表面展开分割的概率.然而，研究结果表明，此方法不能够始终确保有效.如果pi和pj 成凸直角时，ni·nj的实际数值趋向于零，凸关系就会对权重形成比较较小的作用(即取平方后数值往往会保持不变)，不能良好避免在边缘位置的分割.另外，ni和nj的夹角为钝角时，ni·nj的实际数值小于0，取平方后权重得到了一定程度的提升，所以，这个位置进行分割的几率有明显增加.权重随法方向乘积变化的关系以及凹凸性对权重计算的影响如图4.本文设计了根据凹凸度对边权重展开整改的方案.假定pi和pj存在边连接，si和sj分别为pi和pj的局部表面，针对pi和pj具有的连接边权重，可用下式进行求解.ωij=exp(k(si,sj)/σ)·(1-ni·nj)其中，表示凹凸度;σ>0代表影响系数.假如对基于平滑程度的权重(1-ni·nj)展开运算，式(10) 中进行的调整的具体特征如下.(1) 假如pi和pj都位于平面上，结合=0，算出，即权值为固定；(2) 假如pi和pj位于凸表面上，结合<0，可以分析出/σ)<1，所以，权值有一定程度的降低，此时， |愈大，则权值就越小；(3) 假如 pi和pj位于凹表面上，结合>0，算出/σ)>1，所以，权值有一定程度的提升，此时，|愈高，则相应的权值就越大.综上所述，本文论述的方法通过凹凸度对权重展开一定的调整，使其渐渐的把凹边缘进行划分，并且把凸边缘进行留存.另外，可对式(10)中的σ展开调整，通过此方式调节凹凸度的影响.图5为σ 不同取值时对在 [-1,+1]上取值的影响.从图5可知，σ 的实际数值越小， k 对权值的影响就越明显.但是，当σ 趋于无穷时，无论值为多少，/σ)趋于 1，这种条件下，式(10)就转化为 wij=1-ni·nj.所以，利用法方向差异展开运算，是此类方法的一个特例.在下文中笔者会结合实验展开详尽的探讨，明晰σ 的具体作用，另外，还将该方法和文献[16]设计的方法进行系统性的对比.3.4 分割和优化本文结合基于图的快速分割算法[17]来展开分割操作.假定表示的是输入的无向带权图，V，E以此代表的是节点集与边集，详细的分割步骤如算法1.从步骤1)到步骤6)，对分割区域展开初始化，步骤7)根据权重对边以不断增加的趋势排列，从步骤8)到步骤17)，以此选择权重最小的边，在这之后对其展开相应的处理.步骤9)和步骤10)，FIND_CLUSTER 返回给定点所在的区域.本文利用不相交集代表点构建的区域，这样就可以在较短的时间中发现给定点所处的具体区域.我们可以对k展开调整，最终可以较好的掌控分割粒度.算法1：无向图分割优化算法输入：G=(V，E) ，k输出：分割部件Bengin1) Initialize S=φ;2) for all v∉V do3) C.Nodes={v};4) C.Int=k;5) S=S∪{C};6) end for7) E=SORT_WEIGHT(E);8) for all e∈E do9) CL=FIND_CLUSTER(S,e.v1);10) CR=FIND_CLUSTER(S,e.v2);11) if CL≠CR and e.w≤min(CL.Int,CR.Int) then12) CN.Nodes=CL.Nodes∪CR.Nodes;13) CN.Int=e.14) S=S\{CL,CR};15) S=S∪{CN};16) end if17) end for18) return S;End4.1 数据和评价指标本文借鉴了文献[18]在探讨过程中列出的数据集.针对所有数据而言，桌面和桌面以上的各个物品充当场景的主体.此处，我们根据具体的复杂程度，将系统性的划分为六个子类，然后结合表1对所有子类进行展示.我们将数据集整体划分为两类，分别是测试集与训练集.这里运用的分割法从本质上讲属于非监督的，结合测试集进行后续实验，然后，对其产生的效果展开科学性的评估.为了精准地获得评估效果，本文首先整体介绍其中关联到的所有指标.对于不定向选择而获得的1张测试图像，通过代表m个人为标注的分割区，用代表获得的n 个分割区域.需要关注的一个问题是，n和m的实际数值或许会有所区别.针对Gi∈G，我们运算和它重叠率最高的区域如下式.,i=1,2,...,m其中，∩ 和∪ 分别表示交、并操作;|·| 表示的是集合的实际大小，这里用来代表点数.因此，我们就可以获得目标分割区域.针对各个Gi及其Si，用TPi=Gi∩Si 表示它的重叠区域，即准确分割点组成的集合;用FPi=Si\Gi 表示涵盖在Si中却不涵盖在Gi中的标注部分，即错误分割点的集合;用 FNi=Gi\Si表示涵盖在Gi中却不涵盖在Si中的区域，即漏划分点组成的集合.这里需要兼顾下述指标[11].,其中，tp，fp依次代表真、假阳性率;fn代表假阴性率;tp的具体数值越大，fp和fn的实际数值越小，那么其产生的效果也更加理想.在评估的整个进程中，主要结合 TPR 和 FPR 来进行，但是，这里应考虑到超、欠分割率 (OSR和USR)，两者分别结合Fos和Fus展开相应的描述[19]：与依次表示的是准确和错误分割的实际点数，而代表的是标注的点数.一般而言，假如Fos与Fus都比较小，这就表明得到了比较理想的分割结果.但是， Stein 等[7]提出，在某些条件下，超分割可得到十分理想的效果，例如把有手柄的水杯划分为手柄与杯子主体结构两个部分，在自动物体抓起中可以发挥十分良好的效果. 针对各个待测试图像而言，都可以按照上面的概念来运算其评估指标.针对测试集而言，本文重点通过平均数展开评估.4.2 实验结果4.2.1 参数影响本文论述的运算方法涵盖2个重要的指标，分别是σ与k，主要通过实验对其产生的分割效果展开研究和分析.首先探究 k的具体作用，k可以对分割粒度形成或强或弱的作用，详细来讲，即k的实际取值越大，则分割偏大区域的几率就越大，假如其具体取值偏小，就有较大的几率分割出较多的区域.为了使选择参数的过程更加简单，并便于对结果展开评估，首先要归一化边的权重，即让wij=wij/∑wij.获得处理完成后的图形，研究在[5e-5,5e-4]范围中选择不同k值时的实际结果.如图6所示，Simnor_Diff. 指单一的运用法方向差异展开运算的方法[11]，OBconv_vsa 指根据表面凹凸关系进行选择的方法[16]，和式 (9)是一样的;OBconv_clsi.指本文论述的新方法，即式 (10)，在这里，σ的实际取值大小固定为 0.14.图6(a)显示了k对 TPR与FPR的具体作用，而图6(6)显示了k对OSR与USR的实际作用.对图(6)进行分析，我们不难发现伴随k的递增，所有的TPR和FPR都持续递增.从本质上讲，因为当k值不大时，就比较容易产生超分割的情况，另外，一般欠分割(详细情况见图6(b)).图7展示了k数值递增的整个过程，图7(a)为输入，(b)～(d)分别为超、恰、欠分割.另外，还可利用表格的形式显示k=2e-4时所有方法具体的TPR和FPR值(详见表2).从图6可知，当FPR的数值相当时，本文论述方法的TPR值就比较大，此类现象当k比较小的时候表现得更加明显.这是因为：一些错误分割的像素大多聚拢在交界部位，因此所有的方法并未产生明显的差异；Simnor_Diff.重点按照法方向进行，通常情况下会划分为多个部分，导致TPR的数值较小；OBconv_vsa重点结合凹凸性来展开分割，并能够良好地区分表面边缘，如此就一定程度上降低了超分割，使TPR有所提升；本文方法利用凹凸度来替代凹凸性，让区分性能得到一定的优化，因此，其TPR有所增加.图8是描述方法时对应的实际ROC曲线.经对比分析，我们可以看出本文方法具有十分出色的效果.为探讨和分析σ的具体作用，维持k=1.5e-4不发生改变，在这个前提条件下，不断调整σ，进而探究其作用.图9为我们描述σ在持续改变的过程中，对TPR和FPR的具体作用.我们不难发现TPR 和 FPR 都和σ数值呈负相关性，并且在区间中，能够获得比较理想的效果.除此之外，需要重视的一个问题是，不管σ的数值如何改变，在相对比较复杂的环境中 TPR 都会小于总体TPR，并且前者的TPR超出后者.从某个角度来讲，主要是由于超分割的表现非常良好，同时，在后者中，位置靠前的物体一般而言会截断位于后面的物体，使TPR值增加的难度偏大.图10中详尽的描述了σ处于(σ∈[1e-1,1e3])区间内的分割作用.在σ>1时，σ的改变不会对 TPR 和 FPR 形成比较突出的作用.这和k值具有一定程度的关联(k 值得实际范围是[1,+1]).当σ 比较大而且k变化相对较小时，对/σ)不会形成较大的影响，因此，式(10) 中前项并不会对总权重形成比较明显的影响.但是，σ取值趋于无穷时，k数值细微的改变对权重不会产生影响，接近0.4.2.2 性能评估为对本文方法展开验证，我们将对其进行对比分析，如表3所示. 从表3可知，本文方法和其它比较繁琐复杂的方法的性能十分接近.但是，本文方法具有诸多优点，例如实现的难度较低，可以十分方便地通过参数来展开调控.表3中，σ 是 0.12，取值保持不变，P1 与P2依次和 k=1.5e-4，k=2.5e-4对应. 对图11进行分析，我们发现本文所方法均能够进行有效分割.针对第3行遮挡情况比较严重的问题，由于此类新方法无法将一个物体分离的两个区域划分到一个区域里面，进而导致产生超分割问题.另外，对于场景中的杯子和碗，他们并未充分获得凸表面的约束条件，因此凹的区域一样会获得分割.另外，只是通过凹凸性不能够准确的分割差异化比较突出的物体.但是，针对水杯类型的物体来讲，通常情况下它会被系统性的区分为手柄与杯体，这里运用的技术一样能够区别所有的组成部分.通过对凹凸性在人类识别物体中的功能展开验证.发现此类方法能够使机器人能够完成自动抓取物体的操作[7].但是，现实中，一些物体表面结构比较复杂，并不能仅仅通过凸、凹就可以对其进行判定，例如，一些物体表现出“鞍型”.当表面连接位置为此类结构的时候，通过本文研究的技术依然不能够展开100%有效分割.图12描述的是表面结构由于过于复杂导致出现超分割问题.此类问题的解决和分析是业界人士研究和发展的一个方向，并且也是本文算法进行优化的重要方向.本文系统地探讨和分析了从环境中寻找物体的方法.深入研究了怎样在室内场景里面分割出未知的物体.首先，本文系统论述了局部表面凹凸性的判定方式，然后，提出通过表面凹凸度来测量局部表面的凹凸程度.另外，利用表面凹凸度和法方向信息，设计了一类全新的分割权重运算方法；此类方法可以准确的区分物体表面边缘和物体与场景的交界.另外，本文设计了新型的基于表面凹凸度的目标物体分割方法.用点云代表的场景为输入，通过滤波、表面法方向估计、权重运算等方式得到相应的无向带权图，在这之后利用图分割得到未知物体.此类方法并不复杂，并且高效，不用进行专门的训练.实验结果表明，本文方法要比结合法方向及局部表面凹凸性展开分割操作的方法更为优良.和另外的基于系统性的学习及推理方法进行对比，此类方法十分优秀，最后，物体发现应用成功的结果检验了本文方法的可行性及高效性.【相关文献】[1] Vasudevan S, Gächter S, Nguyen V, et al. Cognitive maps for mobile robots——an object based approach[J]. Rob Autonom Syst, 2007, 55(5):359.[2] Rusu R B, Cousins S. 3D is here: point cloud library (PCL)[C]//Proceedings of 2011。
