答辩博士：徐雅斌
指导老师：周来水 教授/博导汪俊教授/博导
论文题目：基于深度相机的大尺度场景三维点云实时重建技术
答辩委员会：
主席：安鲁陵 教授/博导 南京航空航天大学
委员：王雁刚教授/博导东南大学
王禹林 教授/博导 南京理工大学
王小平 教授/博导 南京航空航天大学
魏明强 教授/博导 南京航空航天大学
周来水 教授/博导 南京航空航天大学
汪俊 教授/博导 南京航空航天大学
秘书：韦红余 副教授/硕导 南京航空航天大学
答辩时间：2021年5月26日下午03:30
地点：南航明故宫校区15#341
学位论文简介：
三维实时重建技术，又称SLAM技术,一直是移动机器人领域的关键核心模块之一，是移动机器人实现智能化导航与交互的前提与基础。目前，制造现场的三维实时重建存在设备成本高、实时性差、难以集成等问题。在此背景下，以基于深度相机面向大尺度室内制造现场三维实时重建为主要研究目的，对基于单帧RGB-D图像的特征提取、局部连续相邻RGB-D图像实时配准与融合、大尺度场景全局点云模型优化与重建等技术进行了系统深入研究：
（1）提出了单帧RGB-D图像的特征实时提取算法，包括点、线以及平面特征，解决了后续局部连续RGB-D图像配准与融合、全局模型优化的欠约束问题。利用了二维图像空间数据结构优势，提出了一种基于区域分割的点特征实时自适应提取算法，解决了传统图像点特征提取存在的检测率低、效率低、分布不均匀等问题，实现了点特征的鲁棒、实时、自适应提取；融合深度与纹理信息，提出了基于离散采样的3D线特征实时提取方法，解决了传统线特征提取方法中存在的准确率低、效率低等问题，实现了3D线特征准确、实时提取；结合超像素分割技术，提出了一种基于超像素区域生长的平面特征实时提取方法，解决了传统平面特征提取方法中速度慢、准确率低、边界模糊等问题，实现了平面特征准确、实时提取。
（2）提出了局部连续相邻RGB-D图像实时配准与融合方法，解决了局部连续相邻RGB-D图像之间相对空间位置关系未知以及变换重叠导致的数据量大、重建精度低等问题。提出了基于埃尔米特径向基函数闭式解的局部连续且内存高效模型表示方法，准确地反映了潜在真实曲面位置且对噪声有较高的鲁棒性，解决了传统RGB-D重建系统中存在的模型表示内存消耗大、噪声敏感等问题；设计了基于多特征误差度量的联合优化目标，包括曲率、光度一致及线特征等，有效解决了由制造现场特征缺失或不明显等现象导致的配准误差过大等问题，提升了点云实时配准的精确性与稳定性；提出了基于重构预测的点云可信度评估方法，设计了基于可信度权重的RGB-D图像高效融合策略，解决了配准后多帧点云变换重叠导致的点云模型数据量大、精度低、质量差等问题，实现了局部连续RGB-D图像高质量实时重建。
（3）提出了大尺度场景全局点云实时优化与重建方法，解决了长序列RGB-D图像三维点云实时重建中存在的相机估计位姿漂移、模型形变甚至结构错误等问题。提出了基于局部子图的全局相机估计位姿漂移纠正与重建模型优化方法，实现了基于局部子图的全局点云模型实时优化框架关键要素构建；设计了基于多特征约束的能量函数，深入分析了三维空间下线特征、平面特征参数化表示方法，提出了多特征联合目标优化的鲁棒高效求解方法，实现对局部相机轨迹漂移与点云模型失真校正。结合基于词袋模型的回环检测方法，实现了深度相机扫描过程中回环准确检测，设计了基于本质图的回环位姿高效优化策略，构建了基于共视图的全局相机位姿与路标特征优化模型，解决了三维点云重建过程中全局相机估计位姿漂移与点云模型形变等问题，实现了大尺度场景全局点云模型高质量实时重建。
（4）研发了一款稳定、易拓展的大尺度场景三维点云实时重建系统软件，遵循高内聚低耦合的设计原则设计了系统软件架构，依照模块化开发原则实现了各章节研究算法的软件功能集成开发，同时设计了简单易用、自定义布局的软件交互式界面，实现了实际扫描过程的即时可控、输入或重建结果的即时导出，算法及可视化参数即时可调、以及状态的即时显示等功能。在实际制造现场测试验证了各个章节算法的有效性，最后通过重建生成大尺度制造现场高质量点云模型验证了整体系统软件的优越性。
主要创新点如下：
（1）针对原始RGB-D图像信息无法满足后续章节鲁棒配准与模型优化等数据需求，结合原始深度与纹理信息，实现了准确、鲁棒几何特征实时提取，包括点、线以及平面特征。
（2）本章针对局部相邻连续RGB-D图像数据，提出了基于HRBF模型表示、多特征约束、基于重构预测的高质量实时配准与融合方法；
（3）针对RGB-D长序列点云重建中存在的相机位姿估计漂移、重建点云变形甚至结构错误等问题，提出了基于局部子图的全局相机位姿估计漂移纠正与重建模型优化方法；
