答辩博士：王海新
指导教师：沈建新 教授/博导
论文题目：基于旋翼无人机平台的视觉感知与决策研究
答辩委员会：
主席：汤文成 教授/博导 东南大学
委员：李东波 教授/博导 南京理工大学
周来水 教授/博导 南京航空航天大学
黄 翔 教授/博导 南京航空航天大学
郭 宇 教授/博导 南京航空航天大学
秘书：韦红余副教授/硕导 南京航空航天大学
时间：2022年3月17日16:00
地点：南航明故宫校区6#201会议室
学位论文简介：
低空旋翼无人机(空中机器人)具有机动性强、操作方便等优势，其在搜救救援、智能巡检等领域应用日益广泛，其中复杂环境下无人机的感知与决策是其执行未知场景任务的首要条件。传统无人系统存在复杂未知环境感知和决策能力不足、智能化程度低等问题，难以适应消防、巡检、废墟中搜救等未知复杂环境下高效率应急搜救监测任务对感知和决策的智能化需求，迫切需要研究针对室内、废墟等未知复杂环境航空应急搜救、巡检等任务的智能无人机关键技术。本文以未知复杂环境中的探索研究为任务，充分调研、研究和分析无人系统领域现状，对旋翼无人机三维环境感知机理与多源信息融合定位方法、低空室内外目标的检测与跟踪方法、未知复杂环境中的决策与规划方法开展深入研究。
论文完成的主要工作及取得的成果如下：
(1) 针对旋翼无人机在GPS拒止环境中的感知问题，建立和研究分析了环境感知机理数学模型，建立了相机成像模型和非线性相机数学模型，建立了视觉相机定位模型，并分析研究了标定方法和实验；同时，针对四旋翼无人机在特殊复杂环境或典型任务环境下(室内搜救或救援、桥洞或隧道检测、高楼楼宇密集环境以及森林或丛林跟踪)执行任务时的定位问题，解决旋翼无人机在无GPS信号或GPS信号弱的情形下，研究并提出了基于多源信息融合的定位方法，采用双目视觉SLAM与IMU融合的思想，建立双目重投影误差和IMU误差的双目视觉SLAM与IMU融合的目标函数，通过实验验证，其方法具有较好的鲁棒性，满足无GPS信号情况下无人机定位需求。
(2)针对低空旋翼小型无人机机载平台计算量和内存存储有限，其影响检测模型部署困难、检测速度慢等问题，创新性地提出了一种模型压缩轻量化网络的低空目标检测方法，采用模型通道剪枝方式，对高精度复杂模型的冗余参数修剪；通过微调可将裁剪后模型精度提升，采用批归一化层(Batch Normal)中的缩放因子的绝对值来衡量其贡献大小。提出了采用K-means++算法稳定优化初始化聚类中心选择，此算法是将随机选择样本中目标区域作为初始聚类中心位置，本文研究的模型压缩网络方法，参数量少，检测精度损失少，适合将模型部署到无人机平台中。在K-means++算法优化目标框方面，基准模型是未经K-means++算法优化Anchor box的网络模型，而裁剪比例95%模型是使用了K-means++算法优化Anchor boxed的模型，使用K-means++优化后，其检测准确率P和召回率R都有明显提升，即分别提升了11.9%和10.8%。通过实验得知，基准模型-0.95(裁剪比例95%的模型)在数据集VisDrone对中小目标的检测上比基准模型算法表现较好。
(3) 针对旋翼无人机对低空目标中目标尺寸小、遮挡干扰或噪声干扰多及目标背景复杂等问题，提出了一种端到端多模块融合的全卷积孪生网络目标跟踪方法。采用间隔层和多层融合的网络架构方法，将高层网络提取的抽象语义信息与浅层网络提取的细粒度信息两者融合，使其网络具有高鲁棒性。研究采用在线更新模板和高置信度更新策略，来解决目标背景复杂或噪声干扰等问题，实现高精度的跟踪效果；针对目标物的外观变化问题，本文创新性地提出了一种融合通道注意力机制和空间注意力机制的方法，使目标物体增大或降低目标物体的特征通道比重和重要特征的空间位置权重，从而获取目标物体丰富的图像信息。
(4) 针对未知复杂环境中的规划问题，研究了四旋翼无人机在未知复杂环境中自主探索与决策规划方法，包括改进优化的APF算法、最大估计值深度强化学习算法及基于正则化近端策略优化的策略迭代强化学习运动决策与路径规划方法。建立了旋翼无人机在未知复杂环境中规避或避障路径规划问题模型及无人机飞行感知环境下的约束条件，针对未知复杂环境下探索目标的决策和规划问题，研究了基于值迭代的学习方法，使无人机学习到合理的动作奖励得分机制；同时，创新性地提出了正则化近端策略优化的学习方法，此方法将期望回报值的梯度映射到策略梯度上计算，最后利用AirSim仿真平台验证了本文算法的可行性。
主要创新点如下：
(1) 针对四旋翼无人机在特殊复杂环境或典型任务环境下(室内搜救或救援、光伏电站中太阳能电池板缺陷检测、桥洞或隧道检测、高楼楼宇密集环境以及森林或丛林跟踪)执行任务时的定位问题，旋翼无人机在无GPS信号或GPS信号弱的情形下，研究了基于多模态多源信息融合的定位方法。本文创新性地提出了一种间接法与直接发组合式视觉传感器与IMU的多源信息融合定位方法，其中组合式视觉里程计是将直接法和特征法相结合，分别提高定位速度和精度。
(2) 针对无人机机载平台计算量和内存有限影响检测模型部署比较难、检测速度会慢慢降低等问题，需对网络模型进行压缩及轻量化处理，本文创新性地提出了一种模型压缩轻量化网络的低空目标检测方法。
(3) 针对基于孪生卷积神经网络的目标跟踪方法或算法，SiamFC算法仅仅采用网络中最后一层卷积层的特征信息，其分辨率较小；无人机对低空环境下目标跟踪任务中，复杂环境中跟踪的目标有时会对小目标进行跟踪，采用SiamFC算法中的孪生网络输出的高层语义信息，可能会导致无法达到定位或跟踪要求，精确度较差等问题。本论文对无人机视角下目标跟踪存在的问题，提出了端到端多模块融合的全卷积孪生网络的目标跟踪方法。
(4) 针对无人机基于复杂环境下的各种任务的自主路径规划与决策方法及技术面临的挑战，针对上述未知复杂环境中的规划问题，研究了复杂环境下无人机规划与决策方法，研究了未知复杂环境下无人机规划与决策方法，提出了估计最大值的值迭代DQN模型及基于正则化近端策略优化的策略迭代Actor-Critic模型的无人机规划与决策方法。
