智能京沪 京沪高铁基础设施无人机智能巡检系统关键技术

  高速铁路现有巡检方式主要是人工巡检和轨检车 巡检2类。其中人工巡检的效率与准确率受限于巡检人员的经验与能力；轨检车的巡检时间受列车运行时间 限制，且存在巡检区域有限、夜间巡检条件差等问题。目前，迫切地需要加强高速铁路基础设施综合巡 检的自动化、智能化水平。

  无人机具有灵活性高、成本低、覆盖范围大且作业限制小等优点，基于无人机的巡检方案已被应用于电力保障、森林火灾监测等领域，并取得了优异效果。以电力保障为例，国家电网有限公司于2013年起，将无人机巡检作业作为一项关键指标纳入输电线路精益化巡检考核中。近年来国家电网有限公司配备的无人机已达2000余架，使用无人机累计巡检杆塔数量超越21万 基，发现5万余处缺陷，取得了较好实际效果。基于无人机的铁路安全保障方案也在国内外部分线路投入到正常的使用中：贵阳工务段利用无人机搭载可见光相机，对铁路两侧上方的危岩及地质地貌进行巡检；广州供电段使用无人机作为高铁供电6C巡检系统的试验装备，负责协助精细化巡检京广普速铁路接触网；澳大利亚运输部使用多类型无人机建立遥感观测系统，用于全方位全体系的运输网络感知。基于无人机的高速铁路综合巡检方法可与现有方法形成优势互补，利用无人机对高速铁路做综合巡检必将成为趋势。

  现有高速铁路巡检方法比较完善，但也存在一定不足，数据采集设备主要安装在检测车上，受到车辆限界、维修天窗期的影响。同时，因为拍摄角度固定，线路上仍存在很多巡检死角，特别是在铁路声屏障、桥梁、隧道口、接触网及铁路旁边的环境等巡检场景。利用无人机搭载可见光相机、激光雷达等传感器进行数据采集，并使用先进的深度学习算法进行数据处理， 用以检测不正常的情况是一种有效解决方案。在此，提出高速铁路基础设施无人机综合巡检方案（见图1），最重要的包含：基于无人机搭载多类型传感器的无人机巡检系统构成方案，基于深度学习的声屏障异常检测的新方法、铁路旁边的环境异常检测的新方法、铁路桥梁螺栓缺失及锈蚀检测的新方法、接触网紧固件缺陷检验测试方法等。

  高速铁路基础设施无人机智能巡检系统包括：数据采集子系统、综合服务平台子系统、飞行管理平台子系统、算法调度平台子系统（见图2）。数据采集子系统包括无人机有关的硬件基础设施，主要有：飞行器、载荷、通信设备以及机巢平台。综合服务平台实现了高效而全面的铁路基础设施巡检管理，通过访问接口可与飞行管理平台、算法调度平台进行信息交互。飞行管理平台直接与无人机设备进行通信，同时记录无人机巡检任务阶段的相关信息，如航线、飞行时长、飞行架次、飞行里程等。算法调度平台集成用于检测现场数据的多种智能分析算法，后端具有算法服务调度机制，可实现高效的数据并行检测。

  无人机可搭载不同任务负载执行不同的巡检作业任务（见图3）。为保障无人机在巡检过程中的安全性能，使无人机在机身安全的前提下能够顺利完成目标任务，在基础的无人机低空飞行算法上进行改进和创新，得到适用于避撞飞行的高效简洁算法。所用无人机内置了众多二次开发安全策略模块：北斗导航应用、电量保护机制、失联返航机制、六向安全避障、安全返航机制以及恶劣环境适应性等。该系统以大疆行业级无人机为基础进行针对性应用开发。根据业务需求支持搭载多种类型负载，包括变焦、定焦可见光相机，红外相机，激光雷达及第三方挂载，实现对目标区域大范围、快速、精细化巡检。

  基于无人值守机巢的地面基站系统，可搭载1架 Matrice-30无人机，用于覆盖一定范围内的铁路关键基础 设施巡检。地面基站系统配备了无人机自动巡检系统，并 引入外接电源满足机巢内无人机的供电需求，可实现无人 机航线下发、无人机巡检数据实时回传。操作人员可远程 实现航线任务设定、航线下发，基站在接收到下发的航线 任务后，自主实现无人机的起飞、巡检、返航充电、数据 回传等，全程无需人员现场作业。无人机值守机巢 见图4。

  飞行管理平台子系统提供全面的无人机飞控、实时态势直播、航线规划、飞行历史回放、飞行历史统计以 及设备、人员与机巢管理功能，集成于5G网联无人机地面站，实现高效而全面的飞行管理平台管理。其中实时态势直播用于设备连接管理、无人机飞行控制及无人机 实时画面直播。在飞行管理平台中可以进行无人机巡检航线的规划、调整及下发，并保存航线模板。

  依据京沪高速铁路股份有限公司制定的《铁路基础设施无人机巡检作业技术要求》和《铁路无人机巡检系统作业与管理规范》，首先对无人机进行检查，确保无人机的配置正常无故障，同时还需要遵守国家及民用航空无线电管理的相关规定，在作业区域的环境和气象条件满足无人机系统巡检作业技术要求和作业要求后，才能使用无人机进行自动巡检作业。无人机自动巡检示意见 图5，无人机在接收到任务后，直接从机巢中起飞，根据设定的航程路线，对铁路沿线进行自动巡检作业，依据飞行任务完成目标对象拍摄、重点对象拍摄等，在完成巡检任务或遇险后，将自动返回地面基站系统，同时转储拍摄到的图像数据至地面基站中。

  算法调度平台子系统依赖于大数据中心平台提供的数据存储和分析能力，硬件设施支持中央处理器（CPU）、图形处理器（GPU）等，可使用TensorFlow、 PyTorch等主流的深度学习框架。按照人工智能全流程，平台提供数据准备、模型开发和训练以及模型部署阶段的功能，统一模型的输入输出接口信息，支持将机器学习算法、深度学习算法模型一键式发布为 RestfulAPI接口，实现模型到业务的无缝衔接。

  依据飞行任务类型与时间建立对应文件夹，对数据进行初步整理，同时用相关图像标注软件进行缺陷的半自动标注，生成包含图片名称、缺陷类别、缺陷坐标的数据，建立高铁沿线基础设施及周边环境数据库。对采集到的图像进行预处理，例如通过对比度调整、图像去雾、减小光影影响等方式，实现图像增强效果，增加人眼可视性。针对预处理后的图像数据，通过深度学习的图像目标检测算法，对图像进行缺陷隐患检测并标注检测结果，标注有缺陷问题的图像，由人工进行复核，确认有问题的图像后将计算其所在位置，并进行记录，以保障海量数据的高效有序自动化分析处理。目前，智能分析系统已完成工务、电务、供电全专业覆盖，包含线路、声屏障、桥梁、周边环境、隧道等共7个大类，40个小类别的智能检测，并针对不同检测对象，提出针对性检测方案与模型结构。

  针对无人机采集的接触网数据，接触网紧固件等小部件往往位置固定，且排列紧密。由于无人机拍摄角度不同，无人机俯视拍摄时，一些紧固件在无人机图像中通常密集倾斜排列在一起而且存在较多遮挡现象。在 Faster-RCNN算法的基础上，提出一种基于无人机图 像的接触网支撑装置紧固件检测网络RRNet，重点研究小目标检测和密集目标检测的新方法。在小目标检测方面， 接触网支撑零部件的缺陷样本极少，但是零部件种类和缺陷样本种类众多。直接用ResNet等层数较深的网络进行模型训练，往往会因为数据量过少导致网络过拟合，网络层中的权重偏重于预测正常样本，使得分类效果不 好。提出的检测算法基于金字塔网络结构，采用自顶向下的特征金字塔融合结构，使深层的语义信息能够融合到低层的特征网络层。为了提高对不同目标的预测精度，在感兴趣区域池化阶段采用不同特征尺度的特征映射相融合。RRNet的结果将减少预测框之间的重合面积，在非极大值抑制（NMS）算法阶段由于旋转目标框间重合面积较小，以保证被遮挡的目标能够正确显示。定义特征图中每个特征点对应的锚点框为旋转矩形，相对于水 平锚点框增加了旋转的候选框，锚点框数量的增加提高了角度回归的准确程度。RRNet结构见图6。

  综合服务平台子系统作为无人机智能巡检系统的核心子系统，集成于无人机巡检综合服务平台，实现高效而全面的铁路基础设施巡检管理，包括飞行巡检计划管理、巡检工单管理、数据采集阶段管理、检测阶段管理、审核阶段管理、缺陷复核管理、报表生成管理、运维支持8大核心功能。综合服务平台承接飞行管理平台子系统、算法调度平台子系统的信息流，子系统之间通过接口调用实现业务信息的交互。完整业务处理流程见图7。首先，通过综合服务平台做巡检计划和工单的制定管理，并进一步下发航线到飞行管理平台。无人机在接收到航线命令后，会自主完成指定航线内数据采集任务。其次，完成飞行任务的无人机自动返航机巢平台，采集数据会存储在数据采集服务器节点。综合服务平台进一步回传数据，并向算法调度平台发送算法分析请求。算法调度平台在接收到算法分析请求后进行算法调度、模型检测分析、检测结果记录入库。最终，算法服务的检测结果反馈给综合服务平台，辅助相关人员进行缺陷审核、缺陷复核、报表生成、现场维护。

  基于搭建的高速铁路基础设施无人机智能巡检系统，在京沪高铁济南段和廊坊段进行了现场试验，包括雪天、阴天等非常规天气情况下巡检飞行验证测试。在试验中完成了多种类别任务的巡检作业，并对采集得到的图像进行分类和检测分析。

  对于铁路桥梁，首先划分桥梁区域（见图8），之后分4次对桥梁墩台墩身、桥梁钢结构、桥栏杆等部分 分别进行巡检，每次飞行高度应结合桥梁高度制定，在保证安全的前提下可以平行或低于轨道平面飞行。传感器载荷方面，应用大疆禅思H20T变焦相机进行数据采集，无人机飞行速度为2m/s，相机拍摄间隔为2s，视场角、焦距等参数视实际情况调整，且应保证 图像分辨率达到厘米级。

  对采集到的桥梁可见光图像数据来进行处理，主要检测其中的螺栓缺失、螺栓锈蚀及钢板锈蚀，采用指标为精确率、召回率与mAP值。精确率-召回率曲线（P-R）曲线是在不同阈值下绘制精确率和召回率之间的关系曲线。mAP则是各类别AP值的平均值。AP为一类检测目标的平均精度值，其计算方法见原文。

  桥梁缺陷检测可视化结果见图9，量化结果见表1，其中mAP@.5首先通过计算出不同类别的AP值，然后对所有类别的AP取平均值。在目标检测中，交并比（IoU）表示检测到的边界框与实际边界框之间的重叠程度，0.5是常用的IoU阈值，即当检测边界框与实际边界框的重叠程度大于0.5时，认为该检测结果是正确的。

  针对铁路基础设施现有巡检方式存在效率低、范围窄、受列车运行限制等问题，提出一种无人机综合巡检方案，并构建相应智能巡检系统。该方案利用无人机搭载可见光相机及激光雷达进行数据采集，并通过多种改进的基于深度学习方法，对采集数据进行处理，实现对高速铁路声屏障、桥梁、旁边的环境及接触网紧固件的缺陷检测。相较于现有方法，该方案具有高效率、低成本及灵活性高等优点，可以有效检测铁路各专业的各类缺陷，并与现有巡检方式形成互补，为无人机铁路巡检技术的大范围应用提供经验。

  京沪高铁基础设施无人机智能巡检系统是我国首次将全自动无人机巡检智能分析系统应用于铁路行业，依托铁路沿线部署基站网络，实现对铁路沿线数据的有效采集，根据不同部门需求提供对应服务，实现对工务、电务、供电、环境等多专业的服务，打造铁路无人机巡检数据库。全自动化巡检方式将作为高铁巡检手段的补充和替代，极大提高了高铁运维能力。无人机内置多种安全应急模块，并通过严格的建模计算，设置与列车运行相协调的作业时间调度安排，确保了无人机巡检的安全性和可靠性。同时，模型为全自动化运行，人员操作门槛低，易于推广，缩短了巡检周期，大幅度的提升了检测精度与效率。未来，无人机巡检必将成为高速铁路运维不可或缺的手段。