点云智能研究进展与趋势

杨必胜^1,2, 董震^1,2     

1. 武汉大学测绘遥感信息工程国家重点实验室, 湖北 武汉 430079;
2. 时空数据智能获取技术与应用教育部工程研究中心, 湖北 武汉 430079

收稿日期：2019-11-07；修回日期：2019-11-19

基金项目：国家杰出青年科学基金（41725005）；国家自然科学基金重点（41531177）；教育部长江学者特聘教授奖励计划

第一作者简介：杨必胜(1974—)，男，国家杰出青年科学基金获得者，长江学者特聘教授，博士生导师，主要从事无人机摄影测量与三维重建、点云智能处理、空间智能、GIS应用等方面的研究工作。E-mail：bshyang@whu.edu.cn

摘要：随着以激光扫描、倾斜摄影为主的各种现实采集（reality capture）装备的快速发展，点云已成为继矢量地图和影像数据之后的第三类重要的时空数据源，并在地球科学、空间认知、智慧城市等科学研究和工程建设中发挥越来越重要的作用。如何从点云大数据中快速、准确获取精准有效的三维地理信息成为测绘地理信息领域的科学前沿和地学应用研究的迫切需求，也是三维地理信息获取与建模面临的重大难题。点云智能应运而生，并成为突破上述难题的科学途径。本文围绕点云智能中的三个重要方向：点云大数据处理的理论方法，点云大数据智能处理关键技术和重大工程应用，阐述点云采集装备、智能化处理，以及科学研究与工程应用的最新进展，最后对点云智能的重要发展方向趋势予以展望，希望为点云研究相关人员提供科学参考。

关键词：点云大数据    点云智能    语义标识    结构化建模    深度学习    广义点云    

Progress and perspective of point cloud intelligence

YANG Bisheng^1,2, DONG Zhen^1,2     

1. State Key Laboratory of Information Engineering in Surveying Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China;
2. Engineering Research Center for Spatio-temporal Data Smart Acquisition and Application, Ministry of Education of China, Wuhan University, Wuhan 430079, China

Foundation support: The National Natural Science Foundation of China for Distinguished Young Scholars (No. 41725005); The Key Project of the National Natural Science Foundation of China (No. 41531177); The Yangtze River Scholar Distinguished Professor Program

First author: YANG Bisheng (1974—), male, winner of the National Natural Science Foundation of China for Distinguished Young Scholars, distinguished professor of Changjiang scholars program, PhD supervisor, majors in UAV photogrammetry and 3D reconstruction, point cloud processing, spatial Intelligence, and GIS applications.E-mail: bshyang@whu.edu.cn.

Abstract: With the rapid development of the reality capture, such as laser scanning and oblique photogrammetry, point cloud has become the third important data source following vector maps and imagery, and also plays an increasingly important role in scientific research and engineering in the fields of earth science, spatial cognition, and smart city, and so on. However, how to acquire valid and accurate three-dimensional geospatial information from point clouds has become the scientific frontier and the urgent demand in the field of surveying and mapping as well as the geoscience applications. To address the challenges mentioned above, point cloud intelligence came into being. This paper summarizes the state-of-the art of point cloud intelligence in acquisition equipment, the intelligent processing, scientific research and the major engineering applications, focusing on its three important areas:the theoretical methods, the key techniques of intelligent processing and the major engineering applications. Finally, the promising development tendency of the point cloud intelligence is summarized.

Key words: point cloud big data    point cloud intelligence    semantic labeling    structured modelling    deep learning    ubiquitous point cloud    

2018年发布的《欧洲地理空间产业展望报告》(https://geospatialmedia.net/european-geospatial-business-outlook-report-download.html)在传统地理空间产业三大领域(GNSS与定位、GIS与空间分析、遥感)中增加了三维点云，并预测三维点云市场将成为四大领域中增长最快的市场，将大力推进智慧城市、智能交通、全球测图等产业的快速发展。点云(X, Y, Z, A)已成为继矢量地图和影像数据之后的第三类重要的时空数据源，具有二维矢量地图和影像无可比拟的优越性，是三维地理信息获取的主要来源，对三维空间的精细化描述具有无可替代的重要作用。如何准确、快速地获取三维地理信息成为测绘地理信息领域的根本任务和迫切需求^[1-2]。随着传感器技术、芯片技术和无人化平台的飞速发展，以激光扫描和倾斜摄影为代表性的点云大数据现实采集(reality capture)装备在稳定性、精度、易操作性、智能化等方面取得了长足的进步，已形成星载、有人/无人机载、车载、地面、背包、手持等多平台、多分辨率的系列化装备，为点云大数据的获取提供了便捷手段。点云大数据的智能化处理的理论与方法研究日益备受关注。国际摄影测量与遥感学会(ISPRS)成立了点云处理工作组，工业界的目光也重点聚焦点云处理(如：一年一度的国际Lidar制图论坛ILMF(https://www.lidarmap.org/), 中国两年一度的激光雷达专委会学术会议等)，但是仍然无法满足点云大数据智能处理与应用的苛求。点云智能应运而生，构建了点云大数据与科学研究和工程应用之间的桥梁，是实现从点云大数据到具有结构与功能的实体三维表达的科学手段，其核心包括点云大数据质量增强、三维信息智能提取、按需三维重建等，是地球科学、信息科学以及智慧城市等科学研究和重大工程应用的科学方法与工具。本文围绕点云智能的核心，重点阐述点云大数据采集装备、智能处理和工程应用三个方面的研究进展与趋势，最后对点云智能的重要发展方向予以展望。

1 点云大数据采集装备：从专业级单一化到消费级集成化

以激光扫描为代表的主动采集装备和以倾斜摄影为代表的被动采集装备发展迅猛，在装备的搭载平台方面目前已形成从星载、有人/无人机载、车载、地面、便携式等空、天、地多平台并存。激光扫描装备通过集成GPS/IMU和不同性能的扫描仪，在不同的搭载平台实现激光发射器的位置、姿态信息和到目标区域距离的联合解算，获取目标区域的三维点云。星载激光扫描方面有NASA在2003年和2018年分别发射的ICESat-1及ICESat-2，以及中国2017年发射的资源3号02星^[3]。有人/无人机载和车载移动激光扫描方面过去主要是Riegl、Optech、Hexagon等公司的系列化激光扫描系统占据主导。近年来，立得空间、北科天汇、中海达、华测、南方等国内公司相继推出了系列化机载、车载、背包式激光扫描系统，在性能方面与国外同类系统的差距不断缩小。测深雷达则通过发射蓝绿两种不同波段的激光束对水域进行测深，从而获得水底地形，在海洋测绘、水下测量等领域发挥重要作用。

近10年来，倾斜摄影测量快速发展，在飞行过程中分别从垂直与侧面对地观测，同时获取地面目标顶面与侧面的纹理，通过专业化的处理软件(如：INPHO, nFrame, PixelGrid等)可生成具有颜色信息的密集影像点云，与激光扫描点云(包括当前各种背包、手持终端如GeoSLAM等获取的点云)形成有益的互补，在三维城市重建等方面得以广泛使用。另外，消费级深度相机，通过结构光相机或TOF(time of flight)相机或双目相机实现近距离三维点云获取，并有商业化的产品问世，如：苹果Prime Sense(https://www.apple.com/)，微软Kinect-1(www.microsoftstore.com)，英特尔RealSense(http://www.intel.com)，ZED(https://www.stereolabs.com)，Bumblebee(www.flir.com/iis/machine-vision/stereo-vision)等。

随着人们对地理空间信息粒度和内涵要求的不断提高，点云获取在内容上从原来几何为主走向几何与光谱/纹理的同步获取，如：多光谱激光扫描系统^[4]；在方式上从扫描式三维成像到面阵单光子/量子三维成像转变，面阵单光子LiDAR在遥感领域具有广泛应用前景，已成为未来主动式对地观测激光的发展趋势^[5]；在平台方面从单一的专业化装备走向多元化的消费级智能装备，如基于轻小型无人机的倾斜摄影。随着传感器的尺寸、重量和价格进一步微型化、轻量化和廉价化，消费级、便携式集成化智能扫描装备蓬勃发展^[6-7]。美国国防部高级研究计划局(DARPA)研发了地面机器人与空中机器人自主协同扫描系统，在同时定位与制图技术(SLAM)和机器人控制规划支持下对未知环境进行扫描，大大减少人力成本，并解决危险、特殊环境下人工无法作业的问题^[8]。

显然，传感器的进步有力地推进了点云获取的智能化，丰富了点云获取的平台和装备，导致了点云的采样粒度、质量、表达方式等方面的巨大差异和冲突，面向平台的点云处理方式无法有效协同多平台点云实现优势互补，亟待发展点云智能，把点云大数据的数据处理推进到面象任务需求的点云场景智能理解。

2 点云场景：从可视化量测到智能化理解

点云大数据描述的场景具有数据量大、真三维、高冗余、非结构化、质量差异大、采样粒度分布严重不均和不完整等典型特点。因此，必须在点云大数据的数据模型、处理模型与服务模型方面取得突破，解决面向点云场景特征多层次准确刻画，三维信息的抽取与融合及场景的按需结构化表达等核心难题(如图 1所示)，灵性耦合点云大数据处理的关键技术，实现面向工程任务和科学研究的点云场景智能，为科学研究和工程应用提供关键支撑。下面分别阐述上述几方面的主要研究进展。

2.1 从狭义点云到广义点云

在点云大数据的数据模型方面，杨必胜首次提出了“广义点云”的科学概念与理论研究框架^[9]，被国际摄影测量与遥感学会(ISPRS)遴选为重要研究主题之一，并初步构建了广义点云模型理论方法，为多平台点云的智能处理与工程应用提供了科学支撑，得到国际同行的高度认可，被授予2019年度唯一的Carl Pulfrich奖。广义点云模型理论方法能充分实现狭义点云(单一平台采集点云)间的优势互补，在模型方面把过去孤立、分散表达转变为多模统一表达，在方法方面把室内外、地上下独立转变为室内外、地上下一体，在结果方面把过去的可视、量算转变为计算与分析。模型框架如图 2所示。

2.2 点云大数据质量自动改善

点云大数据质量改善主要包括位置修正、反射强度校正和点云属性数据整合等方面。在点云位置修正方面主要有不同点云条带间平差，基于人工控制点或融合影像参考的点位修正以及运动平台轨迹的姿态精化进行点云重解算等方法^[10-15]，用来减弱或消除点云的不一致，实现点云位置修正。在点云反射强度校正方面主要集中在机载点云的强度校正^[16-18]，根据校正的点云强度，可显著提供点云的分类精度。在点云属性的整合方面，主要通过点云与影像的融合，实现点云数据属性的丰富，可生成具有纹理信息的点云^[19-23]。该方面的研究已基本实现了自动化智能处理。

2.3 点云大数据特征精准描述

点云大数据特征描述是刻画点云形态结构的关键，也是多平台点云配准^[24-26]、语义信息提取^[27-32]、模型结构化重建^[33]、SLAM^[34-36]等研究的基础和前提。

当前，点云大数据特征描述子构建主要通过人工设计的特征和深度网络学习两种方法。在人工设计特征方面主要有自旋影像^[37]、基于特征值的描述子^[38]、快速点特征直方图^[39]、旋转投影统计特征描述^[27]、二进制形状上下文^[40]等。但该类特征依赖设计者的先验知识，且往往具有参数敏感性。基于深度学习的方法从大量训练数据中自动学习特征的表达，且学习到的特征中可以包含成千上万的参数，提高了特征描述能力^[41-42]。根据深度学习模型的不同，可以分为基于体素、基于多视图和基于不规则点三类，其中具有一定代表性的有基于体素的模型VoxNet^[43]，基于多视图的模型Multiview-CNN^[44]和基于不规则点的模型PointNet^[45]。但面向高层次特征的描述方面仍需进一步深入研究。

2.4 语义信息提取

语义信息提取是从杂乱无序的点云中识别与提取地物要素的过程^[46-50]，为场景高层次理解提供底层对象和分析依据。一方面，点云大数据场景中包含地面、植被、桥梁、建筑物、交通基础设施等地物的高密度、高精度三维信息，提供了地物目标的真实三维视角和缩影。另一方面，点云大数据的高密度、海量、空间离散特性以及场景中三维目标的数据不完整性，目标间的重叠性、遮挡性、相似性等现象也给语义化信息提取带来了巨大的挑战^[9]。在语义信息提取方面主要有基于特征描述子的逐点分类方法^[51-52]或分割聚类分类方法^[46, 53-55]和基于深度学习的语义信息提取方法^[47, 56](arXiv:1805.03356V1)。相比于深度学习的方法，基于特征的语义信息提取结果依赖于特征描述子的特征描述能力。基于深度学习网络的方法依赖于训练样本的选择和学习网络的泛化能力^[42, 57]。与图像的深度学习网络相比，点云深度学习网络无论在网络架构设计还是训练样本方面均有待进一步提高。

2.5 目标结构化重建

为刻画点云场景中目标的功能与结构以及多目标间的位置关系，需要将点云场景中的地物目标进行结构化表达，从而支撑复杂的计算分析。目前，国内外大量的研究集中在建筑物对象的多细节层次(LOD)重建、建筑物立面重建、树木重建与DBH参数提取、高清道路地图、室内三维重建等方面。不同于基于Mesh结构的数字表面模型重构，目标结构化重建的关键在于准确提取不同功能结构体的三维边界，从而把离散无序的点云转换成具有拓扑的几何基元组合模型，如：基于模型驱动^[58-59]和数据驱动^[60-61]的建筑物三维重建。基于模型驱动的方法受制于模型库基元的完备性；基于数据驱动的结构化重建受数据质量的影响，存在结构提取错误等问题。针对机载点云，文献[62]提出利用基于结构约束的形态学重建方法迭代生成多细节层次建模物点云数据，并采用数据驱动方法构建LOD模型。在室内三维重建方面，主要有基于空间剖分^[63-64]、基于线和面几何要素提取重构^[65]、基于构造实体几何方法^[66]等。为促进室内三维重建的研究，ISPRS的工作组专门发布了室内三维重建的公开数据集供研究者进行重建结果的质量比较。由于人工地物的复杂性，对于大规模的城市场景复杂建筑模型的三维重建，仍然需要大量的人工编辑。因此，追求三维模型的自动生成或尽可能少的人工编辑操作是建筑物三维重建研究不断努力的方向。

点云场景的智能理解仍需进一步加强场景高层次特征的自动化提取等方面的研究，从而能够在不同尺度下对大规模的点云场景进行解释，同时加强以下几个方面的深入研究。①点云深度学习网络架构设计，尤其是如何构建适用于超大规模点云场景的深度学习网络，直接对三维点云进行学习，实现端到端的三维目标提取与结构化重建，需要在损失函数构造，三维点云卷积等方面进一步深入研究(arXiv:1805, 03356VI, ar Xiv:1812.05784V1)和文献[68]。②点云深度学习公开数据集。虽然，目前已近有NYU^[69]、Kitti^[70]、ShapeNet(arXiv:1512.03012)、S3DIS(arXiv:1702.01105)、ScanNet^[71]、Semantic 3D^[72]等三维点云公开数据集。然而，上述公开的标准数据集存在着目标种类少、场景范围小以及场景多元化不足等缺点，因此亟须构建更全面、覆盖范围更广、更接近真实世界的标准数据集。③点云数字现实，在点云数字基础设施的基础上汇聚物联网数据，发展点云与动态时空流数据(如:视频监控数据、车辆轨迹数据、空气质量数据、水质水文数据、气象数据、水电气表数据等)的时空误差耦合优化技术与多结构约束的物联网数据与点云空间信息融合理论，突破物联网多模态传感器数据到点云数字基础设施准确匹配的关键技术，提升点云数字基础设施与物联网动态传感数据的时空一致性。④5G时代的点云边缘计算，5G具备超高带宽、低时延、高可靠、广覆盖等特点，同时与边缘计算结合使得点云大数据的实时传输和在线处理变为现实，将进一步促进点云大数据在虚拟/增强现实、无人驾驶、电力线路巡检、物流配送等行业的应用。

3 点云智能服务科学研究与工程应用

点云智能在三维信息提取与建模方面取得了较好的成果，已在地球空间信息学研究、地下空间开发利用、智慧城市、新型基础测绘、基础设施健康监测等科学研究与工程中得到了广泛应用(如图 3所示，图中部分图片来自网络)。

在地球空间信息学研究方面，点云智能为准确刻画植被、冰川、岛礁与周边的水下地形的三维形态结构，为全球森林的蓄积量和生物量估算、全球冰川物质平衡、海洋经济开发与管理、海防安全等提供重要支撑^[73-75]。

在智慧城市与实景三维中国方面，点云智能在城市精细化管理、三维变化检测、城市安全分析等方面发挥越来越重要的作用，通过数据、结构、功能为一体的智能集成把室内室外、地上地下、水上水下的三维几何信息、丰富语义信息以及准确空间关系一体化表达，实现按需多细节层次建模，为复杂城市提供翔实的全空间、动静态信息保障^{[50, 62, 76-77]}。

在地下空间综合开发与利用方面，点云智能可为数字建造(digital construction)、BIM、地下灾害探测与预警等方面提供全方位支撑，建立全数字的地下空间基础设施与动态汇聚物联网数据，为地下空间综合规划、建设项目、过程监督、现状等全生命数据库建设，以及项目规划管理全过程“落图”、全生命周期精细化管理提供科学的管理与决策手段^[78-79]。

在重大基础设施的健康状况监测方面，点云智能通过关键结构的精细化建模以及多目标精准识别与空间关系计算，为电力线路安全监测(安全距离等)、道路路面健康普查(塌陷、破损等)、桥梁、隧道形变发现等提供精准有效的三维信息，为基础设施的运营安全做出重要保障^[80-84]。

在无人驾驶方面，点云智能是运动目标实时发现与定位、实时避障、高清地图生产等方面的核心支撑，激光扫描避障已成为无人驾驶的标配，高清地图要素的精准提取使无人驾驶能够为用户提供准确直观的三维位置信息和超越传感器能力的精确路径规划控制策略^{[32, 49, 85-86]}。

在文化遗产数字化保护与传承方面，点云智能可为文化遗产数字化高精度重建、虚拟修复、网络化传播提供从数据采集到精细化重构到传承与保护的系统化科学支撑，大幅提高了文化遗产保护的工作效率，丰富了文化遗产成果表现形式^[87-88]，如：文物碎片拼接^[89-90]、文物三维模型重建^[91-93]、文物修复^[94-95]等。

4 点云智能发展展望

传感器、芯片、物联网、运载平台等方面的高速发展，将不断提高点云大数据获取的效率与质量，同时降低数据采集的成本，从而更加高效地对物理世界进行三维精细数字化。因此，数据容量方面将以指数级增加，点云大数据的存储管理、计算分析等将面临更大的挑战。同时边缘计算、深度学习、人工智能等将为点云智能提供更多的支撑和机会。大规模城市点云场景乃至全球精细尺度的点云场景时代即将来临，点云智能作为点云大数据这一继矢量地图和影像之后的第三类重要基础数据的智能处理与分析的科学支撑，将在以下几个方向继续深入：①发展点云大数据的储存与更新机制，为点云的高效、深度利用提供基础支撑；②建立面向新型基础测绘的点云三维信息提取与建模的行业和国家标准，服务实景三维中国建设和自然资源监测；③发展面向地球大数据的点云精准理解、综合人工智能、深度学习等，建立点云大数据对象化深度学习网络，在全球、区域、单体对象上对场景精准理解；④研制采集、处理与服务一体化的智能装备，服务重大基础设施(如：电网、高铁、交通等)健康管理。相信在可预见的未来，在人工智能、深度学习等新一代信息技术的支撑下，点云智能不但可以精细重构三维现实世界，通过与物联网数据的实时融合，而且能够预测未来，从而为地球科学应用研究、智慧城市等提供更加科学的决策支撑。

杨必胜, 董震. 点云智能研究进展与趋势. 测绘学报，2019，48(12)：1575-1585. DOI: 10.11947/j.AGCS.2019.20190465

精

彩

回

顾

院士论坛 | 李德仁：展望5G/6G时代的地球空间信息技术

院士论坛 | 龚健雅:智慧城市综合感知与智能决策的进展及应用

人物 | 袁隆平院士与李德仁院士的第一次握手

书讯 | 王家耀院士：地图制图数据处理的模型与方法

招聘启事 | 武大遥感学院黄昕教授团队诚聘博士后研究人员

杨元喜院士见证中国测绘事业的发展，寄语年轻一代测绘者

权威 | 专业 | 学术 | 前沿

微信投稿邮箱 | song_qi_fan@163.com

微信公众号中搜索「测绘学报」，关注我们，长按上图二维码，关注学术前沿动态。

欢迎加入《测绘学报》作者QQ群： 297834524

进群请备注：姓名+单位+稿件编号