导读:兴趣是最好的老师,而项目就是老师手里的教鞭。从图商的宣传材料里,陆陆续续了解到高精地图的一些知识,自以为二三好友间吹吹牛逼已经足够了。未曾想,近期手里的一个项目要对接专业图商,采集全场景高精地图,而我需要输出本项目对高精度地图采集的技术要求、验收指标。
在教鞭的鞭笞下,我又化身学生,认真研读每份高精地图专业报道,虚心聆听业内专业人士的耐心介绍。并将所学所思总结下来,一来可以加深自身印象,二来以期给有缘人一些参考。因此,本文就介绍下自动驾驶的“天眼”--高精地图的一些基础概念。
1、定义
一种精度可达厘米级(传统电子导航地图精度为米级),提供元素更加详细、属性更加丰富、维度更高、更新频率更快的高精度、高丰富度、高维度、高新鲜度的电子地图。一种可以辅助实现更可靠的融合高精定位功能,提供超视距环境感知能力以及提供车道级别最优路径规划的电子地图。
单车上的融合感知系统,受限于传感器物理特性以及恶劣气候影响,只能做到可见即可得,无法获得超视距的感知,也就无法实时掌握极具中国特色的道路特点和交通状况。因此,业界除了特斯拉(马斯克曾说:高精地图是一个很糟糕的想法)以外基本达成共识,高精地图是L3以上自动驾驶系统必备武器,堪比二郎神杨戬的天眼。
有一个形象的比喻:装备高精地图的自动驾驶系统仿佛一个当地开了20年出租的老师傅,不仅车技好,脑子里还有一张当地活地图。而没有高精地图的自动驾驶系统,就像是一个初来乍到的外地老师傅,虽车技了得,但对当地大街小巷实际情况一无所知。
2、组成
高精地图需要存储和呈现车辆环境数据和交通运行数据,有静态,有动态。如果都放在一张图层,既不利于制作,也不利于使用。因此标准化的分层就显得尤为重要,每一层体现一种环境要素或交通要素,所有图层叠加后形成可用的高精地图。
而各国标准化组织或协会也一直在致力于这方面的工作,有欧洲的4层分层模型(静态、准静态、准动态、动态),有中国提出的7层分层模型(道路层、交通信息层,道路-车道连接层、车道层、地图特征层、动态感知层、决策支持层)。本文不去深究不同模型的差异,仅从利于逻辑理解的角度介绍业界比较认可的分层逻辑。
目前自动驾驶圈内比较公认的高精地图自下而上可以分成两个大图层,静态数据层和动态数据层。
一、静态数据层
静态数据层自下而上又可细分为车道模型、道路部件、道路属性三个矢量子层,以及一个道路环境特征子层。
车道模型,用于精确描述车道间拓扑关系,包括车道基准线、车道连接点、车道交通类型、车道功能类型。车道基准线可以体现不同车道间的关联关系,是局部车道级路径规划的基础;车道连接点可以体现不同路段车道间连接关系,是全局车道级路径规划的基础;车道交通类型定义有普通车道、行车道、超车道、辅助车道等类型。车道功能类型定义有公交车道、HOV车道、潮汐车道等类型。
道路部件,主要分为路面标线类和道路设施类。路面标线类包括路面横纵向标线、标线类型,标线颜色、标线材质,清晰程度等。道路设施类包括收费站位置、绿化带位置、防护栏位置、涵洞限高、桥梁限重、地标性建筑位置等。
道路属性,包含车道类型的属性和路侧呈现设备属性。车道类型属性包含车道数量、类型、坡度、曲率、航向、高程、侧倾等信息;路侧呈现设备属性包含交通信号灯位置、交通标志位置及含义、兴趣点(斑马线)位置及含义等。
道路环境特征,用于记录具备独特环境特征的目标图层,比如交通信号灯、交通标志、地标性建筑等。通过采集的激光点云和相机图像数据进行特性提取,并打上特定的标签,从而生成一张道路环境特征图层。用于支持自动驾驶车辆实时感知结果的特征匹配,从而完成车辆实时融合精准定位。
二、动态数据层
动态数据层基于万物互联的V2X技术,实时获取交通运行数据、交通管理数据及人、车的实时运动数据。因此由下往上可分为交通运行数据层、交通管理数据层及高动态运动层。
交通运行数据包含路口红绿灯实时状态,道路拥堵情况、通行区域天气情况、前方可用充电站、停车场的实时状态等。通过V2I/V2N技术,车载终端OBU从路侧基础设施单元RSU或交管部门大数据云平台实时获取。
交通管理数据包含由于道路施工、交通事故、交通拥堵而产生的临时交通标志和交通控制数据,车辆一方面可以通过V2I/V2N技术实时获得交通管控数据,一方面通过自身感知设备将遇到的临时交通管控数据上报图商大数据平台,图商基于此进行交通管理数据层的动态更新。
高动态数据层主要包含移动物体数据、车辆行驶状态、车辆操作数据。移动物体数据包含行驶路线上物体的位置,包括车辆、行人、三轮车、电瓶车等;车辆行驶状态包括速度、方向等;车辆操作数据包括启动、加速、减速、转弯、换挡、加速等。基于V2V技术,车辆之间可以实时完成高动态数据的交互。
3、作用
“天眼”的定义及基本组成均已呈现,下面自然而然的轮到高精地图可以解决的痛点及在其中发挥的作用。而冥冥之中早有安排,高精地图在自动驾驶几大模块中均有不俗的降妖表现。
一、感知
目前自动驾驶传感器的家族越来越壮大,单个的战力也越来越强大,但仍没有一种或几种融合能解决全场景的感知需求。不是受限硬件物理特性影响,就是受限恶劣气候的影响。
(1)在大雪、暴雨、雾霾天气下,视觉及激光雷达基本失效,毫米波雷达倒是可以继续完成移动障碍物的识别、追踪、聚类,但仅凭它不足以撑起L3以上自动驾驶系统的全部功能;
(2)在车道线、斑马线等交通标线磨损,交通指示牌损坏,红绿灯繁杂的路口,单纯的视觉系统,也将很难准确完成识别。
而融合高精度地图的感知系统,可以突破传感器的性能边界,提供全场景,全气候下的超视距感知。通过高精地图,车辆能够提前了解当前位置前方可能的道路情况,动态调整传感器的功能,从而降低对于传感器的性能要求,合理分配计算资源。公开资料总结的高精地图对感知提升主要有三方面。
(1)在交通信号等识别方面,有了高精地图,感知系统只用在当前车道前方有交通信号灯的时候才启用对应的传感器及识别的深度学习算法,这样不仅可以节省计算资源,提高识别的准确率,而且可以提高感知硬件的整体寿命;
(2)在车道线识别方面,高精地图能够提供车道数、车道宽度等丰富的信息,对于车道线磨损、模糊不清等情况,通过重投影补齐车道线,可以提高车道线的识别能力;
(3)在复杂场景感知方面,通过先验信息,提升相应的感知能力。比如即将行驶到高精地图标注的斑马线“兴趣区”时,感知系统将启用斑马线行人检测深度学习模型,提高各类姿态行人的识别率,同时合理的对车辆的行驶状态进行控制。
二、定位
单一定位源无论从系统可靠性还是功能安全的角度考虑,都无法满足自动驾驶大规模量产落地的要求。而基于多传感器的融合定位是大势所趋,而高精地图似乎成了融合定位实现的最后一块拼图。
GNSS+IMU+RTK受遮挡等影响,无法实现全场景准确定位;基于激光或相机的特征匹配地位,受限于道路上重复的特征及传感器本身的物理特性,也无法实现全场景准确定位。而引入高精地图的融合定位,可以完美解决绝大部分的Corner Case。
首先通过GNSS+IMU+RTK获得绝对定位,并从高精地图中导入此位置的环境特征图层。通过激光或相机扫描识别的特征与高精地图中记录的环境特征进行匹配融合,从而获取车辆在当前场景下更加准确的定位。此融合一来可以获得更加准确的定位,二来在GNSS卫星被遮挡(隧道),IMU航迹推算误差不断累积情况下,通过高精地图环境特征匹配,既可以获得更加可靠的定位结果,又可以实现对其它传感器误差的纠偏。三来在环境特征重复度特别大的场景下(高速公路),通过GNSS+IMU+RTK实时获取当前位置的高精地图,可以避免环境特征的误匹配。
三、预测
高精地图也可以辅助对道路上其他车辆的轨迹预测。例如如果前方某辆车行驶在实线车道内,可以预测该车辆的变道可能性很小;如果前方车辆行驶在最右侧车道,且前方有高速出口,可以预测车辆有可能驶出高速等。
四、决策规划
对于如下环岛场景,光靠自身感知系统,是没有办法理解其交通规则,作出合理的决策和控制。而对于有特殊交通规则的道路(限时公交专用车道、潮汐车道等),光靠交通标识牌的识别,一来没有办法提前进行路径规划,二来存在错误的交通规则的识别。
高精地图通过赋予自动驾驶系统更丰富的驾驶经验,在合理的全局路径规划及智能化的局部路径规划下,大幅提升单车通行效率,交通运营效率。
五、仿真训练
高精地图与虚拟仿真技术的结合,通过极大提高场景构建的效率,可以推动自动驾驶仿真的快速落地、普及。基于高精地图的丰富道路元素信息,使用三维建模软件可以实现静态还原交通基础设施与周边环境。同时利用路采数据,在交通参与要素符合逻辑的情况下自动化生成动态场景元素。
4、采集方式
我国国土疆域辽阔,城市数量丰富且道路状况极其复杂。如果只靠具有高精地图采集资质图商有限数量的专业采集车,地图制作的数量注定有限,地图更新的频率注定较低(某头部厂商采用专业采集车3个月才能更新一次全国高速公路及城市快速路的高精度地图)。鉴于此,越来越多的图商采用专业采集+众包采集相结合的方式。
专业采集即采用图商造价百万的测绘车辆,上面全副武装的传感器套件,包括高精度组合导航、高线束激光雷达,高像素感知相机。在标定完成、时间同步完成,运动补偿完成之后,就释放它的缰绳,让它驰骋在祖国的大好山河,去记录一切。
众包采集即利用群众的力量,不管你是BBA还是国产四小龙,都给我一起发功。用那10米精度的GNSS,稍显模糊的相机,误报率有点高的毫米波雷达,去穷游祖国。将这些带有定位信息的车辆行驶轨迹、摄像头图像数据,毫米波雷达目标数据通过车端联网设备上传图商云端平台,图商通过AI技术进行处理,提取道路的结构化信息。
专业采集精度高,数量少,因此适合场景地图的初始绘制。众包采集精度低,数量多,因此适合后续地图的高频更新。
前面详细介绍了高精地图作为超视距传感器在自动驾驶各模块中的作用及其理想的分层模型。但落实到女领导分配的实际项目任务上,我还是要确认找哪家图商来承接我的需求以及我们对图商期望的地图输出格式及输出内容。接下来就从当前有资质的图商及高精度地图输出格式两方面来展开介绍。
5、高精地图采集资质
调研下来,发现高精地图圈遵循的还真不是帅气多金就可以为所欲为的社会法则。在这里,崇尚的是一纸文凭,即使你衣衫褴褛、食不果腹,但只要你拿出“院士”的聘任文书,你就依然是科技界、商界、政界大佬们的座上宾。而对于高精地图圈来说,这一纸文凭就是导航电子地图甲级资质。
国家地理信息关乎国防安全,涉及国家秘密,因此在中国从事高精地图测绘活动就需要获取导航电子地图甲级资质。而甲级资质在人员规模、仪器设备、保密管理、作业标准等考核指标方面都有比较高的门槛。以人员规模举例,需要满足具备100人及以上(含注册测绘师5人,其中高级10人,中级20人)测绘及相关专业技术人员的条件。
而大多数传统主机厂和初创地图企业难以满足上述要求,即使满足了也只是具备了人和,你还要静待天时和地利。从2001年四维图新获得第一张甲级资质,到2021年的这20年时间里,9600万平方公里嗷嗷待高精测绘的土地上仅诞生了28家获得高精地图甲级测绘资质的企业。而这28家中除去事业单位、传统图商,所剩科技型初创企业寥寥无几,这与国外高精地图采集产业的繁荣、高速发展形成鲜明对比。
通过多方打听,汇总了国内具有高精地图甲级测绘资质的企业信息如下表,而我所能做的就是找一家情投意合的商谈后续采集的工作。
6、高精地图数据格式
高精地图目前最主流的通用格式规范有OpenDRIVE和NDS。
一、OpenDRIVE
OpenX系列标准是ASAM(Association for Standardization of Automation andMeasuring Systems,自动化及测量系统标准协会)为完整描述一个仿真测试场景而制定,包括OpenDRIVE、OpenCRG和OpenSCENARIO三个标准。其中OpenDRIVE主要用于描述仿真测试场景的静态部分(道路几何形状、道路拓扑结构、交通标识等);OpenCRG主要用于描述仿真测试场景的表面细节(道路坑洼等);OpenSCENARIO主要用于描述仿真测试场景的动态部分(人、车等移动障碍物的行为等)。
OpenDRIVE是德国制定的国际通用的高精地图规范,使用XML格式文件来描述路结构,自动驾驶系统可通过读取XML文件构造路网,座舱域可通过进一步渲染后通过显示屏展示给用户。OpenDRIVE目前最新版本为2021年8月发布的V1.7,除了完善仿真场景的需求,还丰富了自动驾驶对高精地图的额外需求。国内玩OpenDRIVE最溜的非百度Apollo莫属,不仅消化吸收,还基于自己的需求做了部分改动和扩展,已经在国内有了专属代号Apollo OpenDRIVE。
OpenDRIVE通过道路参考线(Reference Line),车道(Lanes)、车道段(Section)、物体(Objects)、交通标志(Road Signals)、标高(Elevation)、交叉口(Junction)等元素来描述道路结构。
(1)道路参考线。每条道路必须定义且只定义一条道路参考线,道路参考线可以定义到道路中心,也可以有侧向偏移。道路参考线只反映道路在水平投影面的走向,不包括坡度、起伏等特征。为保证在蜿蜒曲折的道路中参考线没有断口,道路参考线可由直线、螺旋线、三次多项式参数方程等几何形状组合。道路参考线的ID通常定义为0。
(2)车道。每条道路可设置多条车道。车道的属性包括宽度、类型(行车道、超车道、停车道、自行车道等)、材质(通过摩擦系数表征)、限速级别、路权(不同时间段可通行车辆类别信息)等。车道通过ID区分,道路参考线坐标系s轴正方向左侧,ID依次递增,右侧依次递减。当道路参考线ID定义为0时,左侧车道ID依次为1、2、3、……,右侧车道ID依次为-1、-2、-3、……。
(3)车道段。根据车道数变化(增多或减少)、车道虚实线变化,栅栏有无等的原则,将道路切分成一段段,且按照升序来定义,如上图的段A/B/C。
(4)物体。通过拓展、定界以及补充道路走向从而对道路产生影响的项,最常见的例子包括停车位、人行横道、交通护栏、限高和隧道等。
(5)道路标志。用来控制和规范道路交通所设的路标,包括交通信号灯、各类交通标牌等。
(6)标高。包括纵向坡度(沿行驶方向的高低起伏)、横向坡度(转弯处内外侧坡度有明显差异)。
(7)交叉口。当有三条及以上道路相交、无法清楚描述道路的连接关系时,通过在交叉口中增加虚拟路,来连接可通行方向。路口由三个部分组成:来路(Incoming Road)、去路(Outgoing Road)和连接路(Connecting Road)组成。来路为进入路口的道路,可以有不止一条;去路为离开路口的道路,可以有不止一条;来路可同时作为去路,连接路作为来路和去路之间连接。如下图所示,一条来路可以对应多条连接路,而每条连接路都只连接一条来路和一条去路,这样就明确了路口处道路的连接关系。
(8)坐标系。在OpenDRIVE里定义了三种坐标系,来描述道路元素之间的相对关系。包括惯性x/y/z坐标系(Inertial System),参考线s/t/h坐标系(Reference Line System)和局部u/v/z轴坐标系(Local System)。
对局部坐标系位置和方位的确定将相对于参考线坐标系来进行。对参考线坐标系位置与方向的确定则相对于惯性坐标系来开展,如下图展示的各坐标系关系。
惯性坐标系遵照右手法则,在绘图平面内,x指向右方,y指向上方,z垂直指向平面外。
参考线坐标系同样同样遵照右手法则。s方向跟随着参考线的切线方向,t方向与s方向成正交,h由右手法则确定。参考线总是位于由惯性坐标系定义的x/y平面里。
局部坐标系同样遵照右手法则。u 向前与s保持匹配,v 向左与t保持匹配 ,z按照右手法则确定。
二、NDS
NDS(NavigationData Standard,导航数据标准)是由汽车制造商(宝马、大众、戴姆勒等)、系统集成商、地图提供商、服务提供商等联合开发的一套地图数据全球标准。NDS采用了数据库技术存储地图数据,在兼顾性能和功能的基础上,可以比较好地解决地图增量更新、数据安全、数据可靠的问题。
早先基于嵌入式操作系统开发,不具备数据库环境,因此几乎所有的电子地图存储都采用了文件存储方式,而文件存储中使用大量了地址偏移,计数等。地图的增量更新将引起一系列增删操作,文件的结构难以维护。因此基于数据库技术可以完美解决增量更新的问题。
一份地图数据可以称为一个NDS数据库(NDS Database),这个数据库是按照NDS标准设计的,只要按照这个标准去制作的地图数据,都是可以兼容的。一个数据库包含不同的产品数据库(Product Database),这些产品数据库可以是不同图商制作的地图,并且可以进行独立的版本控制和版本更新。而每一个产品数据库还可以被进一步划分成多个更新区域(Update Region)。
如果江苏高精地图是一个数据库,那么苏州市就是是一个产品数据库,工业园区、独墅湖区、相城区等就是一个更新区域。
NDS.Live是NDS协会推出的新一代地图数据标准,NDS.Live在2019年开发之初就将关注点放在高度自动驾驶、功能安全性和地图数据无缝分发上。它在NDS的基础上,优化了地图数据的划分结构,以Modules(单元模块),Service Registries (可配置服务)和Smart Layers(智能图层)的形式进行组合。这种高度模块化的体系可以实现地图数据在汽车、边缘网络(5G),以及云之间进行跨场景使用及扩展,以便数据高效快速地共享、更新和合成,保证了快速的数据流,同时减少了数据对网络的压力。与此同时,NDS.Live将关注点放在服务接口(service interface)的标准上,不限制数据储存形式和地点,数据可以来自不同的供应商。NDS.Live扩大了NDS地图数据格式的范围,以更好地支持在线e-horizon服务和动态地图管理,从而为NDS开发人员和汽车厂商提供一个真正的分布式地图体验。因此,自NDS.Live首次提出以来便受到了汽车行业的广泛关注。
另外,NDS.Live不再由一个个数据库组成,而是作为地图分发系统而存在,可以运行于车机端、移动设备端、云端、甚至ECU实时数据端。NDS.Live的发布和部署可以更好的满足车载导航从离线到在线的转变,使得更丰富、有效的动态信息可以实时地从云端发布至车机,有效地解决了地图数据量增长的问题,同样也为ADAS,嵌入式导航和自动驾驶等应用场景的多种需要的应用提供了强有力的支持。
7、高精地图制作流程
目前各家图商高精地图的制作流程基本类似,主要包含采集、处理、验证及发布四个过程。
一、采集
采集是通过装有专业设备的专业采集车(专业采集)及普通设备的私家车(众包采集)在道路上一厘米一厘米的采集完成。目前对于采集设备,主要有两种流派,一种是以激光雷达点云为主的土豪派,一种是以相机视觉为主的技术派。
土豪派重金雇佣的激光雷达以测距精度高而闻名,正好也契合高精度地图的高精度要求,再辅以组合导航、相机等几名3D球员,完成时间同步、运动补偿的团队磨合训练后,就可以派到战场上厮杀了。土豪派虽然也用到相机,但主要用来在处理过程弥补激光雷达点云稀疏的缺点,非采集的主力传感器。此方法主要成本较高,非大富大贵不可驾驭。
技术派采雇佣的相机以信息丰富,物美价廉而闻名,但是本身不输出深度信息,需要辅以各种2D转3D的算法来实现20cm内的高精度要求,对后期处理能力要求很高。此方法适合智商高、家境一般的同学。
二、处理
对于土豪派来说,得到的是激光雷达输出的点云数据。首先需要将每帧点云数据拼接起来,从而建立整个场景的点云地图,整个过程也称为点云注册。目前实现点云注册的主要有Autoware提供的NDT mapping及各种离线SLAM方案。下一步就是在拼接好的点云地图基础上,标注出车道线信息、交通标志信息、红绿灯信息等,得出道路的结构化信息。这一过程可辅以相机的图像数据,提高标注准确率。
对于技术派来说,是时候展示祖传手艺的时候了。什么AI深度学习、图像识别、三维视觉等技术,直接往采集数据上招呼。提取、归类感兴趣数据,完成2D转3D的模型,从而最终完成线识别、特征点提取、构建车道的网络拓扑以及制作各种地物(人行横道、标线、交通标志)等。
处理是目前高精地图制作中最费时间精力的,面对的海量点云、图像数据,如果仅靠人工,带动的标注岗位将是喜人的。目前各家均在提高自动化标注的能力、准确率。
三、保存验证
将处理完的高精地图数据按照客户要求的数据规范保存为固定的格式,并交由专业的技术团队进行质量检查。
四、发布
验证无误的地图,还不能对外发布,需要按照规定程序送至国家测绘局审核并取得审图号后,方可进行公开出版、展示、登载和销售。
8、小结
借着项目锻炼的机会,把高精地图的基础知识捋了一篇。越发觉得高精地图作为一种超视距的“传感器”,必将随着自动驾驶落地的深入,实现“财富自由”。同时也看到,在高精地图标准方面,世界各国都在发力标准的制定,而中国一但接受了国外标准,不仅面临经济上的额外支出,整个智能网联可能也会长期受制于人。基于具有中国特色的交通条件,中国高精地图上下游企业完全有优势,有能力尽早完成高精地图中国标准的制定。
来源:十一号组织 作者11号线人