来源 | 主动驾驶之心
目次
业界办法
数据集
评估目标
三个问题
将来标的目的
一、何为轨迹揣测
主动驾驶中，轨迹揣测一般位于感知模块的后端，规控的前端，为承先启后的模块。输进为感知模块供给的目标track的state信息、道路构造信息，综合考量高精地图信息、目标之间的交互信息，情况的语义信息及目标的企图信息，对感知到的各类目标做出企图揣测(cut in/out、曲行)以及将来一段时间的轨迹揣测(0-5s不等)。如下图所示。
ADAS系统需要对四周情况信息有必然认知才能，最根本的程度是要识别情况，再上一层则需要理解情况，而再上一层则需要对情况停止揣测。在对目标停止揣测后，规控即可根据揣测信息停止自车的途径规划，并做出决策对可能呈现的求助紧急情状停止造动或发出告警，那即是轨迹揣测模块存在的意义所在。
二、两个挑战
轨迹揣测可分为短期揣测与持久揣测。
短期揣测一般根据运动学模子(CV/CA/CTRV/CTRA)基于当前的目标state信息揣测将来一段时间的轨迹，一般1s是适宜的，假设时间过长，那目标仅与运动学相关的假设就不成立了。短期揣测能够建一个运动模子专门往揣测，同样的也能够利用前面感知模块滤波中的揣测模块，只不外不挪用丈量停止滤波更新，如许的益处是能够传布不确定度。
展开全文
持久揣测是当前业界次要在做的。那种揣测仅基于运动模子就不适宜了，一般需要做企图揣测，并连系一些上下文信息(地图、目标间交互信息)才气得到不错的成果。此时业界有良多差别的输出形式，好比输出轨迹的概率散布、输出多条揣测轨迹、输出一条可能性更大的揣测轨迹。
关于持久的轨迹揣测有两个挑战：
输出一条可能的轨迹或者输出所有可能的轨迹都是不合理的。你输出一条揣测轨迹就可能漏掉实正的轨迹，你输出所有可能的轨迹就会呈现误报的情状，那关于ADAS系统均是不成承受的。应该考虑把揣测轨迹限造在适宜的子集中。
对轨迹揣测做的越多就需要做更多的假设。极端一点的假设就是假定道路上的所有的目标都遵守交通规则。那假设用于交通模仿功用是合理的，但是对adas系统其实不适宜，他需要对潜在的求助紧急情状连结灵敏。
影响做持久轨迹揣测的不确定性次要来源于三个方面：
感知模块输出的目标state估量的不确定。
驾驶企图揣测的不确定性。
从企图识别完与车辆灵活性改动中间的不确定性。
三、次要考量
对轨迹揣测系统应该考虑的四个问题：
轨迹揣测要对潜在的求助紧急有灵敏性，那是轨迹揣测存在的意义要求的。
既要考虑运行模子也要考虑企图与四周情况的信息。
考虑上述的不确定性。
考虑输出的轨迹数量问题。
四、业界办法
如下图为bosch公司颁发综述论文[2]中的分类办法。
1.假设根据利用模子的差别来分类，轨迹揣测办法能够分为利用物理模子的办法、利用进修的办法、利用规划算法的办法。
2.假设根据利用的信息来分类，轨迹揣测办法能够分为利用目标的信息的办法、利用情况中的动态目标信息的办法、利用静态情况信息的办法。
轨迹揣测详细会涉及到哪些通用算法呢？
企图揣测：模糊理论、static BNs、DBN(HMM、JumpMM)、DS证据理论、机器进修中的分类算法。
深度进修相关，端到端输出。CNN、LSTM、RNN、Attention。
那轨迹揣测能够利用哪些详细信息呢？
目标信息：当前/汗青的速度与位置信息，假设是行人轨迹揣测的话，还可利用行人头的朝向、关节信息、性别与年龄信息以及人的重视力信息。
情况中的动态目标信息：social force、吸引力、群体约束信息。
静态情况信息：free space、map、语义信息(道路构造/交通规则/当前交通信号灯)。
当前学术界轨迹揣测方面的论文越来越多，次要原因仍是业界没有行之有效的办法。
以下列举业界论文：
BMW：物理模子+企图揣测(learning-based)。利用启发式的办法集成专家常识，简化了交互模子，在企图揣测的分类模子中加进了博弈论思惟[3]。
BENZ：次要为企图揣测的相关论文，利用的是DBN[4]。
Uber：LaneRCNN[5]。
Google：VectorNet[6]。
Huawei：HOME[7]。
Waymo：TNT[8]。
Aptive：Covernet[9]。
NEC：R2P2[10]。
商汤：TPNet[11]。
美团：StarNet[12]。行人。
Aibee：Sophie[13]。行人。
MIT：Social lstm[14]。行人。
中科大：STGAT[15]。行人。
百度：Lane-Attention[16]。
Apollo：能够看如下博客做为参考。
Apollo的揣测模块领受感知、定位以及地图模块的输进。
“1.起首做了场景拆分，分为了通俗巡航道路以及路口两个场景。2.然后对感知得到的目标做重要性划分，分为能够漠视的目标(不会影响到自车)、需要隆重处置的目标(可能影响到自车)以及通俗目标(介于二者之间)。3.然后进进Evaluator，素质上就是一个企图揣测。”
“1.起首做了场景拆分，分为了通俗巡航道路以及路口两个场景。2.然后对感知得到的目标做重要性划分，分为能够漠视的目标(不会影响到自车)、需要隆重处置的目标(可能影响到自车)以及通俗目标(介于二者之间)。3.然后进进Evaluator，素质上就是一个企图揣测。”
“4.最初进进predictor，用于揣测轨迹生成。关于静行目标、沿道行驶、freeMove、路口等差别场景做差别的操做。”
“4.最初进进predictor，用于揣测轨迹生成。关于静行目标、沿道行驶、freeMove、路口等差别场景做差别的操做。”
(1) NGSIM
此数据集是美国FHWA搜集的高速公路行车数据，包罗了US101、I-80等道路上的所有车辆在一个时间段的车辆行驶情况。数据是摘用摄像头获取，然后加工成一条一条的轨迹点笔录。其数据集为CSV文件。数据没有太多噪声。
更多是整体调度层面的信息，如道路规划、车道设置、车流量调剂等。车辆运动学形态需要进一步抽取。处置代码可利用下面的github。
(2) INTERACTION
此数据集为加州大学伯克利分校机械系统掌握尝试室（MSC Lab）与来自卡尔斯鲁厄理工学院（KIT）和国立巴黎高档矿业学院（MINES ParisTech）的协做者成立了一个国际性、匹敌性、协做性的数据集（INTERACTION）。它能准确再现差别国度的各类驾驶场景中道路利用者（如车辆、行人）的大量交互性行为。
/
(3)apolloscape
此为Apollo的公开主动驾驶数据集，此中有为轨迹揣测供给的数据。内部文件为2fps的1min数据序列，数据构造包罗帧数ID、目标ID、目标类别、位置xyz，长宽高信息以及heading，此中目标类别包罗小车、大车、行人、自行车/电动车以及其他。
(4) TRAF
此数据集聚焦于高密度的交通情况，此情况能够搀扶帮助算法更好地专注在不确定情况下人类驾驶员行为阐发。数据每帧别离包罗约13辆灵活车辆，5名行人和2辆自行车
在链接中有良多利用此数据集的轨迹揣测项目。
(5) nuScenes
重磅来了，此数据集是2020年4月提出。其在波士顿和新加坡那两个城市搜集了1000个驾驶场景，那两个城市交通忙碌并且驾驶情况极具挑战性。其数据集具有相关论文，能够看看，更好领会此数据集。
此数据集中有揣测相关的角逐，能够存眷。
六、评估目标
当前次要利用的评估目标为几何度量。
几何度量有良多个目标，次要利用的是ADE、FDE、MR。
“ADE为均一化欧式间隔。FDE为最末揣测点之间的欧式间隔。MR为未中率。有良多差别的名字，次要就是设一个阈值，揣测点迹之间欧式间隔低于那个揣测就记为射中，高于那个阈值就记为未射中，最初计算一个百分比。”
“ADE为均一化欧式间隔。FDE为最末揣测点之间的欧式间隔。MR为未中率。有良多差别的名字，次要就是设一个阈值，揣测点迹之间欧式间隔低于那个揣测就记为射中，高于那个阈值就记为未射中，最初计算一个百分比。”
几何度量是权衡揣测轨迹与现实轨迹类似性的重要目标，能够很好是代表精度。但是以轨迹揣测存在的意义来说，仅仅评估精度是没有意义的。还应有概率度量，用来评估不确定性，出格是关于多模态输出散布；还有使命层面度量，鲁棒性的度量以及效率的评估那些。
“概率度量：能够利用KL散度、揣测概率、累积概率来做为概率度量。好比NLL, KDE-based NLL[17]。使命层度量：评估轨迹揣测对后端规控的影响(piADE,piFDE)[18]。鲁棒性：要考虑在揣测之前，看测到的部门轨迹的长度或继续时间；操练数据的size；输进数据摘样频次和传感器噪声；神经收集泛化、过拟合及输进操纵率阐发；感知模块送进的输进假设有问题能否包管功用一般等等方面的因素。效率：要考虑算力的。”
“概率度量：能够利用KL散度、揣测概率、累积概率来做为概率度量。好比NLL, KDE-based NLL[17]。使命层度量：评估轨迹揣测对后端规控的影响(piADE,piFDE)[18]。鲁棒性：要考虑在揣测之前，看测到的部门轨迹的长度或继续时间；操练数据的size；输进数据摘样频次和传感器噪声；神经收集泛化、过拟合及输进操纵率阐发；感知模块送进的输进假设有问题能否包管功用一般等等方面的因素。效率：要考虑算力的。”
说一下使命层的度量，piADE与piPDE为英伟达在2021年论文中提出的，我那边有阅读文章如下：
【论文阅读】Rethinking Trajectory Forecasting Evaluation 5 附和 · 0 评论文章
如下图所示，此论文的次要考量为基于实值(蓝色)，灰色的目标车揣测的紫色与绿色轨迹假设利用几何度量是具有不异的ADE与FDE的，但是差别的揣测体例对自车的planning会形成影响，而如今没有那种评估使命层级的度量，于是他们提出piADE与piFDE来做那个事。
七、三个问题
“(问题1）三种差别的轨迹揣测办法：基于物理模子、基于进修、基于规划各自利用场景在什么处所，有什么优缺点呢？”
“(问题1）三种差别的轨迹揣测办法：基于物理模子、基于进修、基于规划各自利用场景在什么处所，有什么优缺点呢？”
差别的建模办法能够连系并操纵差别类型的上下文信息。操纵目标的上下文线索、动静态情况能够扩展出所有建模办法。然而，差别的建模办法在连系差别类此外语义信息时表示出差别水平的复杂性和效率。
1.基于物理模子的办法
适用场景：目标、静态情况、动力学模仿能够被显式转移方程建模。
长处：
基于物理模子的办法通过抉择恰当的转移方程，能够很随便地跨情况利用，而不需要操练数据，虽然一些用于参数估量的数据是有用的。在论文中，简单的CV模子也可产生合理的成果。
基于物理模子的办法很随便和target agent cues连系停止扩展。
基于物理模子的办法通过抉择恰当的转移方程，能够很随便地跨情况利用，而不需要操练数据，虽然一些用于参数估量的数据是有用的。在论文中，简单的CV模子也可产生合理的成果。
基于物理模子的办法很随便和target agent cues连系停止扩展。
缺点：
那种展现建模的办法可能无法很好地捕获现实世界的复杂性。
转移方程在空间与时间上欠缺全局信息，招致可能获得是部分更优解。
如许的缺点招致利用物理的办法限造在短期揣测或者obstacle-free的情况。
2.基于进修的办法
适用场景：合适于当前情况具有复杂的未知信息(例如具有丰富语义的公共区域)，而且那些信息能够用于比力大的揣测范畴。
长处：
基于进修的办法能够潜在地处置所有类型的上下文信息，那些信息编码在搜集的数据集。他们中一些是map-based，别的一些能够用来对上下文信息进一步扩展。
基于进修的办法能够潜在地处置所有类型的上下文信息，那些信息编码在搜集的数据集。他们中一些是map-based，别的一些能够用来对上下文信息进一步扩展。
缺点：
需要在特定地点搜集足够的数据，才气停止操练。
上下文信息扩展可能会招致involved learning、数据效率和泛化问题。
倾向于在非平安的关键组件中利用，在ADAS中比力在意可阐明性，那是基于进修办法无法做到的。
需要在特定地点搜集足够的数据，才气停止操练。
上下文信息扩展可能会招致involved learning、数据效率和泛化问题。
倾向于在非平安的关键组件中利用，在ADAS中比力在意可阐明性，那是基于进修办法无法做到的。
3.基于规划的办法
适用场景：在起点定下来了且情况地图可获得的场景，有很好的表示。
长处：
假设称心以上两个前提，其比物理办法能够获得更好的精度，比基于进修的办法有更好的泛化才能。
假设称心以上两个前提，其比物理办法能够获得更好的精度，比基于进修的办法有更好的泛化才能。
缺点：
传统的规划算法：Dijkstra、Fast Marching Method、optimal sampling-based motion planners会跟着目标的数量、情况的大小、揣测范畴的增加而指数增长。
与基于物理的简单模子比拟，基于上下文线索的规划办法(如逆向规划的奖励函数和正向规划的模子)的参数是琐碎的，凡是更随便进修，但在推理方面，关于高维(目标)智能体形态，效率较低。
传统的规划算法：Dijkstra、Fast Marching Method、optimal sampling-based motion planners会跟着目标的数量、情况的大小、揣测范畴的增加而指数增长。
与基于物理的简单模子比拟，基于上下文线索的规划办法(如逆向规划的奖励函数和正向规划的模子)的参数是琐碎的，凡是更随便进修，但在推理方面，关于高维(目标)智能体形态，效率较低。
基于规划的办法素质上是map-aware 与 abstacle-aware，很天然地利用语义线索停止扩展。凡是情状下，他们会将情境复杂性编码到目标/奖励方程中，但那可能无法安妥地整合动态线输进。因而，做者必需设想详细的修改，将动态输进纳进揣测算法(Jump Markov Processes、local adaptations of the predicted trajectory、game-theoretic)。与基于进修的办法差别，目标输进很随便被合并，因为前向与逆向的规划过程都基于统一个目标动态模子。
“(问题2）轨迹揣测的问题如今已经处理了吗？”
“(问题2）轨迹揣测的问题如今已经处理了吗？”
轨迹揣测的需求很大水平上取决于利用范畴和此中的特定用例场景。短期内可能不克不及说轨迹揣测那个问题已经处理了。以汽车行业举例，因为有专门的原则规定，定义了更大速度、交通规则、行人速度和加速度的散布，以及车辆温馨加速/减速度的标准，其在造定需乞降提出的处理计划方面似乎是最成熟的。能够说关于智能汽车的AEB功用，处理计划已经到达了容许工业化消费消费产物的性能程度，关于其所需用例已经处理。至于其他用例，则需要在不久的未来对需求停止更多的原则化和明白的表述。而且关于鲁棒性与不变性还需要演进。
所以在答复轨迹揣测能否已经处理那个问题之前，最最少应该把原则定了。
当前关于机器人范畴来说
基于物理模子与进修的办法能够在短时间(1-2s)有较高的精度。十分适用于人群的部分运动规划与碰碰制止。最简单的CV模子就对机器人的部分规划有很好的效果。假设考虑行人之间的交互以及因为机器人的存在对行人运动产生的影响，有好多种先辈算法。
关于需要揣测15-20s的往全局途径规划，有很大挑战。需求能够恰当放松，而理解动静态上下文输进(持久来看影响运行、在情况地图上的推理、目标的企图揣度)则变得非常重要。关于部分和全局途径规划，位置无关办法最合适在各类情况下揣测运动。
当前机器人揣测4.8s的ADE为0.19-0.4m的。简单的速度模子也能够到达0.53m的ADE。9s揣测有1.4-2m的ADE。
基于物理模子与进修的办法能够在短时间(1-2s)有较高的精度。十分适用于人群的部分运动规划与碰碰制止。最简单的CV模子就对机器人的部分规划有很好的效果。假设考虑行人之间的交互以及因为机器人的存在对行人运动产生的影响，有好多种先辈算法。
关于需要揣测15-20s的往全局途径规划，有很大挑战。需求能够恰当放松，而理解动静态上下文输进(持久来看影响运行、在情况地图上的推理、目标的企图揣度)则变得非常重要。关于部分和全局途径规划，位置无关办法最合适在各类情况下揣测运动。
当前机器人揣测4.8s的ADE为0.19-0.4m的。简单的速度模子也能够到达0.53m的ADE。9s揣测有1.4-2m的ADE。
当前关于主动驾驶范畴来说：
大大都工做考虑的都是横穿马路的行人：起头走 陆续走 停行走。
自行车：一个骑自行车的人在接近一个十字路口时，后面有多达五个差别的道路标的目的。
大大都工做考虑的都是横穿马路的行人：起头走 陆续走 停行走。
自行车：一个骑自行车的人在接近一个十字路口时，后面有多达五个差别的道路标的目的。
“(问题3）当前权衡轨迹揣测性能的评估手艺能否足够好？”
“(问题3）当前权衡轨迹揣测性能的评估手艺能否足够好？”
当前关于揣测算法欠缺系统性的办法，特殊是关于考虑上下文输进以及揣测肆意数量的目标的轨迹揣测办法。
如今大大都做者仅仅利用几何度量(AED, FDE)做为权衡算法好坏的目标。然而关于长时间揣测，揣测凡是是多模态的，而且与不确定性有关，对此种办法的性能评估应该利用考虑到那一点的目标，例如从KLD得到的负对数似然或对数缺失。
此外也需要概率度量，其能够更好地反映了人体运动的随机性以及感知缺陷所涉及的不确定性。
还有鲁棒性的评估，需要考量在感知端呈现检测错误，跟踪缺陷，自我定位不确定性或地图改变此类场景时系统的不变性。
同时当前所利用数据集，固然包罗的场景非常的全面，但是那些数据集凡是是半主动正文的，因而只能供给不完全和有噪声实值估量。此外，在一些需要持久揣测的利用范畴中，轨迹长度往往不敷。最初，数据集中的目标之间的交互凡是是有限的，例如在稀少的情况里面，目标之间很难有影响。
综上：为了评判揣测量量，研究者应该抉择更复杂的数据集(包罗非凸的障碍、长轨迹和复杂的interaction)以及完全的度量目标(几何+概率)。比力好的办法是根据差别的揣测时间、差别的看测周期，差别的场景复杂度设置差别的精度要求。而且应该有鲁棒性评估以及实时性评估。此外应该有相关的目标能够权衡ADAS系统对后端影响水平的目标[18]以及权衡对求助紧急场景灵敏性的目标[1]。
八、将来标的目的：
来自于[2]中的讨论，此处为引用。
当前的趋向时用更复杂的办法往超越利用单一模子+KF的办法
标的目的：
利用强化的上下文信息：能够利用更深条理的语义信息，那种语义信息应对静态情况有更好的理解。而且当前利用语义特征停止轨迹揣测仍有待于开发
关于有social-aware的场景：①当前大大都办法假设所有被看察到的人的行为都是类似的，他们的运动能够由不异的模子和不异的特征来揣测，而对高条理社会属性的捕获和推理还处于开展的早期阶段。②大大都可行的办法基于的假设是人们之间的协做行为，而实在的人可能更倾向于优化小我目标，而不是结合战略，因而连系传统AI+博弈论的办法很有研究前途。
关于持久揣测，上下文信息变得特殊重要，因为要基于情境和四周情况考虑企图。当前许多基于进修的办法将个别视为粒子，用来进修转移信息，以决定将来运动的标的目的。而通过更多的通过企图驱动的揣测来扩展那些模子，类似于人类目标导向的行为，将有利于持久揣测。
大大都基于规划的办法依靠于一组给定的目标，那使得它们在没有事先晓得目标地或可能目标地数量过高的情状下无法利用或不切确。那使得基于语义信息对目标起点停止主动揣度变得重要。或者能够动态识别情况里面的可能目标地，并基于此停止轨迹揣测。如许就能够在未知的情况里面利用基于规划的办法了。
如今的办法都是集中于处理某一类特定的使命，好比当情况中存在明显的运动形式时，或者当情况的空间构造和目标agent的目标地预先已知时。而轨迹揣测办法需要能适应不决义的/不竭改变的情况，而且能够处置突发情状。那就需要迁徙进修以及一些应对新情况的办法，那种情状下，进修和推理根本的稳定的规则，或者通用的行人行为或者碰碰制止是不适宜的。范畴自适应是能够用于进修泛化模子。
别的需要重视的标的目的：鲁棒性与可集成性。
综上：简洁来说就是上下文信息用的要更深进、更好对差别目标有差别行为模子、博弈论、基于更多信息做更鲁棒的企图揣测、对起点的主动揣度、对新情况的泛化问题、鲁棒性与可集成性。
参考文献
1、Schreier M. Bayesian environment representation, prediction, and criticality assessment for driver assistance systems[J]. at-Automatisierungstechnik, 2017, 65(2): 151-152.
2、Rudenko A, Palmieri L, Herman M, et al. Human motion trajectory prediction: A survey[J]. The International Journal of Robotics Research, 2020, 39(8): 895-935.
3、Bahram M, Hubmann C, Lawitzky A, et al. A combined model-and learning-based framework for interaction-aware maneuver prediction[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(6): 1538-1550.
4、Weidl G, Madsen A L, Kasper D, et al. Optimizing Bayesian networks for recognition of driving maneuvers to meet the automotive requirements[C]//2014 IEEE International Symposium on Intelligent Control (ISIC). IEEE, 2014: 1626-1631.
5. Zeng W, Liang M, Liao R, et al. LaneRCNN: Distributed Representations for Graph-Centric Motion Forecasting[J]. arXiv preprint arXiv:2101.06653, 2021.
6、Gao J, Sun C, Zhao H, et al. Vectornet: Encoding hd maps and agent dynamics from vectorized representation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11525-11533.
7、Gilles T, Sabatini S, Tsishkou D, et al. HOME: Heatmap Output for future Motion Estimation[J]. arXiv preprint arXiv:2105.10968, 2021.
Zhao H, Gao J, Lan T, et al. Tnt: Target-driven trajectory prediction[J]. arXiv preprint arXiv:2008.08294, 2020.
9、Rhinehart N, Kitani K M, Vernaza P. R2p2: A reparameterized pushforward policy for diverse, precise generative path forecasting[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 772-788.
11、Zhu Y, Qian D, Ren D, et al. Starnet: Ped