毫末智行&清华AIR自动驾驶公开课：实现端到端自动驾驶，AI扮演了怎样的角色？

随着AI大模型从深度学习算法中脱颖而出，正在成为当前AI领域最为炙手可热的新技术范式。自动驾驶技术也因为大模型技术的引入，具备了从模块化阶段向端到端自动驾驶进化的可能。AI大模型正在重塑自动驾驶技术路线。

9月27日，毫末智行联合清华大学智能产业研究院（AIR）联合举办的自动驾驶精品公开课圆满结束。本场公开课聚焦自动驾驶当前最领先的AI算法，并结合毫末的具体实践，给自动驾驶从业者、行业伙伴和媒体朋友们带来了一场端到端自动驾驶的技术盛宴。

本期课程是自动驾驶系列公开课程的第三期，此前第一期和第二期课程分别从宏观行业和技术原理上对自动驾驶知识体系进行基本介绍。而第三期，清华AIR助理研究员/助理教授詹仙园博士从决策优化视角下解释了端到端自动驾驶AI算法的特点和当前进展，而毫末智行技术总监潘兴博士从数据闭环系统上完整解释了AI大模型算法是如何在海量数据中学习和优化，并在实践中如何呈现它惊人的能力。

在题为《决策优化视角下的端到端自动驾驶》的分享中，詹仙园博士从端到端的概念入手，结合自动驾驶行业30年的发展历程，为大家讲述了端到端自动驾驶中的策略学习方法，并结合清华AIR和毫末的科研合作实践，透过Al算法，洞悉行业发展脉络，对行业发展做出总结和趋势判断。

詹仙园博士指出，端到端，简单来说就是把所有架构、不同模块融成一个完整的整体，直接从输入到输出做训练，学习信号从决策处向前传递。原有的模块化，其好处在于每个模块拆解地非常干净，每个模块建模目标非常明确，可解释性非常好。但模块化架构下，每个模块的设计和优化都有自己的一套体系，把多个模块组合到一块势必会出现误差累积。而端到端的优点在于以下三点。首先，可以把整个端到端模型看成单一的超大模型，所以结构非常简单，所有的目标都是围绕着决策的最终目的做优化和学习，在优化层面上目标是统一的。其次，从输入到最终决策输出是端到端的学习，可以很方便地实现依赖海量数据的纯数据驱动学习。第三，因为端到端是很多模型在同一个体系下训练，所以可以共享不同模块模型的主干，从而可以降低计算上的开销。

詹仙园博士介绍，所有端到端的驾驶模型可以看成一个很大的决策模型，把这样的模型训出来需要用到决策优化的算法。这就涉及模仿学习和强化学习，模仿学习即用监督学习的方法直接从数据里训出来的映射；强化学习则不是简单的模仿数据，它提供了超越数据本身的可能，可以通过不断学习优化去找到一个比现有数据更好的决策模式。

在詹仙园博士看来，早期的端到端自动驾驶都是一些很小的决策模型，但到了今天，产业落地的端到端系统都是巨大无比的模型，端到端自动驾驶从早期的在线交互范式，慢慢已经延伸到完全离线的学习。随着模型变得越来越强、越来越好，安全性也变得越来越好，而且泛化性层面也慢慢有一些改进和过渡。此外，詹仙园博士还就清华AIR和毫末在模仿学习和离线强化学习上的合作进行了详细的介绍，并表示这些算法会逐步应用到毫末的自动驾驶场景实践当中。

詹仙园博士分享结束后，潘兴博士以《毫末的自动驾驶AI之路》为主题，通过毫末的具体实践，从工业角度阐述了AI算法的重要性。潘兴博士表示，作为一家致力于自动驾驶的人工智能技术公司，毫末用户辅助驾驶行驶里程已经超过8000万公里，城市NOH也在泛化迭代过程中，预计明年将实现搭载量产。

潘兴表示，随着数据规模的增加、算法能力提升，在大模型、大数据、大算力趋势下，应用，当前行业即将进入以数据驱动为主的自动驾驶3.0时代。随着自动驾驶产品正在从高速场景走进城市场景，自动驾驶数据智能体系的建设最核心的基础设施。为了实现数据闭环，诸如特斯拉、毫末和国内很多友商，也都在搭建自己的云端AI能力和超算中心，通过更大的算力，更大规模的数据处理能力，来实现更好的自动驾驶能力。

目前，毫末构建了自己的数据智能体系MANA，并在今年年初搭建起中国自动驾驶行业最大智算中心——MANA OASIS雪湖•绿洲。基于MANA OASIS，毫末在今年四月发布了业内首个自动驾驶生成式大模型DriveGPT雪湖·海若。“作为一个基础大模型，毫末使用DriveGPT构建了进一步的AI能力，包括数据管理检索、自动标注、AIGC仿真数据合成等等，基于这些数据能力和服务，我们进一步来提升车端各个模块和算法的能力，最终实现一个更优秀的自动驾驶产品。”

潘兴博士指出，数据智能是整个自动驾驶迭代的核心，这个过程中要积累海量的数据资产，通过AI大模型，可以更好地去管理这些数据资产。同时，有了数据之后不可避免地需要算力，智算中心的稳定持续运行，也为大模型的迭代和自动驾驶的提升提供了源源不断的动力。

潘兴博士介绍，“有了数据和算力之后，目前车云联动、共同训练的方法可以通过大模型有效地提高车端算法的效果。”比如，通过使用DriveGPT，在工具链里面可以非常有效地降低整个标注的成本，提高标注的效率。同时，DriveGPT还可以使用大模型直接支持车端小模型能力的提升，把云端的大模型能力更好地传递到车端的模型上。

潘兴博士还表示，“如何高效获得更真实的仿真数据，其大模型可以发挥非常重要的作用。”通过大模型的使用，可以非常有效地学习纹理、深度、语义等信息。通过大模型的有效表征，可以使数据具备可被编辑能力，比如，在原始的视频上没有的车辆障碍物，通过DriveGPT可以将对它们进行粘贴、剪辑、随意旋转，放进视频当中，从而获得新的仿真合成数据。除了感知领域的应用，在智能驾驶决策和规划上，大模型在应用中也发挥了很大的价值和作用，DriveGPT使用人驾的用户数据，持续地迭代和学习，更好的驾驶行为和决策。

与此同时，毫末DriveGPT不仅可以帮助完成轨迹预测、图片合成，还具备智能决策的能力。“DriveGPT具备输入一段视频可以去预测未来轨迹以及回答驾驶决策过程中问题的能力，可以给出可解释性的决策。”这些能力让毫末认为随着端到端自动驾驶的来临，将宏观决策和微观行为，通过模型一起进行学习和理解会成为比较有效的手段。潘兴博士透露，接下来，毫末会更深度地将感知和认知两个模型进行端到端的打通，让它们能够合二为一。

毫末智行联合清华大学智能产业研究院（AIR）举办的自动驾驶精品公开课共分4期，本期课程是第三期。在此前举办的两期课程里，来自清华AIR和毫末智行的讲师已经为近百名业内媒体人介绍了单车智能自动驾驶、车路协同自动驾驶和高等级智能道路建设等自动驾驶技术发展，并向大家讲解了自动驾驶AI技术基础原理，以及当前大模型在自动驾驶的应用趋势。本期自动驾驶精品公开课，毫末与清华AIR一同向自动驾驶行业观察者们分享了更为深入的AI算法和自动驾驶AI系统的原理，并得到线上线下嘉宾的积极提问和交流。

面向自动驾驶星辰大海，唯有行动才会真正抵达未来的目标。通过自动驾驶精品公开课，毫末与清华AIR携手业内资深媒体人一起收获关于自动驾驶A算法的最新研究成果和实践经验，携手跨越山海，共同分享AI知识的智慧火花，为自动驾驶行业贡献一份珍贵的技术共识和知识沉淀。