顾维灏提出大模型重塑汽车智能化技术路途新方案 DAY如期而至 第九届毫末AI
2023年10月11日，北京金秋季节，第九届HAOMO AI DAY如期而至。本届HAOMO AI DAY以 "BETTER AI，BETTER HAOMO"为主题。
毫末重磅发布三款“极致性价比”千元级无图NOH，片面满足高中高价位智驾车型量产需求；毫末发布的行业首个智能驾驶生成式大模型DriveGPT雪湖·海若发布最新成绩：合计挑选出超越100亿帧互联网图片数据集和480万段蕴含人驾行为的智能驾驶4D Clips数据；进一步更新引入多模态大模型，取得识别万物的才干；与NeRF技术进一步整合，渲染重建4D空间；借助LLM（大言语模型），让智能驾驶认知决策具有了环球知识。
产品层面，搭载毫末城市NOH性能的魏牌蓝山将在2024年第一季度正式量产上市；小魔驼行将在2023年第四季度在商超履约配送场景成功盈利。
（毫末董事长张凯重磅发布三款“极致性价比”千元级HPilot产品）
成立近四年期间，毫末一直引领中国智能驾驶技术风向标，HAOMO AI DAY更成为中国智能驾驶技术的一面旗号。毫末率先内行业规划大模型、大数据、大算力技术开展方向，冲刺智能驾驶3.0时代。
（毫末CEO顾维灏发布DriveGPT发布200天关键成绩）
毫末董事长张凯示意：“毫末不时在养精蓄锐投入到AI智能驾驶的技术浪潮中，毫末坚持的渐进式路途与对技术投入的常年主义，让毫末形式成为中国智能驾驶开展的新范式。”
（从左至右：毫末智行COO侯军、董事长张凯、CEO顾维灏、CIO甄龙豹）
重磅发布三款千元级HPilot产品，以“极致性价比”抢占智驾市场
“2023年我国高阶智能辅佐驾驶市场迎来大迸发。”优惠现场，张凯以《BETTER AI，BETTER HAOMO》为主题，分享了对2023年智驾市场竞争形势的判别，以及毫末四大战斗的最新停顿。
（张凯引见2023年中国高阶智能辅佐驾驶市场迎来大迸发）
张凯引见，目前乘用车销量和智能化指数都在稳步优化，同时智能驾驶渗入率与多少钱却呈反向增长，乘用车市场L2及以上智能驾驶渗入率达42.4%，2025年将达70%，并遍及到10-20万的主销车型上；城市NOA迎来量产上车潮，目前占L2及以上辅佐驾驶份额的17%，2025年将达70%；行泊分体的配件设计、一体机逐渐分开市场，更具性价比的行泊一体的域控方案将成为干流。
为了迎战智驾市场的变动，现场，毫末重磅发布了HP170、HP370、HP570三款“极致性价比”智能辅佐驾驶产品，估量将在2023年和2024年先后上车。
（重磅发布三款千元级HPilot产品）
张凯示意：“毫末全新发布的第二代HPilot乘用车辅佐驾驶三款产品，多少钱打上去的同时性能都打了上去，让中阶智驾廉价更好用，让高阶智驾好用更廉价。”这也是2023年，毫末给中国如此“卷”的智驾市场交出的答卷。
毫末HP170是3000元级“极致性价比”的高速无图NOH，可以成功行泊一体智驾。配件性能上，算力5TOPS，传感器方案标配1个前视相机、4个鱼眼相机、2个后角雷达、12个超声波雷达，灵敏选装1个前视雷达和2个前角雷达。
场景上，可成功高速、城市极速路上的无图NOH，短距离记忆泊车等性能，并获E-NCAP 5星AEB的高安保规范认证。
（毫末HP170）
毫末HP370是5000元级“极致性价比”的城市记忆行车与记忆泊车，可以成功行泊一体智驾。配件性能上，算力32TOPS，传感器方案标配2个前视相机、2个侧视相机、1个后视相机、4个鱼眼相机、1个前雷达、2个后角雷达、12个超声波雷达，灵敏选装2个前角雷达。
场景上，可成功高速、城快，以及城市内的记忆行车，免教学记忆泊车、智能绕障等性能。张凯示意：“毫末的记忆行车可看作毫末城市NOH的最小集，是城市NOH的强有力补充。”
（毫末HP370）
毫末HP570是8000元级“极致性价比”的城市全场景无图NOH产品，未来将在100+城落地。配件性能上，算力可选72TOPS和100TOPS两款芯片，传感器方案标配2个前视相机、4个侧视相机、1个后视相机、4个鱼眼相机、1个前雷达、12个超声波雷达，还允许选配1颗激光雷达。
场景上，可成功城市无图NOH、全场景辅佐泊车、全场景智能绕障、跨层免教学记忆泊车等性能。张凯强调：“HP570平台的历史使命是打造行业内最具性价比的高阶城市智驾产品。”
（毫末HP570）
发布新产品的同时，张凯引见了毫末2023年四大战斗的最新成绩。首先是“智能驾驶装机量王者之战”，在中国的智能驾驶公司中，毫末稳居中国量产智能驾驶第一名，辅佐驾驶产品HPilot全体已搭载至超越20款车型，用户辅佐驾驶行驶里程打破8700万公里。
其中，最新搭载毫末HPilot的车型为山海炮HEV版、新摩卡Hi-4S等。
（毫末HPilot全体已搭载超越20款车型）
其次是“MANA大模型巅峰之战”，DriveGPT发布200天左右的期间里，累积480万段Clips高品质测试。目前已有生态同伴17家，助力生态同伴提效90%。
2023年DriveGPT成功中选“北京市通用人工智能产业翻新同伴方案”成为首批模型同伴观察员及中选北京市首批人工智能10个行业大模型运行案例。此外，DriveGPT还助力毫末荣获2023中国AI基础大模型翻新企业的名称。
（DriveGPT发布200天的蝶变成长）
第三是“城市NOH百城大战”，具有城市NOH导航辅佐驾驶性能的毫末HP550（原HPilot3.0），将搭载魏牌蓝山在2024年第一季度正式量产上市。
现场，张凯和顾维灏初次地下测试搭载HP550的城市NOH的魏牌蓝山视频曝光，在保定闹城市全程12公里的行驶中，历时35分钟，手动接收3次。其中蕴含21个红绿灯，7个路口转向……重感知路途的毫末城市NOH展现出杰出性能，尤其是面对拥挤路途、红绿灯交替以及非机混行等复杂场景，处置得十分人造，产品力行业上游。
（HP550将搭载魏牌蓝山在2024年第一季度正式量产上市）
最后是“末端物流智能配送商业之战”，末端物流智能配送车小魔驼3.0，售价89999元，是环球首款9万元内中型末端物流智能配送车，可以满足在物流、商超、批发等9大场景的需求，小魔驼3.0产品推出在中国无人车规模化商用的行业进程中具有里程碑式的意义。
目前，小魔驼已配送超越22万单。小魔驼行将在2023年第四季度在商超履约配送场景成功盈利。从商业意义上，毫末具有了成为环球范围内首家领有规模化盈利 L4业务公司的才干。
（毫末小魔驼3.0亮相）
演讲中张凯还引见毫末总部已落户北京市顺义区，毫末将充散施展在智能驾驶畛域的技术和产业长处，助力顺义打造中国 新动力 智能汽车产业洼地。
DriveGPT雪湖·海若200天蝶变：通用感知成功“万物识别”、通用认知具有环球知识
历届HAOMO AI DAY的外围主题都是聚焦最硬核的智能驾驶AI技术。此次，顾维灏带来了主题为《智能驾驶3.0时代：大模型将重塑汽车智能化的技术路途》的演讲，分享了毫末关于智能驾驶3.0时代AI开发形式的思索以及毫末DriveGPT大模型的最新停顿和通常。
顾维灏以为，智能驾驶3.0时代与2.0时代相比，其开发形式和技术框架都将出现推翻性的革新。在智能驾驶2.0时代，以小数据、小模型为特色，以Case义务驱动为开发形式。而智能驾驶3.0时代，以大数据、大模型为特色，以数据驱动为开发形式。
（毫末提出的智能驾驶3.0时代的技术架构演进趋向）
相比2.0时代关键驳回传统模块化框架，3.0时代的技术框架会出现推翻性变动。首先，智能驾驶会在云端成功感知大模型和认知大模型的才干打破，并将车端各类小模型逐渐一致为感知模型和认知模型，同时将控制模块也AI模型化。
随后，车端智驾系统的演进路途也是一方面会逐渐全链路模型化，另一方面是逐渐大模型化，即小模型逐渐一致到大模型内。而后，云端大模型也可以经过剪枝、蒸馏等形式逐渐优化车端的感知才干，甚至在通讯环境比拟好的中央，大模型甚至可以经过车云协同的形式成功远程控车。最后，在未来车端、云端都是端到端的智能驾驶大模型。
顾维灏还具体引见了毫末DriveGPT大模型在推出200天后的全体停顿。首先是DriveGPT训练数据规模优化。截止2023年10月DriveGPT雪湖·海若合计挑选出超越100亿帧互联网图片数据集和480万段蕴含人驾行为的智能驾驶4D Clips数据。
其次是通用感知才干优化，DriveGPT经过引入多模态大模型，成功文、图、视频多模态消息的整合，取得识别万物的才干；同时，经过与NeRF技术整合，DriveGPT成功更强的4D空间重建才干，取得对三维空间和时序的片面建模才干；最后是通用认知才干优化，借助大言语模型，DriveGPT将环球知识引入到驾驶战略中。
顾维灏以为，未来的智能驾驶系统必定是跟人类驾驶员一样，岂但具有对三维空间的准确感知测量才干，而且能够像人类一样了解万物之间的咨询、事情出现的逻辑和面前的知识，并且能基于这些人类社会的阅从来做出更好的驾驶战略，真正成功齐全无人驾驶。
毫末DriveGPT是如何具有识别万物的通用感知才干，以及领有环球知识的通用认知才干？顾维灏也给出了详尽解释。
（毫末DriveGPT更新：大模型让智能驾驶领有环球知识）
在感知阶段，DriveGPT首先经过构建视觉感知大模型来成功对实在物理环球的学习，将实在环球建模到三维空间，再加上时序构成4D向量空间；而后，在构建对实在物理环球的4D感知基础上，毫末进一步引入开源的图文多模态大模型，构建更为通用的语义感知大模型，成功文、图、视频多模态消息的整合，从而成功4D向量空间到语义空间的对齐，成功跟人类一样的“识别万物”的才干。
（毫末DriveGPT通用感知大模型：让智能驾驶意识万物）
毫末通用感知才干的退化更新蕴含两个方面。首先是视觉大模型的CV Backbone的继续退化，基于大规模数据的自监视学习训练范式，驳回Transformer大模型架构，成功视频生成的形式来启动训练，构建蕴含三维的几何结构、图片纹理、时序消息等消息的4D表征空间，成功对片面的物理环球的感知和预测。
其次是构建起更基础的通用语义感知大模型，在视觉大模型基础上引入图文多模态模型来优化感知效果，图文多模态模型可以对齐人造言语消息和图片的视觉消息，在智能驾驶场景中就可以对齐视觉和言语的特色空间，从而具有识别万物的才干，也由此可以更好成功指标检测、指标跟踪、深度预测等各类义务。
在认知阶段，基于通用语义感知大模型提供的“万物识别”才干，DriveGPT经过构建驾驶言语（Drive Language）来形容驾驶环境和驾驶用意，再联合导航疏导消息以及自车历史举措，并借助外部大言语模型LLM的海量知识来辅佐给出驾驶决策。
（毫末DriveGPT认知大模型：让智能驾驶具有知识）
因为大言语模型曾经学习到并紧缩了人类社会的所有知识，因此也就蕴含了驾驶关系的知识。经过毫末对大言语模型的专门训练和微调，从而让大言语模型更好地适配智能驾驶义务，使得大言语模型能真正看懂驾驶环境、解释驾驶行为，做出驾驶决策。认知大模型经过与大言语模型联合，使得智能驾驶认知决策取得了人类社会的知识和推理才干，也就是取得了环球知识，从而优化智能驾驶战略的可解释性和泛化性。
（毫末DriveGPT运行的七大通常）
在分享了最新DriveGPT大模型技术框架后，顾维灏随后也给出了毫末基于DriveGPT大模型开发形式的七大运行通常，包括驾驶场景了解、驾驶场景标注、驾驶场景生成、驾驶场景迁徙、驾驶行为解释、驾驶环境预测和车端模型开发。
其中，在驾驶行为解释方面，毫末DriveGPT在原有联合场景库及人工标注形式来对驾驶行为启动解释的基础上，更新为引入大言语模型来解释驾驶环境，让AI自己解释自己的驾驶决策。
接上去，毫末会继续经过构建智能驾驶形容数据，来对大言语模型启动微调，让大言语模型能够像驾校教练或许陪练一样，对驾驶行为做出更具体的解释。
（驾驶行为解释：透视AI的思索环节）
驾驶环境预测方面，毫末DriveGPT原来基于海量人驾数据预训练和接收数据的反应强化学习来成功未来BEV场景的预测生成，如今则在此基础上，进一步经过引入大言语模型，在经常使用驾驶行为数据的同时，让大言语模型对的驾驶环境给出解释和驾驶倡导，而后再将驾驶解释和驾驶倡导作为prompt输入到生成式大模型，来让智能驾驶大模型取得外部大言语模型内的人类知识，从而具有知识，才干了解人类社会的各种明规定、潜规定，才干跟老司机一样，预测未来最有或许出现的驾驶场景，从而与各类阻碍物启动更好地交互。
（驾驶环境预测：生成未来环球）
车端模型开发形式革新方面，毫末正在尝试用蒸馏的方法，也就是用大模型输入的伪标签作为监视信号，让车端小模型来学习云端大模型的预测结果，或许经过对齐Feature Map的形式，让车端小模型间接学习并对齐云端的Feature Map，从而优化车端小模型的才干。基于蒸馏的形式，可以让车端的感知效果优化五个百分点。
（车端模型开发新形式：把大模型蒸馏成小模型）
此外，毫末DriveGPT的驾驶场景了解可以对海量驾驶场景数据启动秒级特色搜查，从而成功更高效的数据挑选，为大模型开掘海量高品质训练数据；驾驶场景标注是驳回了开集（Open-set）场景下的Zero-Shot智能标注，可成功对恣意物体既极速又精准的标注，不只可成功针对新品类的Zero-Shot极速标注，而且精度还十分高，预标注准召到达80%以上；驾驶场景生成，可以基于驾驶场景的文生图模型，经过文字形容批量生成往常难以失掉的Hardcase数据，成功无事生非的可控生成；关于驾驶场景迁徙，基于AIGC生成才干，可成功多指标场景生成，能将采集到的一个场景，迁徙到该场景的不同期间、不同天气、不同光照等各类新场景下，可同时失掉全天候驾驶数据，成功瞬息万变的高效场景迁徙。
现场，顾维灏还给出了DriveGPT赋能车端的三大测试成绩：
第一个是毫末纯视觉智能泊车测试成绩。毫末应用视觉感知模型，经常使用鱼眼相机可以识别墙、柱子、车辆等各类型的边界轮廓，构成360度的全视线灵活感知，可以做到在15米范围内到达30cm的测量精度，2米内精度可以高于10cm。这样的精度可成功用视觉取代USS超声波雷达，从而进一步降落全体智驾方案老本。
（毫末纯视觉泊车）
第二个是毫末对交通场景全因素识别测试成绩。DriveGPT基于通用感知的万物识别的才干，从原有感知模型只能识别少数几类阻碍物和车道线，到如今可以识别各类交通标记、低空箭头、甚至井盖等交通场景的全因素数据。少量高品质的路途场景全因素标注数据，可以有效协助毫末重感知的车端感知模型成成效果的优化，助力城市NOH的减速进城。
（城市NOH全因素笼罩）
第三个是毫末城市NOH对小指标阻碍物检测的测试成绩。毫末在城市NOH的测试中，可以在城市路途场景中，在时速最高70公里的50米距离外，就能检测到大略高度为35cm的小指标阻碍物，可以做到100%的成功绕障或刹停，这样可以对路途上穿行的小生物等移动阻碍物起到很好地检测包全作用。
（毫末城市NOH小指标阻碍物检测）
顾维灏也提到，毫末DriveGPT大模型的运行，在智能驾驶系统开发环节中带来了渺小技术优化，使得毫末的智能驾驶系统开发彻底进入了全新形式，新开发形式和技术架构将大大减速汽车智能化的退化进程。
环球顶尖产学研重磅嘉宾助阵，毫末生态同伴已达近百家
本届HAOMO AI DAY再度齐聚智能驾驶畛域超奢侈嘉宾阵容。中国工程院院士、清华大学传授、清华智能产业钻研院（AIR）院长张亚勤；清华大学车辆与运载学院副院长、长聘传授、博士生导师李升波宣布主题演讲；合众新动力汽车CTO戴鼎力；中汽创智智能驾驶CTO张振林； 美团 智能车研发总监穆北鹏；达达快送产品与规划担任人郭瑜；火山引擎汽车行业总经理杨立伟；车云网&电动邦开创人、CEO程里等产业领军人物缺席第九届HAOMO AI DAY尖峰对话环节，围绕“2023智能驾驶：乘风大模型，发明新范式”开展探讨。
（尖峰对话——2023智能驾驶：乘风大模型，发明新范式）
张亚勤宣布了题为《Big Model, Generative Al and Intelligent Driving》的主题演讲，他示意：“AI大模型带来了从判别式AI到生成式AI的新技术范式革新，清华AIR正在应用生成式AI来构建智能驾驶仿真平台以及Real2Sim2Real基础模型平台。同时，清华AIR与毫末智行在数据驱动决策优化方向开展深化探求，独特推进全方位、多档次的产学研深度协作，减速AI技术在智能驾驶畛域的落地运行。”
（张亚勤缺席第九届毫末AI DAY）
李升波示意：“智能驾驶是人工智能的皇冠明珠，算法的打破与数据的累积使得汽车驾驶智能性出现极速开展的态势，这也是智能驾驶技术的重点开展方向。毫末智行近年于数据驱动的感知、预测、决控方向启动了打破性探求，取得了一系列前瞻技术，为生成式人工智能的智能驾驶运行做出了有益尝试。”
（李升波缺席第九届毫末AI DAY）
演讲开头，顾维灏提到：“毫末行将成立周围年，一约既定，万山无阻。毫末人将继续用AI衔接更宽广的环球，用技术叩问更浩远的未来。”
张凯示意：“风好正扬帆，毫末人将一直秉持初心，坚持守业者的激昂斗志，独特成功智能驾驶的幻想。”
