公众号
当前位置:栏目>最新>文章详情

端到端、纯视觉、安全类脑,Nullmax助力全场景自动驾驶进化

来源:汽车商业评论(钱亚光)24年7月18日 20:58


近年来,汽车智能化程度快速提升,智驾应用场景逐步扩大,高阶功能向城市加速渗透。但是由于重规则、泛化差、成本高、开不好等问题,智能驾驶的普及受到限制,范围、规模有待提升。

自特斯拉提出引入端到端大模型发展自动驾驶后,小鹏、蔚来、理想等车企以及华为、地平线等供应商宣布跟进部署基于端到端的智能驾驶系统。今年,端到端已成为了智驾领域

主流的自动驾驶系统感知、规划与控制三大模块,每个模块专注于处理特定的任务。模块间信息传递问题可能影响系统的实时响应能力同时不同模块技术上的差异,也增加了人员培训成本和技术更新难度。

端到端模型其实是将三大模块整合在一起,通过简化系统架构,提高运行效率以便更快地处理数据,提系统响应速度。同时由于减少了对激光雷达和高精地图的依赖,端到端模型降低了整体成本。

但端到端自动驾驶在实现量产落地与普及方面仍面临诸多挑战,包括技术路线的不确定性、算力和数据的需求、以及系统的安全性和可解释性问题。


端到端+安全类脑

7月16日,Nullmax正式推出新一代自动驾驶技术Nullmax Intelligence(简称“NI”),以更聪明、更拟人的方式应对行业自动驾驶难题。

Nullmax Intelligence不仅深度整合了Nullmax在静态感知、动态感知、时序融合方面的多项高水平研究。同时将岩芯数智全国首个非Attention机制通用大模型Yan1.2在车端进行部署,并与岩思类脑研究院合作构建类脑神经网络。

Nullmax创始人、CEO、CTO徐雷博士介绍,NI系统是由多模态端到端大模型和安全类脑构成

基于这个端到端的多模态模型,参数量十亿级别根据导航信息输出行驶轨迹输出的轨迹到底对还是不对一级仲裁和二级仲裁来决定,由此评判自车是否会与其他交通参与者发生碰撞。

一级仲裁是行业的常见手段,本质上还是依赖于多模态的端到端模型输出。在视觉基础上,NI增加了对声音、文本、手势等信息的输入支持,通过多模态的端到端模型进行任务的推理,由系统整体输出可视化结果、场景描述和驾驶行为。

在此基础上,Nullmax引入二级仲裁——安全类脑。

安全类脑是一个参数十万量级的神经网络,规模对应斑马鱼的神经元数脑科学与自动驾驶结合。类脑并不是人设计的而是通过实验方法去破解斑马鱼大脑观测神经元活动和鱼运动之间的关系,去研究它们的神经元用什么权重去连接等,再对其行为进行模仿,保证车辆不跟其他交通参与者碰上。

这种独特的架构设计,使得Nullmax Intelligence既可以像人类一样,根据接收的图像、声音、文字等各种信息进行思考,同时也具有“趋利避害”的生物本能,能够根据环境情况作出反应,从而实现更高程度的安全、智能、自由。


纯视觉、真无图、多模态

Nullmax表示,NI的最大特点在于支持纯视觉、真无图、多模态的全场景自动驾驶应用。

在不依赖激光雷达、双目相机的情况下,Nullmax可以通过纯视觉进行精准障碍物检测和三维重建,并通过实时生成局部地图结合基础导航,实现不依赖高精地图、轻地图、低精地图、众包地图的真无图应用。

多模态以视觉为核心,可以输出包含静态感知、动态感知、场景描述和驾驶行为在内的多种信息。

这一系列的特点使得Nullmax的方案具有出色的泛化能力,支持全场景应用,并且算力需求更低,小于100TOPS的稀疏算力即可实现全场景的领航辅助驾驶。更低的传感器成本和芯片成本,也令Nullmax的方案具有突出的性价比优势,更加适合普及应用。

徐雷指出,Nullmax研发纯视觉方案,是希望将来即使是低价位的车型,也能够拥有城市智驾的能力。他表示:“我们希望这套纯视觉系统能够具备这种能力,视觉是must to have,但激光是nice to have。所以,我觉得增加算力也好,增加传感器也好,都是为了把车开的更好。我们的方案靠视觉就能开,但我们并没有排斥它们。

此外,为支持Nullmax Intelligence模型壮大和应用拓展,Nullmax还构建了数据平台和算法平台。在真实数据基础上,Nullmax通过AIGC方式生成虚拟数据,加速模型开发与迭代,尤其是稀缺的高价值数据。目前,Nullmax已经实现了生成元素、图片及视频。

通过对多模态输入Token化、多模态模型推理和自动驾驶功能集成这三个环节进行抽象,以及自研中间件MaxOS的平台调度,Nullmax的算法平台可以支持多种车型,适配不同数量传感器,且易于部署。

徐雷表示:“我们希望能打造一个AI的大脑,可以用到不同形态的物理的机器人。我们认为无论是Nullmax intelligence还是基石架构,都是是完全为具身智能服务的。”


如何面对未来的挑战

徐雷本科毕业于中国科学技术大学计算机科学专业,后在美国纽约州立大学法罗分校获得计算机科学博士学位。

毕业后,徐雷高通工作了3年,后加盟特斯拉,成为特斯拉Autopilot团队核心成员。在特斯拉期间,徐雷从零开始领导搭建Tesla Vision深度学习网络,并用其成功取代了第一代产品中Mobileye的视觉系统,后来Model X搭载的方案,就是徐雷领导研发的。

2016年,徐雷离开特斯拉,与同事特斯拉供应链及产品高级经理宋新雨,在硅谷联合成立了Nullmax,是国内最早获得加州自动驾驶路测牌照的公司之一。

自成立以来,Nullmax坚持以渐进式路线打造无人驾驶。在此过程中,Nullmax先后推出和落地了包括行泊一体在内的高中低配置智驾方案。

徐雷在接受采访时表示,他认为,行业利用不同算力规模的芯片,形成了各种各样的方案,但还没有一家做出能够适配不同芯片,覆盖2TOPS-2000TOPS算力区间的方案。


Nullmax预见,首先,智驾系统肯定会去适配不同的芯片,需要基于功能和性能,选择什么样的芯片方案;其次,不同的方案应对的客户也是不一样的;第三,要回收共用所有数据,让所有数据回来,才能让这套系统变强。

因此,在公司成立的时候,Nullmax就做了一套MaxOS中间件系统,其将多模态输入token化,解耦软件算法、域控和芯片,尽可能地抽象软件层,支持不同算力平台,适配任意传感器,以及不同芯片的域控配置。

目前,Nullmax的商业化落地主要依托1个平台和3个产品方案。1个平台,即中间件平台MaxOS产品方案根据算力需求和实现能力,可分为以下三种:1V2T,一个摄像头,加上一颗德州仪器的2TOPS算力芯片,实现基础的L2辅助驾驶5V/6V8T,5/6个摄像头,利用8TOPS算力,实现高速NOA和记忆泊车,且泊车过程可检测障碍物11V,11个摄像头实现L2+,包括高速NOA和自主代客泊车。

这些高灵活度和高性价比的方案,已为Nullmax赢得了多家知名合作伙伴,包括奇瑞、上汽、长城、比亚迪和福特等主机厂,以及大陆、法雷奥、安波福、经纬恒润和德赛西威等Tier1。

徐雷透露,Nullmax未来的规划主要包含两个方面:一是扩展应用范围,目标将解决方案应用于更广泛的车型中,涵盖不同的芯片平台、计算能力和合作伙伴,以促进技术的普及和多样性;二是提升智驾功能,开发更高阶的智能驾驶功能,提升单车价值并提高Nullmax在市场中的份额。在传统的ADAS方面Nullmax争取在未来两年左右做到现金流为正。

针对特斯拉FSD即将入华的消息,作为曾经的特斯拉智驾团队核心成员徐雷表示非常欢迎:“首先,从市场化角度来说中国是一个很大的市场,不管是合资品牌,包括像特斯拉,都会来中国参与中国本土的竞争,Nullmax肯定不会排斥这种竞争。

其次,从消费者的角度来说,一个好的东西或者一个新的东西进来,对于消费者来说就是多一个选择第三我觉得一个高水平的球员肯定要在高水平的联赛中才能培养出来,只有高水平的比赛才能有高水平的球员

所以只有我们把更多的高水平的方案引进来,才能让这个行业变得更强,这是个毋庸置疑事情。其实行业的发展速度取决于它的竞争的激烈程度。