全部车市号

绝影实力AI DAY:首发AI汽车领域创新力作,「开悟」模型行业领先

超级充电站

34104 2024-12-03

11月27日,2024「绝影实力AI DAY」成功举办,商汤绝影全面展示了「驾-舱-云」三位一体的通用人工智能(AGI)产品体系与战略布局,发布了智能座舱交互革新、端到端智能驾驶等前沿领域的创新成就。

在本届「绝影实力AI DAY」上,商汤绝影行业首发智能座舱大模型创新产品「A New Member For U」(你的家庭新成员),让汽车拥有「有趣的灵魂」。面向智能驾驶,商汤绝影构建了「车云一体」的产品矩阵,发布涵盖高速、城区以及泊车等全场景的高阶智驾、端到端智驾等绝影量产智驾产品体系,同时升级「开悟」世界模型,以此打造数据基础设施。

商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚表示:「我们已经站在AGI时代的门口。作为加速智能汽车驶入AGI时代的战略合作伙伴,商汤绝影将牢牢把握住新一轮智能汽车变革的时间窗口,与车企伙伴进行全方位深度合作,共享大算力与大模型,共建数据基础设施,共同打造智能汽车大模型创新应用,才能携手共赢,领航未来。」

A New Member For U,绝影让智能汽车拥有「有趣的灵魂」

大模型上车伊始,它们主要扮演着工具的角色,为用户提供基础的对话、信息查询和问题解答服务。随着技术的不断进步,具备逻辑思考和通用任务处理能力的AI Agent出现了,能够根据用户的指令,完成复杂的连续性任务,成为能干的助理。不过,这类车机都只是听话和服从的「被动智能」。

在2024「绝影实力AI DAY」上,商汤绝影用AI实力重新定义座舱,不只是赋予汽车以智能,更赋予智能以温度。未来,它不再只是冰冷的工具或者机械式的助理,而是「A New Member For U」,成为与你的「家庭新成员」。

这位「家庭新成员」能够感知和理解用户需求,提供有温度、有情感的主动关怀。如果在驾驶旅途中,它注意到坐在后排的小孩睡着了,就会主动把空调温度升高、音乐的声量调低,底盘和驾驶模式都调整为舒适模式。

New Member「新成员」能够察言观色,离不开商汤绝影的原生流式多模态大模型。在OpenCompass多模态评测榜单中,绝影多模态大模型的理解和推理能力排名第一,以此为基础,「家庭新成员」能全面感知用户的语音、表情、手势、以及环境数据,并进行深度理解和推理思考,具备理解世界、理解人类的能力。

如果要让汽车与用户心有灵犀,它还必须有拥有「记忆」,因为记忆是人类认知的核心,也是情感联结的基础。为此,商汤绝影打造了国内首个「车载类人记忆框架」,让系统实现类人的记忆能力。

商汤绝影的记忆框架与人类的记忆机制非常相似。它有临时记忆,能记得一些瞬时信息,比如车里的物品、人的搭配、有没有系安全带等;也有长期记忆,就像是一个“档案库”,存储用户的基本信息、行为模式和偏好等,它可以自我迭代,能从用户长期使用中总结规律并不断优化。

合格的「家庭新成员」还要时刻准备为你服务,绝影打造了能够持续推理的Always-on运行框架,将多模态感知到的信息与各种记忆相结合,依托端云协同架构,数据延迟控制在1毫秒以下,首包延时最快只需60毫秒,推理速度达40 Tokens/秒,对数据进行高效处理和反馈,时刻感知需求,主动服务。

在追求智能和情感化的同时,商汤绝影将用户隐私与安全放在首位,通过全方位的隐私保护与数据安全体系,可以确保系统在安全合规的前提下提供体验。

端到端量产在即,「开悟」全新升级,绝影构建「车云一体」智驾新范式

今年年初,城区无图NOA是智能驾驶领域的核心话题。之后,端到端智驾技术为行业带来了范式革新,逐渐取代模块化的规则,成为智驾技术的进化方向。从北京车展开始,商汤绝影等多家公司陆续发布端到端智驾方案,智驾正在迈向端到端时代。

在本届「绝影实力AI DAY」上,商汤绝影展示了基于J6E、J6M、Orin等不同算力平台打造的全场景高阶智驾、端到端智驾等绝影量产智驾产品体系。商汤绝影的智驾量产交付也在稳步推进,基于J6平台的智驾方案预计2025年第二季度将量产交付,而量产端到端智驾方案则预计会在明年年底量产落地。

在推进量产的同时,行业也发现,研发范式从规则驱动转变为数据驱动,端到端智驾模型对于高质量数据的需求呈指数级的增长。

然而,受限于高阶智驾的量产规模、算力资源,目前大多数车企和智驾公司都面临相同的问题,即高质量驾驶数据的获取难度大、效率低、成本高。

商汤绝影探索出一条新的道路,通过实车采集和仿真生成「双轮驱动」的数据闭环,构建量产智驾产品体系和世界模型深度融合的「车云一体」智驾新范式。

在2024「绝影实力AI DAY」上,王晓刚表示:「智驾高端局的竞争不止是车端模型的比拼,端到端的决战,战场在云端。」为此,商汤绝影升级并发布「开悟」世界模型。

世界模型最基础也是最核心的能力是生成高质量视频数据,高质量数据的关键在于「真实」。现场展示的「开悟」生成视频案例中,晴朗天气下,汽车、路灯都是有影子的,右转车辆会主动让行优先级更高的直行车辆

在真实的基础上,「开悟」生成的场景视频,时间最长为150秒、分辨率可达1080P、视角可以实现11V,是行业首个同时完成上述指标的智驾世界模型。

根据公开数据,「开悟」生成效果的各项指标开源均达SOTA,优于包括GAIA-1、DriveDreamer在内的国内外主流世界模型。此外,从2023年开始,在全球知名的自动驾驶仿真模拟任务竞赛Waymo Sim Agents的比拼中,「开悟」连续两年获得第一名。

更重要的是,通过多模态大模型,「开悟」世界模型可以支持多样化的自动驾驶场景及Corner case的可控生成。目前商汤绝影基于1024类场景,能够泛化出更多的平行世界,打造了千万级的生成场景库,预计2025年对行业开放。

以绝影量产智驾方案和「开悟」世界模型为核心,实车采集的真实数据和云端生成的仿真数据在「车云一体」的新范式下进行闭环流转,使得端到端智驾系统的训练更加全面,缩短了研发周期,降低了成本,让用户能够更快享受到智能驾驶带来的便捷与安全。

携手奇瑞大卓、东风汽车开展深度战略合作,打造共生共创共享合作新模式

商汤绝影的智驾方案已量产交付广汽埃安、一汽红旗等3家车企6款车型。此外座舱AI大模型产品已上车小米SU7、智己、LEVC L380等车型。

值得关注的是,商汤绝影面向海外市场升级了座舱视觉AI产品矩阵,助力极氪X的DMS系统斩获ENCAP历史最高分,并在「绝影实力AI DAY」首发ENCAP2026 OOP离位检测、身材检测功能。

如今,商汤绝影已与超30家国内外车企达成合作,覆盖100余款车型,预计至2024年底,量产交付累计将突破350万辆。

如今,智能汽车站在潜力无限的新起点上,商汤绝影正全力推动最前沿的AI技术与智能汽车产业的深度融合。

目前,商汤绝影已和大卓智能、东风汽车等合作伙伴签订战略合作协议,在高阶智驾量产、端到端量产、AI云服务、AI大模型等领域开展深度合作,加速自动驾驶的落地与进化。

商汤绝影愿意和车企合作伙伴共享算力丰沛的商汤大装置,行业领先的20,000 P算力将为合作伙伴提供强有力的基础设施保障;同时,绝影将开放性能全面的基础大模型能力,提升车企的AI实力。

在共享大算力和大模型的基础上,双方能够加速研发体系的对齐,共同建设以高效率世界模型和全流程数据闭环为核心的数据基础设施。未来,数据的数量、质量和利用率等都不再是问题和阻碍,在智能汽车与云端平台之间流动的数据,将成为加速大模型上车的高效燃料。

在基础设施、大模型能力和全栈数据闭环进行深度合作之后,双方才能进一步挖掘出AGI在智能驾驶和智能座舱领域的潜力,共同创造全新的智慧出行体验。

声明:本文由车市号作者撰写,仅代表个人观点,不代表网上车市。文中部分图片来源网络,感谢原作者。

发表评论

请您注册或者登录车市社区账号即可发表回复

全部评论(0)

竟然没评论,快去评论~~