从云端到车端：仙途智能先知大模型赋能无人驾驶安全进化
近日，中科院旗下互联网周刊联合社科院信息化研究中心等发出了中国生成式人工智能服务TOP100，仙途智能先知大模型位列其中，与腾讯元宝、字节豆包、阿里千问等一同代表了国内领先的大模型。
随着自动驾驶技术的不断演进，无人驾驶实时决策能力与安全保障机制已成为衡量技术成熟度的核心标准。在核心技术深研上，仙途智能实现重要跃迁，通过车端化部署先知大模型，为自动驾驶系统赋予更强的实时响应能力与更高的安全冗余。
本文将深入解析先知大模型核心技术架构，探讨如何赋能车端实现高效决策与全方位安全监督，并结合实际部署场景，展现无人驾驶车在真实运营环境中的应用表现。
传统云端部署依赖强大的算力资源，需将传感器数据上传至云端处理并回传指令，这一模式对网络环境高度敏感，弱网或断网场景下易导致决策延迟甚至误判，无人驾驶车安全与作业稳定性难以保证。针对这一问题，仙途智能先知大模型通过多阶段训练与系统化优化流程，实现了大模型技术从云端到车端的技术演进，实现了自动驾驶智能化水平的关键突破。
先知大模型通过“本地生成-本地处理-本地决策”的闭环链路，直接将传感器数据输入送入模型，推理结果即时用于轨迹规划与车辆控制，从而彻底摆脱对外部网络的依赖，使自动驾驶系统能够以更快的速度应对突发状况。此外，车辆行驶轨迹、实时环境感知数据等敏感信息均在车载终端完成处理，有效规避了数据跨网络传输带来的泄露风险，构筑起坚实的数据安全防护壁垒。
aspcms.cn
图1：车端部署先知大模型技术架构
在技术实现路径上，仙途智能以业界领先的开源视觉语言大模型作为基础架构，融合海量开源自动驾驶数据进行专业化训练构建起具备复杂场景理解能力的视觉大模型体系。在此基础上，进一步引入仙途智能8年累积的无人驾驶车运营数据，通过精细标注与深度训练，使得先知大模型具备实战作战能力。这一过程实质上是让AI“阅读”学习数百万公里的真实道路场景，真正实现从“数据驱动”到“自主进化”的人工智能赋能自动驾驶。
在模型优化阶段，仙途智能在部署过程中克服了诸多工程难题，例如，通过采用知识蒸馏技术将原始70B参数的大模型“精华”提取至更为轻量的8B/2B版本，同时借助AWQ（Activation-aware Weight Quantization）量化技术实现了模型体积的进一步压缩，在保持推理精度的前提下显著降低计算资源需求。
此外，为适应车载环境的严苛限制，对交互指令（prompt）进行结构化简化，减少输入和输出指令的复杂度。而针对车载版本稳定性要求，在Jetson和Drive多个稳定版本环境上部署了支持Flash Attention与KV Cache的高效推理框架，提升了推理效率——这些技术优化使得模型能够在Jetson Orin和 DriveOS Orin等车载计算平台上流畅运行，为自动驾驶系统提供实时、精准的场景理解与决策支持。
在自动驾驶安全体系中，辅助决策与安全监督正成为技术演进的关键方向。仙途智能先知大模型初版模型以闭集场景理解为核心，通过1vN远程运营架构辅助安全员识别已知风险并触发接管指令，从而大幅提升远程干预效率。然而现实道路环境复杂多变，在实际运营中仍面临长尾场景不可预知及安全员接管延迟等挑战，因此车端模型需直接参与决策，实时辅助无人驾驶车辆完成安全驾驶决策。
图2：先知大模型冗余安全机制
基于此需求迭代，先知大模型构建了一套独立于传统自动驾驶模块化链路系统的冗余安全机制，专门对规划决策进行实时异常监督。通过历史积累的实际运营数据以及公开的事故数据，技术团队系统性地合成了各类反事实决策场景数据库，包括各种潜在的碰撞风险、车辆误入非道路区域以及违反交通规则的情形。这种合成方法解决了现实驾驶中危险场景罕见导致的数据稀缺问题，为模型提供了丰富的训练素材。模型通过“合成→判定→校验→训练”形成闭环迭代：首先对合成轨迹进行安全性预判，再由专家团队标注验证，最终将验证后的数据集重新纳入训练集。
图3：轨迹聚类
图4：轨迹投影（发生碰撞场景）
图5：轨迹投影（无人驾驶车上路沿场景）
例如，在现实场景中无人驾驶车上路沿、闯红灯、发生碰撞等高风险场景很少出现，场景挖掘的结果难以覆盖模型训练和测试的需求。先知大模型首先对实际的较长的规划轨迹进行聚类，并投影，合成各类反事实决策场景。
以实际场景为例，在无人驾驶车运行过程中，面临突然出现小狗，或者碰撞路沿的潜在风险（如图6、图7），先知大模型会对这些决策轨迹进行兜底判定，确保决策的安全性与合理性。
图6：碰撞风险
图7：不可行驶区域
通过一系列技术突破，先知大模型的能力边界实现了质的飞跃：从传统的闭集任务（如环境感知、车辆识别和场景理解）扩展到更为复杂的开集问题领域，包括对自车决策轨迹的全面分析能力；精确识别与预测多种复杂情境下的安全隐患：动态预测障碍物碰撞风险、监测车辆是否进入施工区或对向车道等不可行驶区域、评估驾驶行为是否符合各类明文和潜规则的交通法规。通过这种全方位的安全监督，先知大模型成为自动驾驶系统的智能守护者，为实现安全可靠的自动驾驶提供了强有力的技术支撑。
在自动驾驶这场关乎未来出行的技术竞速中，技术成熟度与安全性已然成为决定行业格局的关键赛道。仙途智能将始终以安全为基石，进一步提升先知大模型对复杂场景的理解和预测能力，构建起更具前瞻性的安全决策体系，推动行业迈向安全、高效、智能的新纪元。
