科大讯飞：以大模型赋能智能汽车

曾几何时，没有人知道通用人工智能何时到来，就像三体人不知道太阳会在何时升起。但如今，随着大模型时代的到来，理想逐渐照进了现实。

10月24日，在第六届世界声博会暨2023科大讯飞全球1024开发者节现场，科大讯飞正式发布星火大模型V3.0。

让整个汽车界更为关注的是，在同期举办的2023科大讯飞智能汽车新品发布会上，科大讯飞正式发布了基于讯飞星火V3.0的智驾、音效、座舱三大方向的升级产品。

讯飞星火+智驾：破解智能驾驶三大难题

大模型的理解、推理、表达和多模态知识学习等能力给自动驾驶带来了更多新的技术思路，基于讯飞星火认知大模型，科大讯飞带来了两款高性价比的行泊一体智驾解决方案——智驾STD和智驾PRO，配备增强型高速NOA（HNOA）、记忆行车和记忆泊车等功能，让汽车驾驶更安全，更智能，更有乐趣。

科大讯飞行泊一体智驾解决方案通过强大的AI算法研发能力、高效完整的数据闭环云平台、深厚的工程技术能力，打造车云一体的智驾研发体系。大模型利用海量数据以及驾驶领域知识的强化，可以用于自动驾驶场景数据以及驾驶策略的生成，并支持以交互的方式增强对基础驾驶模型的理解。科大讯飞自研了从深度学习训练到模型调优量化、模型推理部署的全栈工具链，并打造了智驾应用开发框架和中间件，确保系统稳定，支撑跨平台算法快速移植。自研4D重建与自动标注系统有效提升了标注的效率和质量。

据科大讯飞智能汽车副总经理李卫兵介绍，星火大模型将从技术架构层面赋能BEV+transformer智驾感知大模型的研发，解决智能驾驶当前存在的感知不精准、决策不智能、长尾不收敛三大技术难题。通过统一的BEV+Transformer网络，可以实现多模态、多任务、长时序4D感知。基于机器学习的超声波感知算法应用，有效提升感知准确性和泛化性。结合星火座舱强大的人车交互能力，将舱驾信息进行深度融合，加强人车交互性能、提升用户体验，同时用户可以自由下达车控和智驾相关指令，行泊流程自如可控，让辅助驾驶更智能、更安心。

讯飞星火+iFlySound Plus24ch：智享动听

作为驾驶场景下最安全和高效的交互方式，听觉感官在车内备受关注，用户对汽车场景下的听感品质要求逐渐提高，对高级别车载音响系统的需求也在持续增长。

本次发布会现场，科大讯飞发布了最新的iFlySound Plus24ch功放硬件平台，将基于应用场景的交互、听感、内容、显示与车控深度融合，让车载音效体验从单维向多维、从单场景向多场景演进，重新构建汽车声音链条，形成整车智能化声音交互闭环，用智能化升维汽车座舱声音体验。

科大讯飞苏州研究院常务副院长、智能汽车事业部副总经理支洪平介绍，在硬件层面，iFlySound Plus24ch功放硬件平台使用高性能浮点DPS，拥有最高2GHZ*2的高速音频处理加速器和128通道数字音频处理能力，可以获得高达 24bit 96kHz 的HD Audio支持，并且兼容未来E-E架构，拥有超强的硬件扩展能力和音频推动能力，性能超越当前市面上大部分主流硬件设施。同时，科大讯飞还在保证性能的前提下有效降低了硬件的尺寸和重量，实现“小型化轻量化”。

在软件算法层面，科大讯飞核心技术自主研发，当前已具备3D环绕、声场分区、ICC、响度补偿、主动降噪、虚拟音效、多音区交互、高拟真主动声浪、车内交流场、低品质音源修复、场景增益控制、声场分区、车载K歌和大模型音效等多个全自研的高阶音效算法，并推出基于持续丰富的声音库、声浪库、音效库、功能库的订阅模式。

在调音层面，基于大模型声学理论体系实现人机耦合，端云协同AI调音，与车企共同打造AI之音，基于iFlyDSP GUI工具，无需代码更改，可以快速完成定制需求，全自研MCU基础软件架构使得跨平台代码复用度超70%，灵活的软硬一体平台配置可以积极适配不同定位和级别的车型。

当前，科大讯飞车载音效产品已获得国内13家主流车企平台化项目定点，合作车型超过30款。

讯飞星火+座舱：赋能人车交互体验跃升

讯飞星火V3.0将赋能智能座舱全面升级，面向多样化的汽车使用场景，科大讯飞推出星火座舱OS、星火汽车APP和星火座舱域控，支持实时检索，可以实现插件化调度，并集成了多模态生成的能力，为合作伙伴提供自主可控、组件化、更开放的座舱解决方案。

据科大讯飞智能汽车事业部副总裁和卫民介绍，星火座舱OS包括星火汽车助理和星火场景应用两大部分，将语音与视觉模态深度融合，让识别更精准，语音合成MOS＞4.6，大模型业务贯穿支持十轮以上的上下文语义继承，新增的实时检索能力打破大模型认知边界，时新信息即时查询，为用户带来更自由、更智能、更自然的人车交互体验。

借力大模型赋能，星火座舱OS打造了多个沉浸式的使用场景，并支持自定义，一句话生成复杂场景，触达200+车控动作。星火汽车APP围绕用车场景打造的多样化大模型车端应用，如用车顾问、儿童故事、口语陪练、心灵SPA、旅行伙伴等等，将大模型能力托身于众多实用小场景，为用户带来可感知的、能用好用的AI超能力。

星火座舱域控是智能化AI新底座，拥有丰富成熟的接口能力，面向行业输出兼容核心AI算法的“核心板”，基于全栈的座舱AI算法和结合芯片的异构算法优势实现芯算融合，SOC算力消耗降低10%，并与国内厂商深度合作，大幅度提升国产平台的渲染效果。星火座舱域控旨在以更少的资源、更短的开发周期实现差异化产品创新。

此外，科大讯飞在生态方面也保持着的巨大优势，除了基于讯飞自研的儿童教育、K12教育、音娱资源、听见会议以及讯飞翻译五大自建生态资源外，讯飞星火大模型赋能的智能座舱已经与支付宝、咪咕、腾讯音乐、喜马拉雅、高德、火山引擎、雷石、能链、喜泊客等九家企业开展了深度生态合作，积极建立车主全旅程运营服务链条，满足车主多元化需求，提供高效、便捷的车载场景体验，此外，科大讯飞智能座舱还与百余家企业生态积极合作，力求以丰富全面的软件生态赋能智能座舱，助力中国汽车产业智能化的发展。

科大讯飞副总裁、智能汽车事业部总经理刘俊峰表示：“我们已经累计为5000万辆车提供智能化选择。”由此可见，科大讯飞早已经成为汽车整车企业在智能化领域的可靠伙伴，而在进入本轮汽车革命智能化的下半场之后，大模型“上车”正在重新定义人机交互与相关服务生态，这无疑给了科大讯飞更广阔的发挥空间。

继5月6日正式发布以来，讯飞星火已在汽车领域取得了丰富的成果，当前，讯飞星火已与包括奇瑞、广汽、长城、长安在内的几十家车企和合作伙伴强强联手，构建汽车AI星火生态。后续，科大讯飞将继续落实大模型在汽车领域的深度运用，与广大合作伙伴共同推动中国汽车产业智能化的颠覆式革新。