AI大模型赋能商用车驾驶安全的重要技术手段 - 厂商要闻 - 智慧交通网 ITS114.COM|领先的智能交通门户网站
  • AI大模型赋能商用车驾驶安全的重要技术手段

    2024-04-07 15:20:51 来源:锐明技术 评论:
    分享到:

    人员与货物的顺畅流通是现代交通与国民经济的命脉,无疑在当今经济体系中,人员和货物的快速流动是推动发展的关键因素,商用车辆作为这一流通体系的核心,其重要性不言而喻。与此同时,这些车辆在道路上的密集运行也带来了不可忽视的安全挑战,安全事故的发生率令人关注。

    用科技加管理的方式攻破风险的壁垒已经形成行业共识。目前行业的普遍做法是安装 AI 防疲劳仪和防碰撞仪来帮助司机实时预警驾驶风险,通过分析处置平台上聚集的风险事件来管理司机;但随着管理车辆的规模增大、各种异常驾驶行为的报警数量如泉水般涌现,如何在巨量报警信息中找到真正的风险及了解背后真正的根因,并有效地降低事故就成为了行业难题。

    我们经过几年研发投入的大模型技术,为驾驶安全行业带来了前所未有的创新和变革。大模型不仅在语言处理、图像识别等领域取得了显著成就,也在驾驶安全领域展现出了巨大的潜力和价值。大模型技术通过对海量驾驶数据的学习和分析,为提升驾驶安全性能提供了新的思路和方法。

    大模型技术能够准确识别道路上的交通标志、车辆和行人,实时监测驾驶环境的变化,能为驾驶员提供更全面、更及时的信息。大模型在驾驶行为分析和预测方面也展现出卓越的潜力。通过对大模型技术的有效应用,大幅度提升真正有潜在风险行为的识别能力并预警,有效降低非潜在风险行为的报警数量,减少对驾驶员的干扰,从而在根本上提升了驾驶的安全性。本文以深圳市锐明技术股份有限公司(以下简称锐明技术)为例探讨大模型应用范例,分析了大模型技术产品赋能商用车驾驶安全的优势作用。

    一、大模型对实时风险的识别

    640.webp (14).jpg

    数据量与模型效果的关系

    在驾驶安全领域,大模型的应用为实时风险的识别提供了卓越的技术支持。通过对环境感知、司机状态分析和司机行为预测的深入研究,大模型技术在提高驾驶安全性方面发挥着不可替代的作用。

    通过对已经预训练的大模型精心微调,大模型可以达到以更少样本做到更长时序的行为理解以及更智能的环境语义理解。模型准确率与数据量的关系如图所示,基于大模型强大的 NLP 语义表征能力,在很多场景可以以更少的数据微调一个更好的模型。

    1. 精准的环境感知

    大模型之所以能在环境感知方面取得更好的效果,主要归功于其深度学习算法和对大规模数据的学习能力,以及整个互联网的海量数据支撑和高性能显卡的算力突破。

    (1)深度学习算法

    大模型采用深度学习算法,这种算法通过多层次的神经网络模拟人脑的工作原理,能够更好地理解和分析复杂的数据结构。在环境感知中,深度学习算法可以通过对大量图像、视频和传感器数据的学习,从中提取抽象的特征,使得模型能够更准确地识别道路、交通标志、障碍物等环境元素。

    (2)特征提取和表示学习

    大模型通过层层的神经网络进行特征提取和表示学习,能够自动学习和发现环境中的抽象特征。这使得大模型能够捕捉到驾驶环境中的重要信息。例如道路的几何结构、交通标志的形状、其他车辆的运动模式等。通过这种方式,大模型能够更细致地理解和解释驾驶环境,为实时风险的识别提供更为精准的基础。

    (3)大规模数据的学习

    基于 transformer 结构的大模型网络具备处理大规模数据的能力,这是实现优秀环境感知的关键。通过在训练阶段使用丰富而多样的驾驶数据,大模型能够更全面地理解各种驾驶情境,包括不同天气条件、道路状况和交通流量。这种大规模数据的学习使得大模型更具通用性,能够适应各种复杂的驾驶环境,从而提高环境感知的鲁棒性和准确性。

    (4)持续学习能力

    大模型具有持续学习的能力,可以在运行时不断地根据新的数据进行更新和优化。这意味着随着

    时间的推移,大模型可以适应不断变化的驾驶环境和交通条件,保持对最新信息的敏感性。这种持续学习的特性使得大模型能够更好地适应复杂和动态的道路情景,提高环境感知的实时性和可靠性。

    2. 更好的司机状态分析

    依托强大的大模型大规模数据学习能力,我们可以融合更多传感器信息、更长时序上下文信息、数据驱动的个性化分析等,确保大模型有更好地司机状态分析能力。

    (1)多源信息的综合处理

    大模型能够综合处理多源信息,包括生理传感器数据、摄像头捕捉到的图像以及其他传感器的信息。通过综合考虑多个方面的数据,大模型可以更全面地了解司机的状态。例如结合心率变化、眼睛运动和车辆姿态等信息,大模型可以更准确地判断司机是否疲劳、分心或情绪波动,从而提高对司机状态的分析精度。

    (2)更长的上下文感知

    大模型在司机状态分析中能够考虑上下文信息。如交通情况、路况、时间等因素。通过将司机状态与环境信息结合起来分析,大模型能够更准确地理解司机状态的原因和影响。这种上下文感知使得大模型能够更全面地评估驾驶者的状态,并提供更为精准的预警和建议。

    (3)数据驱动的个性化学习

    大模型能够根据不同驾驶者的个性化差异进行数据分析。通过对每位驾驶者的独特行为和生理数据进行学习,大模型可以建立个性化的模型,更好地适应不同个体的司机状态差异。这种个性化分析为提供个性化的驾驶辅助和警示系统奠定了基础。

    3. 更准的司机行为预测

    大模型能够更准确、更全面地预测驾驶者可能采取的行为。这种行为预测的目的在于提高驾驶安全性、智能辅助和交通流畅度,为驾驶者和其他道路使用者提供更为安全的驾乘体验,提升整体驾驶安全性和效率。

    (1)长时序依赖性建模

    大模型通过深度学习网络建模长时序依赖性能够捕捉到驾驶者行为的演变过程。这意味着大模型能够识别和理解驾驶者在不同时间段内的行为模式,更好地预测未来可能发生的行为。通过考虑长时序依赖性,大模型能够更精确地预测驾驶者可能的操控行为,提高了预测的时效性和准确性。

    (2)异常行为检测

    大模型通过对驾驶者行为的深度学习,能够精准地检测和识别异常行为。这些异常行为包括急刹车、急加速、频繁变道等驾驶过程中的非正常行为。通过及时发现异常行为,大模型可以预测潜在的危险情况,为驾驶者提供实时的预警和建议。这种异常行为检测机制使得大模型在提高驾驶者行为预测的同时,更有效地降低交通事故的风险。

    (3)驾驶场景建模

    大模型通过深度学习算法对不同驾驶场景进行建模,能够更为细致地理解驾驶者在不同环境中的行为。这包括对高速公路、城市道路、交叉口等场景的深入分析,使得模型能够更好地捕捉驾驶者在特定场景下的行为特征。通过对驾驶场景的建模,大模型能够更准确地预测驾驶者在不同路况和交通状况下可能采取的行为,提高了对多样化驾驶情境的适应性。

    (4)驾驶者意图推测

    大模型在司机行为预测中通过深度学习对驾驶者的意图进行推测。通过分析驾驶者的行为模式、车辆位置变化等信息,大模型能够猜测驾驶者的操控意图。例如预测转弯、变道或停车等行为,这种意图推测能力使得大模型能够更智能地预测驾驶者未来的动作,从而提高驾驶辅助系统的响应速度和准确性。

    二、大模型对司机培训的助力

    大模型通过深度学习算法学习并模拟各种交通场景,使驾驶员能够在虚拟环境中体验多种复杂驾驶情境,提高其驾驶技能的适应性和应对能力。同时基于驾驶员个体差异,大模型能够定制培训计划,关注每个学员的弱项,提供有针对性的训练内容,促使其更快速地提升驾驶技能水平。通过实时监测学员的驾驶行为,大模型能够提供即时反馈和建议,帮助学员理解并纠正不良驾驶行为,从而加速学习曲线。这种个性化、实时的培训方式为提高学员的驾驶技能、培养安全驾驶习惯提供了更为高效的途径。

    01模拟驾驶训练

    大模型在模拟复杂场景方面发挥了关键作用,通过深度学习和先进的仿真技术,可以创建高度真实的虚拟环境,通过模拟不同交通场景、复杂道路条件和紧急状况,提高实际驾驶经验。这种虚拟训练能够帮助驾驶员更好地适应各种驾驶情境,提高应对复杂交通环境的能力。

    02个性化培训

    建立司机个性化培训方案时,需要综合考虑司机的行为习惯和性格特征,以确保培训内容更贴近司机的个体需求。大模型可以根据每位驾驶学员的表现和学习进度,端到端的定制个性化的培训计划。而不是通过司机固定行为生成培训方案。

    基于个性化培训方案,有效改变过去说教式培训方法。由于培训内容更为个性化、有趣,司机更容易产生对培训的兴趣和参与的动力。这种积极的参与有助于提高学习效果,使培训更具吸引力,通过寓教于乐的方式让司机快乐提升。

    03培训数据的扩充

    依托于大模型的换脸技术可有效解决司机培训中特定场景素材匮乏的问题。例如针对某司机虽然存在不良的驾驶习惯,但传统培训方式难以产生预期效果,其依然保持我行我素的行为。通过运用换脸技术,我们可以将该司机的人脸嵌入危险驾驶行为对应的视频中,展示与他自身相关的潜在事故风险,以唤起他改正不良行为的内在驱动力,从而在潜移默化中达到改善驾驶行为的目标。这种个性化、引导性的培训方法有望更有效地促使司机意识到潜在风险,并激发他们改善驾驶行为的积极性。

    三、结语

    通过大模型技术在驾驶安全领域的应用,我们不仅能够模拟复杂的驾驶场景,提供个性化的培训方案,还能深度分析驾驶者的行为习惯和性格特征,从而全面提升驾驶者的驾驶技能和安全意识。

    大模型的实时风险识别能力使驾驶者能够在虚拟环境中面对各种复杂、多变的路况,有效增强其应对紧急情况的能力。通过模拟复杂场景,驾驶者能够在安全的虚拟空间中进行实战演练提高驾驶技能的适应性。同时个性化培训方案的制定则更加贴近驾驶者的实际需求,帮助其纠正不良的驾驶行为,形成更安全、规范的驾驶习惯。

    这一系列的创新应用不仅提高了驾驶者的整体驾驶素养,也为安全管理效能的提升提供了有力支持。通过大模型的数据分析和个性化培训,驾驶者的行为习惯得到更精准的识别和引导,为安全管理决策提供了更为科学和全面的数据支持。这种精细化管理不仅有助于降低交通事故的风险,也为道路安全管理提供了更有效的工具和手段。

    锐明基于大模型技术打造了领先的行业安全大模型——SafeGPT,助力交通安全与财产保全双管齐下达成 Vision Zero。SafeGPT 已经有多个试点开展验证,事实证明 SafeGPT 改变了过去把人当机器来管理的旧模式,而是让机器去适应人,真正做到该提醒的时候提醒,不该提醒的时候绝不乱报。

    综合而言,锐明技术的大模型技术在驾驶安全领域的应用,不仅拓宽了安全管理的技术边界,更为构建更加智能、高效的交通管理系统提供了强有力的支持。公司将通过持续不断的研发创新,继续提升驾驶安全领域的智能化解决方案,为驾驶安全注入强大动力,推动我们为社会构筑更加安全、更加智能、更加高效的道路环境,全方位保障驾驶员、行人、货物的安全。

    本文内容已在《中国安防》杂志刊登

  • 关键字: AI 商用车
  •    责任编辑:不现
  • 每周新闻精选