没被数据虐哭过,不足以谈自动驾驶

  自动驾驶量产时代正在到来。

  我国量产汽车的自动驾驶等级正在从 L2 级(组合驾驶辅助)向 L3 级(有条件自动驾驶)迈进,L4 级自动驾驶技术也在研发及测试中。

  以智能网联汽车产业“优等生”上海为例,今年 9 月发布的《上海市加快智能网联汽车创新发展实施方案》中提出,到 2025 年上海 L2 和 L3 级汽车占新车生产比例要超过 70%,L4 及以上汽车在限定区域和特定场景要实现商业化应用。

  在自动驾驶等级划分中,每向上跃升一级,都需要跨越鸿沟,解决特定的技术挑战。

  其中,最底层最基础的挑战也最容易被忽略,那就是数据存储和数据运算。

  让人头秃的数据存储和计算

  自动驾驶是数据驱动的技术。

  在自动驾驶模型训练过程中,数据环节掉链子是最要命的,直接影响模型质量,从而影响车辆的安全性和稳定性。数据对车辆环境感知、精准定位、路径规划都有一定的影响。海量数据的高效存储与计算,直接影响着车辆对感知层、决策层、执行层等的技术架构的构建,因此,强大的存储系统支撑,和上层算力效率的支持,是自动驾驶企业普遍面临多重数据挑战:

  数据多

  自动驾驶测试车队一般拥有多辆路测车,一辆测试车每天产生的数据量可达数 TB,而且数据量还在不断增加。

  数据杂

  自动驾驶需要使用的数据非常多元。数据来源有车辆数据、位置数据、环境感知数据、应用数据、个人数据等等,数据类型涉及结构化数据和非结构化数据,数据服务类型又涵盖文件、对象等等,导致不同业务对存储接口、协议访问的需求多样化。

  计算频率高,算力压力大

  随着传感器数量和图像分辨率增加,算法模型日趋复杂,自动驾驶量产面临更大的算力挑战。业内有观点认为,L3 级自动驾驶需要 100TOPS(1TOPS 代表处理器每秒钟可进行一万亿次操作)以上的算力级别,L3+ 级所需算力已经上升到 1000TOPS 以上。

  数据安全难度大

  自动驾驶汽车数据主要包括用户隐私数据和国家地理信息数据,自动驾驶企业很难凭一己之力实现数据的分类分级、安全管控和隐私保护。

  训练效率要求高

  自动驾驶模型迭代速度直接影响企业的核心竞争力。自动驾驶原始模型开发的过程中需要调用 TB 级的图片数据集,数据读取性能及海量元数据处理能力容易成为训练瓶颈。

  自动驾驶难题怎么解决?

  面对数据存储和算力难题,自动驾驶行业需要专门定制的解决方案。而且从技术壁垒和安全的角度,最好有底层自主研发技术做支撑。这正是存储界“扛把子”曙光已经在做的。

  目前,曙光推出了为自动驾驶场景量身定制的“数据存储+智能计算”解决方案,帮助主机厂、上下游解决方案商应对数据挑战。具体来看,曙光解决方案的能力主要体现在三个方面:

  首先,自动驾驶专用“数据存储+智能计算”

  在数据存储方面,曙光解决方案兼具极致性能、灵活配置和功能丰富等优势。

  自动驾驶模型训练和大规模仿真中,车辆、道路信息等实时数据传输需要存储系统强大的吞吐性能。曙光存储事业部行业推广总监王绍祥表示:“只需一套设备支持,多种协议满足不同应用需求,在实现极致性能的同时兼具灵活性,实现多业务并发作业”。

  基于领先的 POSIX 访问协议,曙光自动驾驶数据存储解决方案单节点可提供 4GB/s+ 吞吐能力,支持大规模 ETL 端及标注客户端,可为上千个物理及容器应用节点提供高性能支持。

  在自动驾驶中,数据采集、处理、模型训练、部署等不同业务流程对存储服务的需求差异很大。曙光通过一套存储系统支持文件、对象、容器访问,打通多协议之间的数据流通,一份数据可以通过不同协议接口去访问。而且,通过灵活的配置和自动适应功能,做到以冷/热等维度对数据分层存储,实现“采、存、管、用”的数据全生命周期管理。

  在智能计算方面,曙光提供专为智能计算而生的大规模云端算力支撑,具备强劲算力的同时,为自动驾驶企业带来高性价比。

  曙光自动驾驶数据闭环方案底层算力资源打通 10 余家计算中心,汇聚海量计算资源,能够满足模型训练的大规模并发计算需求,“曙光以强劲算力加快自动驾驶模型训练进度,全面提升云车两端仿真训练效率,助力打破训练瓶颈。”曙光智算解决方案总监董小海介绍道。

  曙光智算解决方案总监董小海发表主题演讲

  同时,不同的自动驾驶企业可以灵活选择公有云、混合云(曙光算力外接或企业硬件统一纳管)、专有云(裸金属集群)等方式,通过更匹配业务需求的部署方案降本增效。

  其次,自主研发,保障安全合规,支持开放生态

  在存储领域,曙光有十余年自主研发经验,具备代码级深度定制化能力,助力自动驾驶企业将数据安全掌握在自己手中。

  自动驾驶数据安全不是单点防护,而是软硬结合的全生命周期数据安全体系。曙光解决方案支持数据权限精细化控制和算力自主调度,实现软硬件全自主全流程可控,保障数据存取安全和访问合规。

  同时,曙光自动驾驶协同方案基于兼容通用的人工智能计算架构,整体计算生态更为开放,软硬件生态丰富,便于企业快速实现移植与兼容适配。而且支持多个计算框架,目前已实现模型算子精度性能对齐及分布式计算框架优化。

  第三,定制化服务能力

  在存储领域,曙光积累了众多数百 PB 级存储系统部署及长期运维经验,已为全国数千家用户管理着数十 EB 的存储空间。

  现在,自动驾驶企业也可以直接继承曙光长达十年的运维服务经验。通过7*24 小时专业团队在线,曙光可以提供专业、定制化的服务支持,提供底层核心部件级别的深度调优,为自动驾驶量产提供了必要的后勤保障。

  当自动驾驶从 L2 级向 L3 级跃进时,更强大的数据解决方案的落地是前提。面对自动驾驶行业的数据难题,曙光通过自主研发给出了存储+计算的一站式解决方案,将助力自动驾驶加速量产进程。