腾讯云存储顶尖资深专家 温涛 应邀在6月2日由安知车辆承办的第三届安知智能电动车企业年会“ADAS与无人驾驶社区论坛”中共享自动驾驶和AIGC场景中的存储服务器，下面就让我们一起回望下温涛的演讲：

自动驾驶和数据相互关系是很密切的，自动驾驶模型是由大量数据、规模性算率和AI优化算法训练出的。可以这么说自动驾驶都是基于大量数据的基础上的。从另一个方面来讲，车辆自身也成为大量数据收集到的机器设备，因此智能驾驶前行的推动力，不仅仅是然料，也有数据。数据是自动驾驶的关键要素，数据量的积累变成完成自动驾驶的必由之路。

车辆自身所产生的数据主要来源于各种各样感应器，包含激光传感器、监控摄像头、雷达探测、超音波等... 每辆每天都会造成大概10–100TB数据，伴随着传感器提升，数据量还会稳步增长。这种数据是怎样应用的呢？我们来看一下自动驾驶实体模型训练的项目处理程序：

先通过车载传感器开展数据收集，随后上传至数据核心进行分类和变换，去除掉低价值的数据，再经标明处理之后，进入实体模型训练阶段。产生的训练实体模型，会依据路侧和仿真测试的数据进行调测，最终都会根据OTA服务项目，把训练好一点的实体模型及其地形图等相关信息，下载到每台智能驾驶中。

到底什么是GooseFS呢？GooseFS是一种运用测算侧网络资源完成数据缓存文件加快的存储服务，可用于大数据剖析、AI、HPC、高通量测序、3D渲染等几种场景，相互配合阿里云ossCOS，为用户提供降低成本高性能的存放能力。GooseFS有以下几点特性：

1、多协议支持：能够连接HDFS、FUSE和S3等几种协议书

2、适用云原生布署：能通过容器化布署，也可以和Hadoop开展集成化

3、可以用运行内存和SSD等各个性能的物质做为缓存文件物质，完成多级缓存，针对不同的缓存文件物质，GooseFS能够提供2~10倍性能提高。

下边进一步表述GooseFS的多级缓存加快能力。

面对不一样的项目场景，有着不同的数据量以及不同性能规定。以AIGC场景为例子，针对NLP和GPT场景，训练所需要的数据量通常是在10~100TB，所需要的内存空间并不大，可是IO实体模型归属于每一次字节数级读操作，对延迟要求比较高。应用GPU连接点内置运行内存的可用空间做为缓存文件的存储设备较为适宜，不需要大量的配备SSD。但对于ViT和Diffusion这种照片实体模型训练场景，数据量通常是在100T~1PB，就不建议放到运行内存里，采用当地的SSD物质能够达到更优质性价比。针对需要长时间储存的初始数据，就要放在阿里云ossCOS中做分布式锁，进而控制成本。根据多级缓存加快体制，就可以精细化满足不同不一样场景的性能规定。

由于训练场景必须载入大量文档，那就需要缓存系统适用对大量文档体量的管理方法能力。我们来看一下GooseFS在横向和纵向两条路线分别为如何做到的：

垂直方向上，就是说在跨连接点方向中，GooseFS 选用分布式系统元数据架构设计，根据分布式系统KV管理方法元数据，元数据经营规模能够根据需求横着线形拓展。竖直方向上，就是说在连接点内部结构，GooseFS运用Numa绑核绑运行内存来布署KV过程，从而使得单节点能够布署好几个分布式系统KV过程。

通过以上2个方向上技术性，GooseFS能够支持管理方法百亿元文档体量的元数据，达到单集群管理大量训练数据集的要求。

在训练场景中，怎样在大量文件信息存储审核中依然能够维持高性能，是一个瓶颈问题。规定分布式存储可以提供高性能的元数据浏览能力。GooseFS适用Master得多机高并发读，元数据服务项目由一个Leader Master和多个Follower Master组成，Follower Master承重跟Leader一样的读总流量，元数据QPS性能伴随着Master节点总数呈线形提升，从而能够给予百万级QPS的元数据浏览能力。

GooseFS还支持私有化部署，来建立IT混合云缓存文件计划方案。根据数据湖构建IT混合云大模型训练服务平台，保证一份Dataset，各地训练。根据这个方案，在数据湖中储存一份数据，能通过缓存文件的制度把数据送到一切测算有关地点去。

下面详细介绍腾讯云存储解决方法是怎样适用AIGC场景的？

从去年底到今年初，由新版本的ChatGPT公布逐渐，全世界掀起了一股AIGC讨论的话题风潮。AIGC触动了具体内容产生的改革，也点燃了诸多领域刷新式自主创新。人工智能技术忽然先从新科技研究内容，演变为渗入我们所有人生活当中商业产品。

AIGC是采用人工智能应用形成具体内容的一种手段，这其中包括了文字、声频、图象、短视频的形成，及其这几个者间的跨模态形成。我觉得AIGC的市场化落地式节奏感，大致可分为三个阶段：1、通用性场景的使用落地式2、竖直领域的应用落地式

3、技术创新综合性场景的使用落地式

通用性场景都是基于单一的文字、照片、音频视频的AI生产制造具体内容技术性，发放给设计方案、新闻媒体、游戏娱乐、在线客服等并没有过强行业类型的单位和个人，处理相对性基本的AI市场的需求。标志性的运用涵盖了ChatGPT和Midjourney。这一场景依靠的技术性相对来说完善，早已有着许多具体的市场化落地式。垂直领域是进一步把AIGC的能力和实际行业特性紧密结合，发放给强行业类型的公司，来提高技术性和服务质量，增强领域生产率。例如自动驾驶医疗保健生物基因。这种运用尚处于商业化的前根据预训练基础上的Fine Tuning环节，技术上的难题大部分可以及时解决，商业运营模式都比较确立，商业化的落地式节奏感归属于正在进行时。技术创新综合性场景对应的领域，还是比较新型的有前瞻性和试验性的场景，以机器人和元宇宙概念为首。在这些场景，AIGC仅仅核心技术一部分，还依靠硬件配置和运营模式等策略的自主创新。这种场景还处在技术实力与商业落地式探索期。

现阶段腾讯云服务AIGC存储服务器，集中在通用性场景和垂直领域这两种AIGC运用的适用。特别是在照片、音频视频和自动驾驶这种场景有了更多试着、认证和落地式。根据对工作流程和场景需求的归纳总结，AIGC的关键要素，能够归纳为具体内容形成、内容审查与内容智理三个因素。

具体内容形成包含大模型训练和逻辑推理服务平台搭建，采用了COS数据湖计划方案完成了数据的统一连接，及其数据自由化，不用数据转移，并通过GooseFS的缓存文件加快能力，明显提高了数据处理训练性能，也能够降低AIGC系统软件成本。内容审查应用数据万像CI能力，基于大数据的文字、照片、音频视频无损检测技术，融合腾讯官方深耕细作具体内容行业积淀的海量训练数据，能够高效便捷辨别出形成数据里的隐私信息，提供专业的淫秽色情、涉政、恐怖袭击、广告宣传等几种合规问题审核能力。对AIGC的输入输出阶段开展掌控，帮助企业避开经营风险。

具体内容智理重复使用了腾讯官方企业云盘的一些能力，能够对AI反应物给予权责划分、在线文档编辑、协同办公系统等集约化文档管理能力，助推终端产品用户和客户需求更强对AI反应物进行监管，提高工作效率。

最终详细介绍2个腾讯云存储解决方法在自动驾驶场景的客户数据分析。一个是国内电动车顶尖车企，对存放数据量有每一年百PB增长率的需要，希望可以用一种分布式存储去满足大空间高性能的数据管理规范。使用大家解决方案后，不但低成本满足大量文件信息存放要求，还帮助自动驾驶训练性能提高了30%。另一个实例是自动驾驶初创期明星企业，因为处在创业环节，期待分布式存储架构设计尽可能简单有效，并能够依据业务流程转变开展弹力拓展。在选用大家解决方案后，总体训练效率提高了25%之上，存放基本建设成本下降30%之上。

腾讯云存储自动驾驶和AIGC解决方法，非常好的保证了高性能和降低成本2个目标方向的兼具，为根据大量数据的AI训练带来了扎实的存放及管理的数据基座。