🦄ag九游会官方⚽ag九游会官网真人游戏第一品牌实力正规平台对存储技巧提议了多合同支捏、高性能、大带宽的需求-九游会J9·(china)官方网站-真人游戏第一品牌

发布日期：2024-05-11 08:19    点击次数：75

4月8日，腾讯云布告云存储贬责决策面向AIGC场景全面升级，能够针对AI大模子数据网罗清洗、履行、推理、数据治理全过程提供全面、高效的云存储支捏。数据披露，接受腾讯云AIGC云存储贬责决策，可将大模子的数据清洗和履行效用均莳植一倍，需要的时辰裁汰一半。

据悉，这是国内首个完毕有储引擎全面自研的云存储贬责决策。现在，依然有80%的头部大模子企业选拔了腾讯云AIGC云存储贬责决策，包括百川智能、智谱、元象等明星大模子企业。

AI大模子的研发分娩过程，分红数据网罗与清洗、模子履行、推理三大纪律，各纪律齐触及海量的数据处理。

在数据网罗与清洗纪律，由于原始履行数据鸿沟海量，且开首各类，对存储技巧提议了多合同支捏、高性能、大带宽的需求。

腾讯云对象存储COS支捏单集群不停百EB级别存储鸿沟，提供方便、高效的数据公网接入才智，并支捏多种合同，充分支捏大模子PB级别的海量数据网罗。在数据清洗纪律，大数据引擎需要快速地读取并过滤出有用数据，COS通过自研数据加快器GooseFS莳植数据侦查性能，可完毕高达数TBps的读取带宽，撑捏计较高速驱动，大大莳植数据清洗效用。

在模子履行纪律，时常需要每2-4小时保存一次履行效用，以便能在GPU故障时常能回滚，因此快速地读写checkpoint（查抄点）文献也成了能否高效欺诈算力资源、提高履行效用的要津。

腾讯云自主研发并行文献存储CFS Turbo ，面向AIGC履行场景的进行了成心优化，每秒总读写糊涂达到TiB/s级别，每秒元数据性能高达百万OPS，均为业界第一。3TB checkpoint 写入时辰从10分钟，裁汰至10秒内，使大模子履行效用大幅莳植。

同期，跟着履行数据和推理数据的增长，需要提供低老本的存储才智，减少存储支出。对象存储业绩提供了高达 12 个 9 的数据捏久性和 99.995% 的数据可用性，能够为业务提供捏续可用的存储业绩。

此外，针对AIGC的checkpoint记载、大视频文献读写、小图片读写等场景，腾讯云CFS Turbo还自研了分级缓存、自合适条带化、漫步式元数据的技巧，大幅莳植了AIGC场景下的读写性能。除了大模子企业之外，CFS Turbo也被平庸应用于自动驾驶与工业仿真场景，包括博世汽车、蔚来等自动驾驶厂商，上海电气、深势等仿真场景，墨镜天合、追光等影视殊效场景。

腾讯云对智能存储总监叶嘉梁先容，从前段时辰Sora再往前GPT 等等大模子，对存储而言最中枢的是巩固性，以及性价比。不错看到，除了从畴昔的文本输入到后续的图片再到后视频输入，随之而来的是海量数据产出，不论是网罗、履行或者推理、分发等，对存储的挑战是很大的。

南边+记者  郜小平