存储,这个一直被道论的IT“旧话题”,正在重新站在聚光灯下。
作家|吴铭
出品|产业家
DeepSeek再次成为破圈话题。
这两天,DeepSeek开源3FS并行文献系统的音讯,犹如向AI基础步调范围投下一枚深水炸弹。3FS每秒能搬运6.6TB数据,终点于1秒钟传输完700部4K高清电影。还能自动调资源,国产芯片用了它,跟国际大牌的差距平直缩到15%。
这并非通俗的时期迭代——当Llama3 70B模子单次覆按需吞掉15PB数据(终点于相接播放250万小时4K视频)时,群众AI践诺室骤然刚劲到:决定大模子覆按效能的不仅是GPU算力,存储系统正成为影响AI过程的一大瓶颈。
存储,这个一直被道论的IT“旧话题”,正在重新站在聚光灯下。
一、当AI算力狂飙时
存储正在成为隐形战场
2024年,某头部AI公司曾因存储带宽不及,导致2000张A100显卡的算力欺诈率长久低于40%,单日经济赔本超百万好意思元。这泄露了AI时间的\"木桶效应\"——当GPU规划速率进入微秒级时,一次突发的存储抖动就可能导致整个覆按任务崩溃,让数周的规划效能骤然挥发。这大略亦然DeepSeek自研存储的原因。
数据自满,存储优化可平直将175B参数模子的覆按周期压缩30%,对应百万好意思元级的资本被填平。而在推理端,当10%的特地恳求遇到存储延伸波动时,P99反馈时候会骤然冲破SLA红线,这恰是某自动驾驶公司在线事业突发左迁的根柢诱因。
从DeepSeek的角度来看,其之是以选拔自研3FS的骨子,也恰是发现了存储架构在AI应用中的进击性。《金融行业先进AI存力论说》》论说中提到,在一样的GPU算力范围下,存储性能的高下可能酿成模子覆按周期3倍的各异。在算力武备竞赛的背后,一场对于存储性能密度的暗战悄然升级,自研存储显得尤为进击。
二、5家头部厂商角逐AI存储
国产能否拔得头筹
比较于传统AI的需求,大模子对存力需求场景具少见据量大、参数范围大、覆按周期长等秉性。
为了进步大模子覆按速率,需要对大范围数据集进行快速加载,且一般选定数百甚而上万张GPU构陋习划集群进行高效的并行规划,AG百家乐怎么稳赢需要高并发输入/输出(I/O)处理,而覆按数据集呈现海量小文献的秉性,文献量在几亿到几十亿量级,对应的带宽需求可能每秒要达到上TB,这就条目存储系统具备弘大的数据惩办才智,业界能达到该才智的仅寥寥几家。
小编征集了国表里优秀的并行存储居品作念了对比,发现除了海外主要作念并行文献的几家公司,国内果然并行文献自主研发的居品并未几,带着钦慕心咱们也看了一下华为存储、京东云云海,行业现在有四家优秀的并行存储居品。
IBM行为老牌存储品牌,其居品从HPC场景得手向AI场景演进,但受制于其在国内市集的萎缩,在居品研发上的干预也有所邋遢。在群众AI场景获取芜俚应用的DDN,多个读、写带宽等关节性能所在上施展凸起,但DDN由于时期紧闭性、私有化硬件等原因,导致用户诞生资本过高。
国产厂商DeepSeek 3FS天然是开源的新址品,但相对老牌存储也有可以的施展,在读带宽才智上施展优异。咱们还惊喜发现,另一家国产厂商京东云云海,在这个专科范围施展出色,以单节点95GB/s的读带宽、60GB/s的写带宽,进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS,京东云云海在提供高性能的同期适用性更广,可以同期得志DeepSeek、ChatGPT、LLaMA等20余种主流大模子的存力需求。
综上来看,跟着大模子快速向纵深场景演进,对存储的条目也越来越高,DeepSeek、京东云云海等国产存储,自满出在处理大范围数据集时的优厚性能,将来国产存储能否拔得头筹,咱们翘首企足。