以前一周，DeepSeek贯串绽放了5个Infra名堂的源代码，高洁大家认为这场开源盛宴照旧扫尾。3月1日，DeepSeek的彩蛋来了！开源周Day6，DeepSeek官方团队在配置者社区Github和给出了DeepSeek-V3/R1推理系统的时间解读。通过优化辩说和延伸，DeepSeek表面上一天的总收入达到了562027好意思元，资本利润率为545%。
敏感的网友——如MenloVentures投资东谈主Deedy翻译了这意味着什么：“表面ARR（年收入）2亿好意思元、利润率进步500%，这样的交易效能理当是一家值100亿好意思元的公司。”
从2024年5月发布DeepSeekV2以来，DeepSeek模子就业就以“价钱屠户”示众，老是比行业其他模子低廉1/10左右，质疑DeepSeek亏空打价钱战的声息也一直有。
通过这5天绽放源代码以及今天的推理系统抽象，这一疑虑也被铲除，不错意象，模子推理价钱越来越职守得起，且就业提供方也有的赚。这一事件的影响也不错通过外交平台网友展现出刷屏的惊喜得以一窥，“资本利润率545%，便是说你是在告诉我，我被Open AI剥夺了？开源周Day7的彩蛋是 AGI？”
但更大的信号指向生态伙伴，部署DeepSeek有的赚。
一位AI范畴的投资东谈主暗示，“官方时间解读标明，云平台和高下流通过部署DeepSeek的就业，表面上收益和利润率不错达到很高”。不管是对于提供在线推理、照旧异常化部署等就业的供应商，都是利好。
在这波DeepSeek热中受益的云平台硅基流动首创东谈主袁进辉也在第一时间发表了我方的感受，“DeepSeek官方流露大范畴部署资本和收益，又一次颠覆了好多东谈主领略。”但需要时间适配DeepSeek V3/R1模子架构，他暗示“咫尺好多供应商还作念不到这个水平，主如果V3/R1架构和其它主流模子分辨太大了，由盛大小大家构成，导致对准其它主流模子结构配置的系统都不再灵验，必须按照DeepSeek文牍形色的步骤才调达到最佳的效能，而配置这样的系统难度很高，需要时间”。
袁进辉进一步指出咫尺复现这样的推理就业的难度以及DeepSeek可能的计谋念念考，“亏得这周DeepSeek五连发照旧把主要模块开源出来了，裁减了社区复现的难度。这些后果充分体现了DeepSeek团队第一性旨趣的念念考方式和强悍的康健，他们应该是当先是基于某些原因意象了用这样的模子结构，然后发现这样的结构不管是测验照旧推理，要作念好都有异常大的工程挑战，不外这些问题在他们工程团队来说并不是搞不定的，流毒是花那么纵容气作念完是否有大的收益呢，在最终物化出来前，谁也说不准，他们照旧赌了，物化是赌对了。也可能是反过来的，基于系统的起点遐想了这样一个全新的模子结构。”
在DeepSeek官方文牍中也教导了DeepSeek-V3/R1推理系统的优化见识是：更大的辩说，更低的延伸。协作时间解读，DeepSeek开源周放出的5个代码库带来的影响力才刚刚开动。
《DeepSeek-V3 / R1 推理系统概览全文
DeepSeek-V3/R1推理系统的优化见识是：更大的辩说，更低的延伸。
为了扫尾这两个见识，咱们的有讨论是使用大范畴跨节点大家并行（Expert Parallelism / EP）。当先EP使得batch size大大增多，从而进步GPU矩阵乘法的效能，进步辩说。其次EP使得大家漫步在不同的 GPU上，每个GPU只需要盘算很少的大家（因此更少的访存需求），从而裁减延伸。
但EP同期也增多了系统的复杂性。复杂性主要体咫尺两个方面：
EP引入跨节点的传输。为了优化辩说，需要遐想允洽的盘算进程使得传输和盘算不错同步进行。
EP触及多个节点，因此自然需要Data Parallelism（DP），不同的DP之间需要进行负载平衡。
因此，本文的主要内容是怎么使用EP增大batch size，AG百家乐是真的么怎么荫藏传输的耗时，怎么进行负载平衡。
1、大范畴跨节点大家并行（Expert Parallelism / EP）
由于DeepSeek-V3/R1的大家数目广漠，况且每层256个大家中仅激活其中8个。模子的高度疏淡性决定了咱们必须汲取很大的overall batch size，才调给每个大家提供鼓胀的expert batch size，从而扫尾更大的辩说、更低的延时。需要大范畴跨节点大家并行（Expert Parallelism / EP）。
咱们汲取多机多卡间的大家并行策略来达到以下见识：
Prefill：路由大家EP32、MLA和分享大家DP32，一个部署单位是4节点，32个冗余路由大家，每张卡9个路由大家和1个分享大家
Decode：路由大家EP144、MLA和分享大家DP144，一个部署单位是18节点，32个冗余路由大家，每张卡2个路由大家和1个分享大家
2、盘算通讯重复
多机多卡的大家并行会引入比拟大的通讯支出，是以咱们使用了双 batch重复来隐讳通讯支出，进步举座辩说。
对于prefill阶段，两个batch的盘算和通讯交错进行，一个batch在进行盘算的时候不错去隐讳另一个batch的通讯支出；
对于decode阶段，不同阶段的履行时间有所分辨，是以咱们把attention部分拆成了两个stage，猜测 5 个stage的活水线来扫尾盘算和通讯的重复。
对于更多双batch重复的细节，不错参考咱们的profiling数据的 GitHub仓库：https://github.com/deepseek-ai/profile-data。
3、尽可能地负载平衡
由于汲取了很大范畴的并行（包括数据并行和大家并行），如果某个GPU的盘算或通讯负载过重，将成为性能瓶颈，拖慢通盘系统；同期其他GPU因为恭候而空转，形成举座运用率下落。因此咱们需要尽可能地为每个GPU分派平衡的盘算负载、通讯负载。
Prefill Load Balancer
中枢问题：不同数据并行（DP）实例上的肯求个数、长度不同，导致 core-attention 盘算量、dispatch发送量也不同
优化见识：各GPU的盘算量尽量琢磨（core-attention 盘算负载平衡）、输入的token数目也尽量琢磨（dispatch发送量负载平衡），幸免部分GPU处治时间过长
Decode Load Balancer
中枢问题：不同数据并行（DP）实例上的肯求数目、长度不同，导致core-attention盘算量（与KVCache占用量关连）、dispatch发送量不同
优化见识：各GPU的KVCache占用量尽量琢磨（core-attention盘算负载平衡）、肯求数目尽量琢磨（dispatch 发送量负载平衡）
Expert-Parallel Load Balancer
中枢问题：对于给定 、MoE模子，存在一些自然的高负载大家（expert），导致不同GPU的大家盘算负载不平衡
优化见识：每个GPU上的大家盘算量平衡（即最小化统共 GPU 的dispatch给与量的最大值）
4、参考架构图
5、线上系统的执行统计数据
DeepSeek V3和R1的统共就业均使用H800 GPU，使用和测验一致的精度，即矩阵盘算和dispatch传输汲取和测验一致的FP8花样，core-attention盘算和combine传输汲取和测验一致的BF16，最猛进度保证了就业效果。
另外，由于白日的就业负荷高，晚上的就业负荷低，因此咱们扫尾了一套机制，在白日负荷高的时候，用统共节点部署推理就业。晚上负荷低的时候，减少推理节点，以用来作念征询和测验。在最近的24小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3和R1推理就业占用节点总和，峰值占用为278个节点，平均占用226.75个节点（每个节点为8个H800 GPU）。假设GPU租出资本为2好意思元/小时，总资本为 $87072/天。
在24小时统计时段内，DeepSeek V3和R1：
输入token总额为608B，其中342B tokens（56.3%）射中 KVCache 硬盘缓存。
输出token总额为168B。平均输出速度为20~22tps，平均每输出一个token的KVCache长度是4989。
平均每台H800的辩说量为：对于prefill任务，输入辩说约 73.7k tokens/s（含缓存射中）；对于decode任务，输出辩说约 14.8k tokens/s。
以上统计包括了网页、APP 和 API 的统共负载。如果统共tokens一皆按照DeepSeek R1的订价 (注：DeepSeek R1 的订价：$0.14 / 百万输入tokens (缓存射中)，$0.55 / 百万输入tokens (缓存未射中)，$2.19 / 百万输出 tokens；诚然咱们执行上莫得这样多收入，因为V3的订价更低，同期收费就业只占了一部分，另外夜间还会有扣头)盘算，表面上一天的总收入为562027好意思元，资本利润率545%。
起头：段宛辰/极客公园微信公众号