AG百家乐有什么窍门 DeepSeek开源第三弹：V3/R1进修推理环节隐秘，中枢代码仅300行

发布日期：2024-10-13 20:46 点击次数：162

金磊发自凹非寺量子位 | 公众号 QbitAIAG百家乐有什么窍门

开源周的第三天，DeepSeek把进修推理V3/R1背后的“能源”给亮出来了——

DeepGEMM：一个FP8 GEMM（通用矩阵乘法）库，撑捏密集（dense）和夹杂各人（MoE）矩阵乘法运算。

咱们先来简便了解一下GEMM。

GEMM，即通用矩阵乘法，是线性代数中的基本运算，是科学贪图、机器学习、深度学习等鸿沟中“常客”，亦然许多高性能贪图任务的中枢。

但由于它的贪图量时常都比较大，是以GEMM的性能优化是至关进军的少许。

而DeepSeek此次开源的DeepGEMM，依旧是保捏了“高性能+低老本”的特质，亮点如下：

高性能：在Hopper架构的GPU上，DeepGEMM能够完了高达1350+FP8 TFLOPS的性能。简约性：中枢逻辑仅约 300 行代码，但性能却优于各人调优的内核。即时编译（JIT）：遴选彻底即时编译的方式，这意味着它不错在运行时动态生成优化的代码，从而合乎不同的硬件和矩阵大小。无重依赖：这个库联想得十分轻量级，莫得复杂的依赖相关，不错让部署和使用变得简便。撑捏多种矩阵布局：撑捏密集矩阵布局和两种 MoE 布局，这使得它能够合乎不同的应用场景，包括但不限于深度学习中的夹杂各人模子。

简便来说，DeepGEMM主要用于加快深度学习中的矩阵运算，卓绝是在大范围模子进修和推理中，它卓绝适用于需要高效贪图资源的场景，能够权贵进步贪图后果。

许多网友们对此次的开源都比较“买单”，有东谈主将DeepGEMM比作数学界的超等能人，以为它比赶紧的贪图器还要快，比多项式方程还要浩大。

也有东谈主将DeepGEMM的发布比方为量子态踏实到一个新的实验，爱慕其即时编译的干净利落。

天然……也有东谈主初始缅思起我方手上的英伟达股票了……

潜入了解DeepGEMM

DeepGEMM是一个稀奇为完了简约高效的FP8通用矩阵乘法（GEMMs）而打造的库，它还具备细粒度缩放功能，这一联想源于DeepSeek V3。

它既能处理平素的通用矩阵乘法，也能撑捏MoE分组的通用矩阵乘法。

这个库是用CUDA编写的，装配的时候不需要编译，AG百家乐到底是真是假因为它会在运行时通过一个轻量级的即时编译（JIT）模块来编译悉数的内核圭臬。

现在，DeepGEMM只撑捏英伟达的Hopper张量中枢。

为了贬责FP8张量中枢在贪图积贮时不够精准的问题，它遴选了CUDA中枢的两级积贮（进步）措施。

天然DeepGEMM鉴戒了CUTLASS和CuTe里的一些理念，但并莫得过度依赖它们的模板或代数运算。

相背，这个库联想得很简约，惟有一个中枢内核函数，代码量梗概300行操纵。

这使得它成为一个简约易懂的资源，便捷全球学习Hopper架构下的FP8矩阵乘法和优化技能。

尽管其联想轻巧，但DeepGEMM的性能不错匹配或跨越各式矩阵样式的各人调优库。

那么具体性能若何呢？

团队在H800上使用NVCC 12.8测试了DeepSeek-V3/R1推理中可能使用的悉数样式（包括预填充妥协码，但莫得张量并行）。

底下这张图展示的是用于密集模子的平素DeepGEMM的性能：

从测试遏抑来看，DeepGEMM贪图性能最高可达1358 TFLOPS，内存宽带最高可达2668 GB/s。

加快比方面，与基于CUTLASS 3.6的优化完了比较，最高可达2.7倍。

再来看下DeepGEMM撑捏MoE模子的一语气布局（contiguous layout）的性能：

以及撑捏MoE模子掩码布局（masked layout）的性能是这么的：

若何使用？

要思使用DeepGEMM，需先防备一下几个依赖项，包括：

必须撑捏Hopper架构的GPU，sm_90a。Python 3.8及以上。CUDA 12.3及以上（保举12.8）。PyTorch 2.1及以上。CUTLASS 3.6及以上

Development代码如下：

# Submodule must be clonedgit clone --recursive [email protected]:deepseek-ai/DeepGEMM.git# Make symbolic links for third-party (CUTLASS and CuTe) include directoriespython setup.py develop# Test JIT compilationpython tests/test_jit.py# Test all GEMM implements (normal, contiguous-grouped and masked-grouped)python tests/test_core.py

装配代码如下：

python setup.py install

在上述法子之后，您的Python技俩中导入deep_gemm即可。

接口方面，关于平素的DeepGEMM，可调用deep_gemm.gemm_fp8_fp8_bf16_nt函数，撑捏NT时势（非转置LHS和转置RHS）。

关于分组的DeepGEMM，一语气布局情况下是m_grouped_gemm_fp8_fp8_bf16_nt_contiguous；掩码布局情况下是m_grouped_gemm_fp8_fp8_bf16_nt_masked。

DeepGEMM还提供建立最大SM数目、得回TMA对皆大小等器用函数；撑捏环境变量，如DG_NVCC_COMPILER、DG_JIT_DEBUG等。

除此以外，DeepSeek团队还提供了几种优化的方式，包括：

JIT联想：悉数内核在运行时编译，无需装配时编译；撑捏动态遴荐最优块大小和活水线阶段。细粒度缩放：通过CUDA中枢两层累加贬责FP8精度问题；撑捏非2的幂次方块大小，优化SM应用率。FFMA SASS交错：通过修改SASS提醒的yield和reuse位，提高性能。