发布日期：2024-08-22 05:01 点击次数：160
此前有音问称 DeepSeek 或将提前推出原定于在五月份初发布的 R2 模子。音问是否属实还有待考量AG百家乐下载，不外在此之前，DeepSeek 刚刚新发布的一项对于推理时缩放的新计议，大要能让咱们窥到 R2 的一角。
现时主流的 AI 模子大多秉承了强化学习（Reinforcement Learning，RL），尤其是基于东说念主类响应的强化学习（Reinforcement Learning from Human Feedback, RLHF）看成后磨练的中枢秩序。其中枢在于磨练一个奖励模子（Reward Model, RM）来模拟东说念主类偏好，并率领 LLM 优化。但传统 RLHF 依赖大都东说念主类标注，资本崇高且推广性受限，尤其难以处理复杂和主不雅性强的任务。因此，构建更弘大、更通用的奖励模子成为阻抑瓶颈的关键。
现存奖励模子范式，如标量评分（Scalar RM）或成对比较（Pairwise RM），在通用性和天真性上存在局限。同期，跟着推理时缩放（加多推理计较量）越发成为一个性能提高的伏击路线，淌若奖励模子能在推理时通过更多计较变得更准确，将径直提高 LLM 的对皆成果。
在此配景下，DeepSeek 结伙清华大学的计议团队，建议了一种名为 DeepSeek-GRM 的通用奖励模子偏激磨练秩序 SPCT（Self-Principled Critique Tuning，自我原则化批判调优），旨在贬责通用奖励模子的构建难题，并系统探索期骗推理期间缩放提高其性能的后劲。
相干论文以《通用奖励模子的推理时缩放》（Inference-Time Scaling for Generalist Reward Modeling）为题发表在预印本平台 arXiv 上。
计议当先暖热奖励模子的结构范式。团队合计，为了杀青通用性和充分期骗推理期间缩放的后劲，需要一种更天真、抒发才调更强的范式。他们最终领受了生成式奖励建模（Generative Reward Modeling, GRM），并具体秉承了逐点式（Pointwise）的评分机制。
Pointwise GRM 的职责形态与传统 RM 不同。它不径直输出分数或排序，而是针对输入的查询和一组（一个或多个）待评价的回话，生成一段结构化的评价文本。
这段文本往往包含两个主要部分：当先，模子会证据现时的输入内容，自顺应地生成一系列评价原则，这些原则界说了评价的暖热门和圭臬，偶然还会附带各个原则的相对伏击性（权重）；其次，模子会基于这些生成的原则，对每一个回话进行详备的分析和批判，评释其优缺陷。临了，通过预设的融会章程，从生成的批判文本中索求出对每个回话的具体评分。
这种 Pointwise GRM 范式展现出两大关键上风：一是输入天真性。不论是评价单个回话，比较一双回话，仍是需要对多个回话进行平安评分和排序，都不错使用调解的框架和模子进行处理，极地面拓宽了模子的应用范围。
二是推理时缩放后劲。由于模子的中枢行为是生成文本，因此在推理时进行屡次采样变得至极当然且非凡想。每次采样可能产生不同的评价原则侧重和批判分析角度。通过空洞这些种种化的评价驱散，有望得回比单次生成更全面、更鲁棒、更致密的最终评分，为期骗推理计较提高奖励质地提供了可能。
领受了合适的模子范式后，关键在于若何有用磨练，使 GRM 具备弘大的通用评价才调，并能信得过从推理期间缩放中受益。为此，团队筹划了建议了一种名为 SPCT 的学习框架。
SPCT 的中枢想想在于，对于通用的评价任务，事前界说一套固定的、普适的评价圭臬（原则）是至极长途的。更有用的形态是让模子学会证据具体的输入（查询和回话）动态地、自顺应地生成最相干的评价原则，并基于这些原则进行准确的批判。这意味着模子需要从被迫应用章程，转动为主动构建评价框架。
计议团队通过初步实验考据了原则的伏击性：径直使用模子生成的原则成果有限，但淌若提供经过筛选的高质地原则，奖励模子的准确性会权贵提高。这标明，能否生成“好的原则”是杀青高质地奖励的关键。SPCT 的方案等于磨练模子掌捏这种生成高质地原则和准确批判的才调。
SPCT的磨练过程包含两个阶段：
第一阶段是拒却式微调（Rejective Fine-Tuning, RFT），看成模子的冷启动。此阶段使用预磨练的 LLM 看成基础模子。计议东说念主员期骗包含查询、回话和东说念主类偏好标签的奖励模子数据集，让模子尝试生成“原则+批判”文本并索求评分。
关键在于“拒却式”采样政策：淌若模子生成的评分驱散与已知的东说念主类偏好不符（举例，将较差的回话评为更优），则该次生成的磨练数据被视为“不正确”而被拒却；另一方面，淌若对于某个输入，模子联结屡次生成的评分驱散都与东说念主类偏好透顶一致，这可能标明该任务过于简便，短缺裕如的学习信号，这类数据也会被视为“太容易”而被拒却。
通过这种形态，模子得以专注于学习那些具有挑战性且能匡助其更好通晓东说念主类偏好的样本，从而快速掌捏生成指定风物文本和初步分别回话优劣的才调。此阶段还联结了“请示式采样”（输入中包含最优谜底信息）和“非请示式采样”，以平衡学习过程。
第二阶段是基于章程的在线强化学习（Rule-Based Online RL）。RFT 阶段提供了基础才调，但要让模子的原则生成和批判才调接续提高，顺应更世俗场景，并为推理期间缩放作念好准备，需要在线优化的介入。
在此阶段，GRM 模子看成 RL 中的政策，百家乐ag厅投注限额证据及时输入的查询和回话，生成原则、批判并索求评分。计议东说念主员筹划了一套简便的准确性章程看成奖励信号：淌若模子给出的评分能够正确地将最优回话排在首位（与数据集标签一致），则得回正奖励（+1），不然得回负奖励（-1）。这个奖励信号用于更新 GRM 模子的参数。
这个在线过程接续激发模子去探索和学习若何生成那些能更可靠地分别回话质地的原则和批判逻辑。这种磨练形态旨在内化模子的评价才调，使其在濒临新情况时也能作念出雅致判断，这对于推理期间缩放的有用性至关伏击。计议团队还发现，通过相宜调遣 KL 散度刑事包袱（一种属目模子在优化过程中偏离入手景象过远的正则化技巧），不错有用保证生成文本风物的踏实性，并幸免模子产生无谓要的行为偏差。
经过 SPCT 磨练的 DeepSeek-GRM 模子，具备了通过加多推理阶段计较量来提高性能的后劲。计议团队重心计议并杀青了两种推理期间缩放政策：
第一种是基于投票的缩放（Voting with Generated Rewards）。这是一种相对径直的秩序。对于给定的查询和一组待评价的回话，使用磨练好的 DeepSeek-GRM 模子，诞生一定的采样立地性（举例，temperature > 0），并行地进行 k 次平安的推理。每次推理都会生成一套可能不同的原则、批判和相应的评分。
临了，将这 k 次推理得到的评分进行团员。对于 Pointwise 评分，往往的作念法是将每个回话在 k 次采样中得回的分数相加或取平均，得到最终的空洞评分，具体公式如下：
这种秩序的公正在于，它不仅通过团员多个评价视角来提高驱散的鲁棒性，况兼通过乞降等形态，执行上加多了最终奖励值的范围和粒度（Granularity），使得模子能够更好地分别质地周边的回话。为了减少潜在的法例影响，每次采样前还会对输入回话的法例进行立地陈设。
第二种是更进一步的元奖励模子指引的投票（Meta Reward Modeling Guided Voting）。简便投票假定每次采样的驱散质地相等，但在执行中，部分采样可能由于立地性或模子局限而产生较低质地或有偏见的评价。
为了贬责这个问题，计议团队建议磨练一个元奖励模子（Meta Reward Model, Meta RM）。这个 Meta RM 的作用是评估 DeepSeek-GRM 生成的每一次“原则+批判”输出的质地或可靠性。Meta RM 自己往往亦然一个简便的奖励模子（举例标量 RM），它通过学习判断 GRM 的输出是否与基准（如东说念主类偏好）一致来进行磨练。
在推理时，当先让 DeepSeek-GRM 生成 k 份评价驱散，然后使用Meta RM对这 k 份驱散进行评分，筛选出评分最高的 k_meta (k_meta ≤ k) 份驱散，临了只基于这些被合计是高质地的评价驱散进行投票团员。这种秩序通过引入一个“质地过滤器”，不错有用地剔除噪声采样，使得最终的团员驱散愈加准确，从而更充分地阐述推理期间缩放的上风。
计议团队在多个主流的奖励模子评估基准（包括 Reward Bench, PPE, RMB, ReaLMistake）上，对 DeepSeek-GRM 模子（基于不同尺寸的基础模子）偏激推理期间缩放政策进行了全面的实验评估，并与多种公开的和其他基线秩序进行了对比。
实验驱散明晰地展示了该计议秩序的有用性：当先，即使在不进行推理期间缩放的基础诞生下，经过 SPCT 磨练的 DeepSeek-GRM 模子在全体性能上已优于同等范畴的多种基线奖励模子，并展现出与一些大型闭源模子相竞争的实力。
其次，SPCT 磨练秩序的有用性也得到了阐发，比拟仅进行 RFT 冷启动，齐备的 SPCT 经过带来了权贵的性能提高，消融实验也阐发了其关键组件（如原则生成、在线 RL）的孝顺。
再次，DeepSeek-GRM 展现了优秀的推理期间缩放特质，跟着采样次数 k 的加多，模子性能接续踏实提高，尤其是在 Meta RM 的指引下，提高成果更为较着。
值得暖热的是，实验数据标明，通过推理期间缩放（举例，在 27B 模子上进行 32 次采样并使用 Meta RM），其性能提高的幅度偶然不错达到致使逾越通过数倍加多模子参数（磨练期间缩放）所带来的提高，浮现出推理期间缩放在提高奖励模子质地方面可能具有更高的计较遵守。
临了，比拟一些偏科严重的标量或半标量模子，DeepSeek-GRM 在不同类型任务和评价维度上的推崇更为平衡，展现出更好的通用性和更少的范畴偏见。
不外，固然 SPCT 在提高 GRM 的性能和推理期间可推广性方面取得了权贵得胜，但该秩序当今也存在一些局限性。
当先，生成式奖励模子的遵守实质上过时于同等范畴的标量奖励模子，这截止了其在在线强化学习管说念中的大范畴使用。不外，由于他们秉承并行采样进行推理期间推广，使用合理数目（如 8 个）样本进行奖励生成的延伸不会权贵加多。
其次，在特定范畴（如可考据任务）上，DeepSeek-GRM 仍过时于标量模子。这可能是因为标量奖励模子拿获了推理查询和回话的荫藏特征，而 GRM 需要更强的推理才调来全面搜检回话。不外，标量奖励模子存在严重的偏差和可推广性问题。
计议团队指出，将来的计议场所包括：器具集成、原则和品评生成范式的领会、在 LLM 离线评估中的应用以及长视线推理的探索。他们服气，具有增强可推广性和遵守的 GRM 不错看成通用奖励系统的多功能接口，鼓动 LLM 后磨练和推理的前沿发展。
参考良友：
1. https://arxiv.org/abs/2504.02495
排版：KIK
