苹果在表演！改善GRPO，以便DLLM也可以有效地增强

最近，语言扩散模型（DLLM）变得有些热。今天，苹果还加入了新兴战场。与基于变压器的自回旋语言模型不同，DLLM基于掩盖扩散模型（MDM）。我们首先报道了一些代表性的案件，例如Llada和Dreams。 Mercury是第一个商业DLLM聊天机器人，是正式推出的（水星编码器之前）。有兴趣的读者可以尝试https://poe.com/inception-rcury与自动回归语言模型相比，DLLM的主要功能之一是：快速。此外，dllm不是从左到右形成的，而是迭代以 - 在整个术语中匹配以实现全球内容计划。 Mercury Chat应用程序演示，https://x.com/inceptionailabs/status/19383704994592873 Apple的研究团队说：“代码的产生与DLLM的范式非常一致，因为书写代码通常涉及事故重复的优化。”实际上，以前的水星编码器和剥削双子座的sion表明，基于扩散的发电机可以与领先的自回归代码模型相媲美。但是，由于DLLM开放资源的培训和推理的机制尚未完全发布，因此尚不清楚其在编码活动中的性能。现有的DLLM训练后研究，例如接受了DPO和D1和MMADA培训的LLADA1.5接受了GRPO培训的训练，要么几乎没有效果或高度依赖于半意大利回应解码（块解码的块大小相对较小）。说到这一点，我们今天从苹果希望填补这个空间的研究中介绍了这项研究。他们首先研究了DLLM的行为，然后建立了一种本地研究方法（RL）。纸张标题：diffucoder：理解和改进代码生成纸张地址的模型爆炸地址：https：//arxiv.org/pdf/2506.20639项目地址：https：//github.com/apple/ml-iffucoder这项研究基于Diffucoder评论。这是生成的7b级代码由MDM苹果使用1300亿个有效令牌（ARXIV：2411.04905）进行训练。该模型的性能与同一量表的自回归编码器相媲美，为理解DLLM行为和开发传播方法提供了强大的测试平台。基于获得的评估结果，Apple还以目标方式定制和优化了GRPO，并使用新隶属的采样解决方案提出了Wagong算法：耦合GRPO。效果首先是很好的差异化模型，Apple Train Diffucoder如何？基本方法非常普遍：使用大型语料库。下图显示了许多训练阶段。他们首先进行了类似于梦的预训练改编。中期是在训练前和训练后之间的训练，类似于OpenCoder的退火阶段，IT已有效。接下来是良好调整的教学阶段，这是增强模型跟随INS的能力的功能推力。最后，在训练后阶段，他们采用了一种全新的GRO方法（稍后将介绍），以进一步提高通过@1模型程序的技能。有关培训的更详细调整，请务必访问原始论文。他们回顾了HumaneVal，MBPP，EvalPlus和BigCodeBench基准的扩散器，并将其与其他几个模型进行比较，结果如下表所示。可以看出，使用130B代码令牌（第1阶段和第2阶段），Qwen2.5编码器和OpenCoder在QWEN2.5编码器和OpenCoder中实现了可比的性能。但是，在调整指令后，所有DLLM仅在其基础模型中仅略有改进，尤其是与QWEN2.5-CODER+SFT相比，在调整相同数据中的指令后，开发清晰。基于扩散器，当前的DLLM（例如LLADA和梦想）依赖于低信心解码技术，而LLADA则使用半自动进程解码技术（即块扩散解码）为了提高ILTHE活动的不良绩效。 DLLM的另一个常见技能是将传播时间的步骤设置为均匀的订单长度，从而有效地抓住了令牌的生成以提高性能。因此，他们引入了自动加入性（AR-NES）的本地和全球指标，以系统地研究DLLM解码。具体而言，他们的评论旨在披露：DLLM解码模式与自回归模型的不同；数据模式（例如代码或数学）如何影响模型行为；以及在不同培训阶段的AR-如何出现。在标准自回归解码的生成中，自动加入性是严格按从左向右到右侧的顺序形成的，以确保合规性的强大一致性。但是，基于扩散的解码可以选择恢复[掩码]不顺序。因此，他们引入了两个指标，以在差异的不道德调度之间发展统一性使用模型和自动回归模式，包括下一个令牌模式和左时模式。 1。局部：旁边的流体预测局部AR-NENS@K是通过预言顺序与范围k中的下一个令牌预测模式的比率计算得出的。如果K-Length范围内的所有令牌是先前生成的令牌的直接替代方案，请随意考虑此范围。局部AR-随着K的速度降低，因为它很难保持更长的范围。 2.全球：最早的面具选择是在步骤t中。如果预测的令牌位于k蒙版的第一个位置，则将对全球ARNESS进行评分。全球AR-ness @K是每个T的平均比例，它衡量了始终揭示出第一个剩余令牌的趋势，因此从左到右获得了填充的方法。由于允许较早的位置，该比率随着k的增加而增加，满足标准的越容易。对于这两个指标，更高的值表示形成更强通过自动加工。解码分析它们在疾病的生成过程中对以下因素进行了自回旋比较：各种DLLM，包括从零训练的LLADA，以及根据自动回归LLMS适应的DREAME或DIFFUCODER；各种数据模式，包括数学和代码；和不同阶段的扩散训练。 1。DLLM的解码和自回归模型有什么区别？对于自回归解码，本地和全球AR-等于1（即100％自回旋）。相反，如图3所示，DLLM并不总是以纯自动性解码进行解码。在DLLM解码过程中，没有从面具的左代币或接下来的令牌中恢复了很大一部分令牌。该观察结果表明，与常规自回旋模型相比，DLLM采用了更灵活的解码顺序。但是，本地和全局自回旋值都更接近1，而不是0，表明文本数据ITSELF具有某种类型的自回旋结构，如果通过零训练或根据自回归模型进行了训练，则基于传播的语言模型可以自然获得这些结构。实验结果表明，改编的DLLM与从一开始训练的DLLM表现出更强的自动性值值的可能性。这是因为他们从原始自回归培训中继承了从左到右的令牌依赖。较低的自回旋价值破坏了这一依赖性，从而为并行生成提供了更多机会。更高的自回旋价值也可以带来好处；例如，通常需要一代半AR（块解码）才能实现更高的总体性能。在这种情况下，块解码器清楚地改变了生成过程中偏差的原因。在Diffucoder中，Apple团队认为该模型可以决定自己与一代原因的关系。 2.不同的数据模式如何fect范式？根据图3，尽管解码的NG数学和代码显示出不同级别的本地自回归量，但它们进行了相对一致的搜索：代码生成的全局自回旋量远不均值，并且差异较高。这表明在形成代码时，模型往往是迟到的令牌，而某些先前掩盖的令牌直到结束才恢复。原因可能是数学文本本质上是顺序的，通常需要左右计算，并且代码具有自然结构。因此，随着程序员跳回代码以改善代码实现，该模型通常计划在全球范围内更具代币。 3。在不同培训阶段，AR-NENS的自回旋价值如何变化？从图4（Stage1）可以看出，他们注意到具有650亿个令牌的训练后相对较低的自动性值。但是，当他们测量7000亿代币的培训时， - 性能有所改善，但总体绩效却有所下降。因此，苹果猜测，预训练数据的质量限制了性能。因此，他们选择了150亿个阶段的令牌作为第2阶段的起点。在中期训练（第2阶段）和指令调整（第3阶段）中，该模型在数据周期的第一个质量（时期）中学习了偏见的高原因。但是，随着令牌数量的增加，任务的性能会增加，并且测得的ARNGES开始下降。该模式表明，在第一次转换之后，DLLM开始获得超出纯自回归顺序的依赖项。在GRPO训练之后，模型的全球性AR度也将减小，当解码步骤减少一半时，性能下降将下降。 4.熵接收器当DLLM进行生成状态时，扩散的第一步是从给定前缀提示的完全完成的掩码开始，并试图恢复完成的完成离子。在此步骤中，他们记录了图3（a）中每个恢复令牌的置信标记。如您所见，LLADA和DREAM算法的默认解码将以最高的信心选择令牌，并重新提供其余令牌。 Llada使用对数的可能性，而Dream则使用负面熵来衡量信心，更大的价值表明该模型对令牌非常有信心。值得注意的是，所产生的分布显示出一种特征模式，该模式称为Byapple therapple。假货是出现的熵水槽，因为文本的自然性质会偏向给定前缀右侧的代币上的模型：这些位置会获得更强的位置信号和更紧密的上下文，从而产生了模型，从而使它们具有令人难以置信的高信心。这种现象可能与关注点的原因有关，但其根源仍然需要进一步的评估和验证。这个熵局部邻近令牌的偏差可以解释为什么DLLM仍然保持非繁琐的自动加工性。运动后有关开发自回归语言语言模型的研究表明，强化研究模型的刺激仅限于PAMPASS@K采样技巧。因此，Apple将通行证@K的精度与动态大语言模型相结合，以研究生成差异。如图5（右）和图6所示，对于diffucoder版本的微调版本的基本版本和指令，在低温设置下，单个采样（通过@1）的精确率很高，但第一个k子样本的总体准确度（Pass@k）并未显着改善，表明生成的样品缺乏生成的样品。当温度升高到适当的范围（例如1.0至1.2）时，Pass@K索引将显着提高，表明该模型实际上隐藏了更强的功能。在许多刺激中Ulant研究方案，该模型首先需要在Give的过程中提出不同的答案，以便对加强的研究可以提高单个答案的准确性。 Difucoder的Pass@K曲线表明，它仍然有很大的优化空间，这就是为什么Apple设计唯一的GRO算法的原因。 In addition, as shown in Figure 5 (left) and Fig. 1 (a), the higher temperature will also reduce the autoregressiveness of the model, which means that the order is in which the model develops the tokens is more random - it differs from the traditional autoregressive model: in the traditional model, the temperature affects only where the token is the token, while the Language Model, the Language Model, the Language Model, the Language Model, the Language Model, the Language Model, the Language Model,语言模型，语言模型，语言模型，语言模型。会影响选择和讽刺的符号。耦合 - grporl就像“测试和错误”研究”，因为在赛车比赛时不断地试图找到最佳方法； GRPO是一种增强的RL技术，可以使语言模型更快，更好地学习。先前的研究证明，它们对自动回归模型有效，但在语言扩散模型（DLLM）中的使用较少，但在MASKOV散发过程中的描述可以使Markov的脉动进行效果的描述可以实现一种方法，从而可以实现一种方法。 GRPO需要在扩散模型中批准令牌的可能性。训练小组时，速度缓慢和高架ple，可能只能计算1小时，但现在需要计算100次。计算机功耗戏剧是目前需要解决的主要问题。在计算原始GRPO的丢失时，仅计算掩模令牌中涉及的位置，导致无能和高差异 - 当样本数量受到限制时，问题会有所不同。为了提高对所有令牌的可能性的估计的准确性，苹果提出了一个关联的拍打方案，其主要思想是确保在扩散过程中甚至一次将每个令牌删除一次，并检查其在更现实的contine contionerextly中通过两个互补掩盖操作中的可能性。随着耦合GRPO在实际应用中的实际实施，本研究选择了λ= 1来平衡计算和估计成本的准确性。为了进行公平的比较，本研究引入了“脱耦合基线”：该基线使用相同数量的样品，但不会强制掩模之间的完成（即两个独立的样品）。此外，在计算主要标记时，本研究使用了剩余的（LOO）方法来确定基线标记，以获得无偏的估计值。抽样方案可以看作是应用差异技术 - 抗验证的差异，本文还列出了详细的设计验证奖励，只是格式代码的奖励以及谋杀案的通过率作为准确性的回报。有关详细信息，请参见原始论文。通过辅助面具，在语言扩散模型实践中，耦合GRPO在语言扩散模型实践中获得了更强大的奖励研究，估计优化和优化温度的优势，从而显着提高了发电质量和并行效率。实验结果不仅证明了将增强研究纳入传播模型的潜力，而且还具有为实用的DLLM应用程序（例如代码生成，高速推断）提供了可能的途径。未来的研究可能会进一步探索其对多模式生成和大型蒸馏模型的应用。