强化学习详解第八部分 RLAIF 如何实现人工智能反馈的规模化飞跃

超越人类极限的规模对齐 在我们之前的文章中,我们探讨了人类反馈强化学习(RLHF)是如何通过使用人类评估来教导模型我们的偏好,从而彻底改变了人工智能对齐的方式。 但 RLHF 存在一个令人困扰的局限性,你可能已经猜到了:“人类”。 别误会我的意思 —— 人类反馈是无价的。 但它也很昂贵、缓慢,并且在

强化学习详解第七部分 RLHF:解码 AI 与人类偏好对齐的奥秘

|文末点击阅读原文查看网页版| 更多专栏文章点击查看: LLM 架构专栏

清华大学| 强化学习是否激励LLM中超越基本模型的推理能力?

|文末点击阅读原文查看网页版| 更多专栏文章点击查看: LLM 架构专栏

强化学习详解第六部分 高级策略优化:深度强化学习的演变

高级策略优化:深度强化学习的演变 在我们迄今为止探索强化学习的旅程中,我们见证了深度神经网络如何彻底改变了在复杂环境中可能实现的事情。但就像所有的进化飞跃一样,深度Q网络(DQN)及其直接衍生算法仅仅是更深刻变革的开端。 本文聚焦高级策略优化,深度解析 TRPO、PPO 等经典算法如何解决传统强化学

强化学习详解第五部分:神经网络驱动的深度强化学习基础

在之前的文章中,我们探讨了强化学习如何让智能体通过与环境的交互学习来做出决策。我们介绍了价值函数、策略学习以及函数逼近技术,这些技术有助于将强化学习应用于更复杂的问题。现在,我们准备探讨该领域中可能最为重大的进展:深度强化学习。 深度强化学习将神经网络与强化学习算法相结合,用于解决以往难以攻克的问题

强化自训练(ReST):让大语言模型更懂你的“心”

强化自训练(ReST):让大语言模型更懂你的“心” 强化自我训练(Reinforced Self-Training,ReST)是一种简单的算法,它能让大语言模型(LLM)的输出更符合人类的偏好。这种算法的灵感来源于不断发展的批量强化学习(RL)。简单来说,先给大语言模型设定一个初始策略,ReST就可

DeepSeek-R1的顿悟时刻是如何出现的? 背后的数学原理:强化学习如何教大型语言模型进行推理

DeepSeek-R1的顿悟时刻是如何出现的? 背后的数学原理:强化学习如何教大型语言模型进行推理 DeepSeek-R1的卓越表现 DeepSeek-R1的开创性论文《DeepSeek-R1:通过强化学习激励大语言模型(LLMs)的推理能力》,对其性能进行了全面分析,结果令人惊叹。在标准语言模型基

强化学习中的关键模型与算法:从Actor-Critic到GRPO


强化学习中的关键模型与算法:从Actor-Critic到GRPO 强化学习中的Actor-Critic模型是什么? 这与生成对抗网络(GANs)十分相似。在生成对抗网络中,生成器和判别器模型在整个训练过程中相互对抗。在强化学习的Actor-Critic模型中,也存在类似的概念: Actor-Crit

DeepSeek-R1:通过强化学习激发大语言模型的推理潜能

DeepSeek-R1:通过强化学习激发大语言模型的推理潜能 在本文中,我们将深入探索DeepSeek-R1背后的前沿进展与创新方法。这一成果作为提升大语言模型(LLMs)推理能力的卓越方案,融合了强化学习(RL)等前沿技术,不仅革新了模型训练范式,还为行业发展开辟了新方向。接下来,让我们一同揭开D

深度探索:DeepSeek-R1 如何从零开始训练,以及这项开源研究将如何以前所未有的速度推动 AI 进步

近日热文:全网最全的神经网络数学原理(代码和公式)直观解释 欢迎关注知乎和公众号的专栏内容 LLM架构专栏

开源