第二支羽毛|吹灭读书灯，一身都是月

强化学习详解第五部分：神经网络驱动的深度强化学习基础

在之前的文章中，我们探讨了强化学习如何让智能体通过与环境的交互学习来做出决策。我们介绍了价值函数、策略学习以及函数逼近技术，这些技术有助于将强化学习应用于更复杂的问题。现在，我们准备探讨该领域中可能最为重大的进展：深度强化学习。深度强化学习将神经网络与强化学习算法相结合，用于解决以往难以攻克的问题

强化学习

VLLM 与 Ollama：如何选择合适的轻量级 LLM 框架？

VLLM 与 Ollama：如何选择合适的轻量级 LLM 框架？ VLLM是一款经过优化的推理引擎，在令牌生成速度和内存管理效率上表现出色，是大规模AI应用的理想之选。Ollama则是一个轻量级、易上手的框架，让在本地电脑上运行开源大语言模型变得更加简单。那么，这两个框架该选哪一个呢？接下来，我们

LLM架构

探索ModernBERT：传统BERT模型的重大升级

探索ModernBERT：传统BERT模型的重大升级这次我们聚焦于ModernBERT，看看它是如何强化上下文嵌入的应用。我们还会讲讲如何生成用于微调的数据集，并展示怎样对ModernBERT进行微调，从而在自然语言处理（NLP）任务中取得更强大的效果。嵌入在机器学习和NLP中的重要性嵌入是机

基础模型

一文读懂自动编码器：类型、原理与应用

一文读懂自动编码器：类型、原理与应用近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容 LLM架构专栏知乎LLM专栏

理论基础

缓存增强生成（CAG）对比检索增强生成（RAG）：谁才是大语言模型的最优解？

缓存增强生成（CAG）对比检索增强生成（RAG）：谁才是大语言模型的最优解？ 1. 前期准备：RAG与KV-Cache（CAG） RAG 是什么 RAG是一种检索增强生成方法，它利用检索器查找相关文档，然后将这些文档传递给大语言模型，以生成最终答案。优势处理大型或频繁更新的数据集时，无需一次性加

RAG

ReaderLM v2：前沿小型语言模型，实现HTML到Markdown和JSON的转换

ReaderLM v2：前沿小型语言模型，实现HTML到Markdown和JSON的转换 ReaderLM的第二代是一款拥有15亿参数的语言模型，它能将原始HTML转换为格式精美的Markdown或JSON，准确率极高，并且在处理更长文本上下文方面表现更佳。ReaderLM-v2的输入和输出总长度支

基础模型

重现 OpenAI o1 的技术路线

重现 OpenAI o1 的技术路线 OpenAI o1发布后，其强大的推理能力远超早期的大语言模型（LLM），达到了媲美博士级专业知识的性能水平。目前，有两种复现o1的范式：基于知识蒸馏：这是一种捷径方法，可以提取o1的数据并微调LLM（如Llama 3.2、Qwen2等）以模仿o1的推理风格

LLM架构

典型的RAG流程、每个模块的最佳实践和综合评估

典型的RAG流程、每个模块的最佳实践和综合评估近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容 LLM架构专栏知乎LLM专栏

RAG

加速大模型推理：深入探究MQA、GQA、MLA（DeepSeek）、KV缓存技术

加速大模型推理：深入探究MQA、GQA、MLA（DeepSeek）、KV缓存技术回顾：多头注意力机制为什么LLM推理是串行的 KV缓存的挑战 2019年——多查询注意力机制（Multi Query Attention） 2023年5月——分组查询注意力机制（Grouped Query Atten

LLM架构

强化自训练（ReST）：让大语言模型更懂你的“心”

强化自训练（ReST）：让大语言模型更懂你的“心” 强化自我训练（Reinforced Self-Training，ReST）是一种简单的算法，它能让大语言模型（LLM）的输出更符合人类的偏好。这种算法的灵感来源于不断发展的批量强化学习（RL）。简单来说，先给大语言模型设定一个初始策略，ReST就可

基础模型