第二支羽毛

一文读懂大语言模型评估：困惑度指标全解析

评估语言模型一直是一项具有挑战性的任务。我们如何衡量一个模型是否真正理解语言、生成连贯的文本，或者给出准确的回复呢？在为此目的而开发的各种指标中，困惑度指标作为自然语言处理和语言模型（LM）评估领域中最基础且应用最广泛的评估指标之一，备受关注。困惑度自统计语言建模的早期就开始被使用，即便在大语言模

LLM架构

特定领域嵌入模型微调指南

特定领域嵌入模型微调：从理论到实践在这篇文章中，我们将深入探讨针对特定领域（如医学、法律或金融）微调嵌入模型的过程。我们会专门为目标领域生成数据集，并利用它来训练模型，使其更好地理解所选领域内微妙的语言模式和概念。最终，你将拥有一个针对特定领域优化的更强大的嵌入模型，从而在 NLP 任务中实现更准

LLM架构

利用 vLLM 手撸一个多模态RAG系统

利用 vLLM 实现多模态RAG 系统本文将深入探讨如何使用 vLLM 构建多模态信息检索与生成（Multimodal RAG）系统，以实现对包含文本、图像和表格的文档的有效处理和智能问答。如果您想了解更多关于自然语言处理或其他技术领域的信息，请关注我们的公众号柏企阅文。一、多模态 RAG

LLM架构

如何在企业中实现知识图谱和大模型（LLM）互通

知识图谱（KG）与大型语言模型（LLM）：企业数据赋能的强强联合数据如同企业的生命线，而如何高效地利用数据则成为了企业发展的关键。大型语言模型（LLM）和知识图谱（KG）作为两种强大的数据处理工具，正逐渐改变着企业的运营模式。今天，我们就来深入探讨一下它们在企业中的应用以及如何协同工作，为企业带来

LLM架构

探索大型语言模型新架构：从 MoE 到 MoA

探索大型语言模型新架构：从 MoE 到 MoA 当前，商业科技公司纷纷投身于一场激烈的竞赛，不断扩大语言模型的规模，并为其注入海量的高质量数据，试图逐步提升模型的准确性。然而，这种看似顺理成章的发展路径逐渐暴露出诸多内在局限。一方面，高质量数据的获取并非易事；另一方面，计算能力的瓶颈以及在普通用户硬

LLM架构

专家混合（MoE）大语言模型：免费的嵌入模型新宠

专家混合（MoE）大语言模型：免费的嵌入模型新宠今天，我们深入探讨一种备受瞩目的架构——专家混合（Mixture-of-Experts，MoE）大语言模型，它在嵌入模型领域展现出了独特的魅力。一、MoE 架构揭秘（一）MoE 是什么？ MoE 是一种包含多个被称为“专家”子网的架构，每个子网专

LLM架构

2W8000字深度剖析25种RAG变体

深度剖析25种RAG变体：全网最全~ 本文28000字符，阅读时长~~ 看速度每种框架均配有框架示意图。本文全面、深入探讨了 25 种 RAG 变体。从基本的标准 RAG 到 CRAT 和 Graph RAG 等高级框架 — 详细的架构、组件细分、流程和具体的代码级实现，以实现 LLM 的动态

LLM架构

2w字解析量化技术，全网最全的大模型量化技术解析

2w字解析量化技术，全网最全的大模型量化技术解析 📖阅读时长：50分钟 🕙发布时间：2025-01-31 这篇网页文章主要围绕机器学习中的量化技术展开，详细介绍了其在大语言模型中的应用、基础概念、技术方法及不同模型的量化策略。量化是机器学习领域的一项关键优化技术，它能把高精度数值转化为低精度格

LLM架构

深入探索LLM架构，使用pytorch实现Transformer

深入探究架构并利用从RNN到Transformer的NLP模型构建实际应用本系列文章 1. LLM大模型架构专栏|| 从NLP基础谈起 2.LLM大模型架构专栏|| 自然语言处理（NLP）之建模 3. LLM大模型架构之词嵌入（Part1

LLM架构

2w8000字深度解析从 RNN 到 Transformer：构建 NLP 应用的架构演进之路

2w8000字深度解析从RNN到Transformer：构建NLP应用的架构演进之路 📖阅读时长：50分钟 🕙发布时间：2025-01-20 本文28000字，阅读时长~~ 看速度 2025年01月22日晴零下3度 <

LLM架构