机器学习 | LLM 并行方法（二）
本部分文章将涉及以下 LLM 并行方法：
- 上下文并行 (Context Parallelism, CP)：旨在突破超长序列带来的注意力计算与显存平方级增长瓶颈。
- 流水线并行 (Pipeline Parallelism, PP)：拥有极小的跨机通信开销，是突破单节点显存上限、实现多机大模型训练的核心基石。
- 专家并行 (Expert Parallelism, EP)：专为混合专家模型 (MoE) 量身定制，实现多专家的负载与算力均衡。
机器学习 | LLM 并行方法（一）
本部分文章将涉及以下 LLM 并行方法：
- 数据并行 (Data Parallelism, DP)：将数据切分给不同 GPU，不同 GPU 并行处理不同输入数据。
- 张量并行 (Tensor Parallelism, TP)：将单个参数矩阵切分到多卡，通过协作完成层内计算。
机器学习 | 视觉语言模型 (VLM)
视觉语言模型 (Vision Language Model, VLM)：能够同时理解文本和图像的多模态大语言模型，输入为图像和文本，输出为文本。
机器学习 | 混合专家模型 (MoE)
混合专家模型 (Mixture of Experts, MoE)：一种通过将多个“专家”子模型组合起来，通过路由模块动态选择部分专家处理不同输入，从而实现高效扩展参数规模、提升性能并降低计算成本的深度学习方法。
机器学习 | 语言模型对话模板
语言模型对话模板 (Chat Template)： 语言模型的对话模板是 Tokenizer 的一部分，用来把问答的对话内容转换为模型的输入提示词，是模型对话能力至关重要的组件。
杂项 | 基于 Dify 框架实践 RAG 与 Agent
Dify：一款开源的大语言模型 AI 平台，无需代码即可构建自定义的大语言模型应用，同时也可以编写代码实现更加深度的自定义，其核心功能是“检索增强生成”与“大语言模型智能体”。
检索增强生成 (Retrieval Augmented Generation, RAG)：是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。
智能体 (Agent)：基于大型语言模型的强大语言理解和生成能力，通过提示词与外界接口使模型具有推理、决策和执行能力，从而解决复杂的实际问题。