杂项 | 大语言模型智能体
大语言模型智能体 (LLM Agent)：以大语言模型为决策核心，能够围绕目标自主规划、调用工具，并根据执行反馈持续调整行动以完成任务的系统。
机器学习 | 在线自蒸馏 (OPSD)
在线自蒸馏 (On-Policy Self-Distillation, OPSD)：一种让同一大语言模型分别充当教师与学生，教师利用标准答案等特权信息，在学生自身生成轨迹上提供逐词分布监督的推理能力训练方法。
机器学习 | 广义知识蒸馏 (GKD)
广义知识蒸馏 (Generalized Knowledge Distillation, GKD)：是一种让学生模型在自己生成的 On-Policy 序列上，利用教师模型给出的 Token-Level 分布反馈进行蒸馏，从而缓解自回归模型训练与推理分布不一致问题的方法。
机器学习 | LLM 并行方法（二）
本部分文章将涉及以下 LLM 并行方法：
- 上下文并行 (Context Parallelism, CP)：旨在突破超长序列带来的注意力计算与显存平方级增长瓶颈。
- 流水线并行 (Pipeline Parallelism, PP)：拥有极小的跨机通信开销，是突破单节点显存上限、实现多机大模型训练的核心基石。
- 专家并行 (Expert Parallelism, EP)：专为混合专家模型 (MoE) 量身定制，实现多专家的负载与算力均衡。
机器学习 | LLM 并行方法（一）
本部分文章将涉及以下 LLM 并行方法：
- 数据并行 (Data Parallelism, DP)：将数据切分给不同 GPU，不同 GPU 并行处理不同输入数据。
- 张量并行 (Tensor Parallelism, TP)：将单个参数矩阵切分到多卡，通过协作完成层内计算。
杂项 | 并行计算集合通信
集合通信 (Collective Communications)：分布式系统或并行计算中，用于在并发执行单元（GPU）间进行数据传输与同步的操作。