杂项 | 并行计算集合通信

集合通信 (Collective Communications)：分布式系统或并行计算中，用于在并发执行单元（GPU）间进行数据传输与同步的操作。

机器学习 | 变分自编码器 (VAE)

变分自编码器 (Variational Autoencoder, VAE)：一种基于变分推断的深度生成模型，它通过将输入数据映射为潜空间中的连续概率分布，并从中采样解码来重构原始数据，从而学习到数据的潜在特征表示并能够生成全新的样本。

去噪扩散概率模型 (Denoising Diffusion Probabilistic Models, DDPM)：一种通过学习“如何将纯噪声一步步还原成清晰数据”来生成高质量图像、音频或其他内容的深度学习生成模型。

视觉语言模型 (Vision Language Model, VLM)：能够同时理解文本和图像的多模态大语言模型，输入为图像和文本，输出为文本。

混合专家模型 (Mixture of Experts, MoE)：一种通过将多个“专家”子模型组合起来，通过路由模块动态选择部分专家处理不同输入，从而实现高效扩展参数规模、提升性能并降低计算成本的深度学习方法。

优化器 (Optimizer)：机器学习中通过梯度信息调整模型参数以最小化损失的算法。