LLM¶
约 592 个字 预计阅读时间 3 分钟
- 漫谈 LLM 解码策略:采样策略(贪心解码、随机采样、Top-K 采样、Top-P 采样、核采样)和搜索策略( Beam Search) — 姚远
- tiny-LLM
- DeepSeek NSA 稀疏注意力复现
- 大模型理论基础
- 动手学大模型
- 大语言模型概念
- 最小熵原理(六):词向量的维度应该怎么选择? — 科学空间|Scientific Spaces
- LLM Cookbook:面向开发者的大模型手册
- LLM-Action
- 根据最小熵原理分析 transformer 中的词向量维度应该怎么选取
相关资料¶
- 大模型应用开发 — 上下文工程与运行空间实践指南
- DeepSeek-V4
- The Ultra-Scale Playbook: Training LLMs on GPU Clusters
- 预训练语言模型(PLM, Pretraining Language Model)
- 大模型核心概念科普:Token、上下文长度、最大输出,一次讲透
- Ahead of AI — Sebastian Raschka
- Qwen 模型微调之 SFT
- 万字长文图解 Qwen2.5-VL 实现细节
- 大模型的 Loss Landscape 是什么样的?
- RoPE 旋转位置编码解析
- The last six months in LLMs, illustrated by pelicans on bicycles
- LLM 的快思考与慢思考路线之 MCTS — haotian
- 按照苏神类似的思路推理 Transformer 中的 Softmax Attention 为什么要除以√d_k?
- 大语言模型学习资料(飞书知识库)
- nano-vllm 源码阅读笔记
- 大模型核心概念科普:Token、上下文长度、最大输出,一次讲透
- 2024 年 LLM 实习岗面经(一名大四学生的碎碎念)
- DeepSeek+LoRA+FastAPI 开发人员如何微调大模型并暴露接口给后端调用
- SpatialLM-Llama-1B
- Advanced Natural Language Processing 课程
评测与可解释性¶
- GPT-6 博客评测基准梳理 — 汇总 GPT-6 博客中使用的评测基准;简介依据原始分享说明,正文访问受限。
- 从 SAE 到 J-Lens:可解释性工具梳理 — 由组会分享整理的可解释性工具资料;简介依据原始分享说明,正文访问受限。
蒸馏与强化学习后训练¶
- On-Policy Distillation — Thinking Machines Lab 介绍让学生模型在自身生成的轨迹上接受教师密集监督的蒸馏方法,并讨论推理、个性化和持续学习场景。
- LLM RL 后训练中的 Score Centering — 从策略梯度与 baseline 推导 score centering、reward centering 和组均值的区别,讨论采样分布偏移时的梯度估计问题。