ChatGPT Prompt Engineering for Developers
吴恩达 × OpenAI 短课
DeepLearning.AI 与 OpenAI 合作的免费短课。1.5 小时学完 Prompt Engineering 核心技巧:指令、迭代、摘要、推理、转换、扩展、聊天机器人。
1.5 小时掌握 Prompt Engineering 核心技巧
HuggingFace NLP Course
从 Transformers 到部署
HuggingFace 官方 NLP 课程。系统学习 Transformers 库:Tokenization、微调、训练、评估、部署。覆盖文本分类、NER、问答、摘要、翻译等任务。
Let's build GPT: from scratch
Karpathy — 从零构建 GPT
Andrej Karpathy 的经典 YouTube 教程。从零开始用 Python 实现一个 GPT 模型,逐行讲解 Transformer 的每个组件。2 小时视频,信息密度极高。
Karpathy 逐行代码讲解,2 小时理解 GPT 的全部细节
DeepLearning.AI LLM Short Courses
20+ 门 LLM 专题微课
DeepLearning.AI 的 LLM 微课系列。每门课 1-2 小时,覆盖:RAG、Fine-tuning、Agent、LangChain、向量数据库、多模态、评估。与 OpenAI/Anthropic/Google 等合作。
Attention Is All You Need
Transformer 原始论文
2017 年 Google 发表的 Transformer 论文。提出了自注意力机制、多头注意力、位置编码。彻底改变了 NLP 和整个 AI 领域。必读论文,没有之一。
改变了整个 AI 领域的论文,自注意力机制的诞生
LangChain
LLM 应用开发框架
最流行的 LLM 应用开发框架。提供 Chain、Agent、Memory、Retriever 等抽象。快速构建 RAG、聊天机器人、数据分析等 LLM 应用。Python/JS 双语言支持。
LlamaIndex
RAG 首选框架
专为 RAG(检索增强生成)设计的数据框架。支持 160+ 种数据源连接,高级检索策略,查询引擎。是构建知识库问答系统的最佳选择。
nanoGPT
Karpathy — 最简洁的 GPT 实现
Andrej Karpathy 的极简 GPT 实现。核心代码仅 300 行,可训练和推理。是学习 Transformer 代码实现的最佳起点。附带 Shakespeare 和 OpenWebText 训练脚本。
vLLM
高吞吐 LLM 推理引擎
UC Berkeley 开发的高性能 LLM 推理引擎。PagedAttention 技术实现 2-4x 吞吐提升。支持模型并行、连续批处理。生产环境部署 LLM 的首选推理框架。
LLaMA: Open Foundation Language Models
Meta — 开源 LLM 先驱
Meta 发布的开源大语言模型论文。证明用小数据训练小模型也能达到 GPT-3 性能。开启了开源 LLM 时代,催生了 LLaMA 2/3、Mistral、Qwen 等优秀模型。