AI 学习笔记
覆盖 AI Roadmap 的学习笔记。每个路线图知识点对应一篇独立笔记;实验性、时效性结论必须记录模型、版本和日期。
阶段零:编程、数据与 API 入门
- [x] JavaScript、TypeScript 与 Python 的选择
- [x] AI 应用需要的编程基础
- [x] 命令行、Git、包管理、虚拟环境与环境变量
- [x] HTTP、JSON、REST API、状态码、认证与流式响应
- [x] 文件、文本编码、CSV、JSONL 与数据清洗
- [x] Secret、最小权限与费用上限
- [x] SDK 与原始 HTTP 模型调用
- [x] 模型标识、输入输出、Token、延迟与费用记录
- [x] Streaming、取消、超时与错误展示
- [x] Structured Output、Schema 与运行时校验
- [x] 固定样例与模型/Prompt 对比
阶段一:基础认知
- [x] 训练、推理、参数、损失、泛化与过拟合
- [x] 训练集、验证集、测试集与 Benchmark
- [x] Tokenization、Context Window 与输入输出成本
- [x] Embedding、向量、点积与余弦相似度
- [x] Transformer、Attention、Q/K/V、位置与自回归生成
- [x] Pretraining、SFT、偏好优化、Prompt、RAG 与 Fine-tuning
阶段二:模型 API 与 Prompt
- [x] System、User 与 Assistant 消息
- [x] 多轮、Streaming、Structured Output、Tool Calling 与多模态
- [x] 取消、超时、有限重试、限流与 Usage
- [x] 统一模型 Client 与厂商隔离
- [x] Prompt 的 Role、Task、Context、Constraints、Examples、Output Format 与 Failure Behavior
- [x] 同一任务的 Prompt 版本对比
- [x] 真实测试样例
- [x] JSON Schema 与运行时校验
- [x] Prompt 版本化
- [x] 模型、参数、Token、延迟与成本记录
- [x] 格式错误与内容错误
- [x] Prompt、代码、RAG、Tool 与 Workflow 的选择
阶段三:Context Engineering
- [x] 指令与数据的边界
- [x] 可信边界与不可信上下文
- [x] Token Budget 分配
- [x] 长对话摘要与关键事实
- [x] 上下文去重、过期与冲突
- [x] 上下文权限与租户隔离
- [x] 最终模型输入的记录与可重放性
- [x] 上下文调试页面
- [x] 记忆生命周期与用户控制
- [x] 记忆类型与数据库事实
阶段四:AI 应用与 AI UX
- [x] AI 任务状态机
- [x] Streaming、Stop、Retry 与 Continue
- [x] 断线、重复事件与半截 JSON
- [x] 流式 Markdown 与未闭合代码块
- [x] Artifact、Diff、History 与 Restore
- [x] Citation、证据与无法回答
- [x] 不确定性、人工确认与人工接管
- [x] 页面刷新后的长任务恢复
阶段五:RAG
文档解析
Chunk
Retrieval
- [x] Dense、Keyword 与 Hybrid Retrieval
- [x] Metadata Filter 与权限过滤
- [x] Query Rewrite、Multi-query、实体与时间过滤
- [x] Top-K、Threshold 与 Rerank
- [x] 无相关结果时的拒答与降级
Evaluation
- [x] 构建至少 50 条真实 RAG 问题
- [x] 相关文档与参考答案标注
- [x] Recall@K、Context Relevance、Groundedness 与 Citation Accuracy
- [x] 无答案、过期资料、冲突来源与权限测试
- [x] Chunk、检索与模型变更后的 RAG 回归
阶段六:Tool Calling 与 MCP
Tool 设计
- [x] 清晰的 Tool 名称与描述
- [x] Tool 单一职责、简洁 Schema 与稳定输出
- [x] Tool 输入验证、超时、有限重试与幂等
- [x] 只读与写入 Tool 分离
- [x] 写操作的影响范围展示与确认
- [x] Tool 权限、审计、脱敏与错误隔离
MCP
- [x] MCP Host、Client 与 Server
- [x] MCP Transport、Tools、Resources、Prompts 与 Capabilities
- [x] 使用 MCP Inspector 调试 Server
- [x] 开发本地 MCP Server
- [x] MCP 认证、授权与日志
- [x] 限制 MCP 文件、URL、命令访问与 SSRF
阶段七:Workflow 与 Agent
Workflow 模式
- [x] Prompt Chaining 与 Sequential Workflow
- [x] Routing:规则、分类器与模型混合路由
- [x] Parallelization:独立任务、Fan-out/Fan-in 与结果聚合
- [x] Orchestrator–Workers:动态任务分解、调度与受控执行
- [x] Evaluator–Optimizer:受控反馈、迭代改进与停止条件
Agent 组件
- [x] Agent 的 Goal、State、Planner、Tools、Executor、Evaluator、Memory、Stop Condition 与 Human Approval
- [x] Agent 的步骤、Token、成本与总超时预算
- [x] Agent 的暂停、取消、恢复、失败步骤与部分完成
- [x] 防止 Agent 循环、重复操作与重试风暴
- [x] Agent 长任务架构:持久化步骤、队列、Worker、进度与完成
阶段八:Evaluation
- [x] 从真实请求建立正常、边界、无答案、权限与对抗样例集
- [x] 把 Bug 转化为可持续运行的回归样例
- [x] 组合确定性检查、人工评估与 LLM Judge
- [x] 检验并校准 LLM Judge 的稳定性
- [x] 联合记录质量、延迟与成本
- [x] 设置上线门槛与 CI 回归
- [x] 把线上失败回流到离线评估集
阶段九:生产工程
阶段十:安全与治理
- [x] 提示注入、最小权限、审计与红队
阶段十一:进阶选修
覆盖表
| Roadmap 范围 | 笔记数 | 覆盖状态 |
|---|---|---|
| 阶段零至阶段二:入门与初级 | 29 | 完成 |
| 阶段三:Context Engineering | 10 | 完成 |
| 阶段四:AI 应用与 AI UX | 8 | 完成 |
| 阶段五:RAG | 18 | 完成 |
| 阶段六:Tool Calling 与 MCP | 12 | 完成 |
| 阶段七:Workflow 与 Agent | 10 | 完成 |
| 阶段八:Evaluation | 7 | 完成 |
| 阶段九:生产工程 | 1 | 完成 |
| 阶段十:安全与治理 | 1 | 完成 |
| 阶段十一:进阶选修 | 1 | 完成 |
| 合计 | 97 | 阶段零至阶段十一全部覆盖 |
写作与维护要求
- 资料优先级:规范与官方文档 → 论文/模型卡 → 可复现实验 → 高质量工程资料。
- 每篇包含:是什么、为什么、关键特性、实际使用、常见错误与边界、补充知识、来源。
- 来源写直接链接和访问日期;模型行为不能只凭一次运行下结论。