00. 高数唤醒

打开任何一篇AI论文或教材，你会发现几乎每个公式都包含这些符号：导数（d/dx）、偏导（∂/∂x）、链式法则、矩阵乘法、对数（log）。

你可能会问："我都忘了高中数学，能学AI吗？"答案是：完全可以。

好消息有三个：

• AI用到的高数不深——90%的公式只需要求导和链式法则。你不需要学微积分II、多重积分、微分方程。
• 你每天都在用导数的直觉——开车看速度（位置的变化率）、看理财收益率（钱的变化率）、感觉天气变冷（温度的变化率）。导数就是"变化率"。
• 学完这一章，之后的优化器、激活函数、损失函数、Transformer的公式你都能看懂。

把这章当做一个"公式翻译器"——不追求严谨证明，而是让你看到每个符号时知道它代表什么、为什么这么用。

导数的核心思想：函数在某一点的瞬时变化率。

🚗 开车类比：

• 你的车开了1小时，走了60公里。平均速度 = 60公里/小时。
• 但看仪表盘，速度在变化：红灯时0，加速到80，刹车时又慢下来。
• 导数就是仪表盘上的速度——不是平均速度，而是此时此刻的速度。
• 位置 s(t) 对时间 t 求导 = 速度 v(t)。速度 v(t) 对时间求导 = 加速度 a(t)。

数学定义（别怕，我们一步步拆）：

f'(x) = lim(Δx→0) [f(x+Δx) - f(x)] / Δx

拆解这个公式：

• f(x)：一个函数，比如 f(x) = x²。输入x，输出x²。
• f(x+Δx)：给x加一个很小的变化Δx，看输出变成什么。比如x=3，Δx=0.001，那f(3.001)=9.006001。
• f(x+Δx) - f(x)：输出变化了多少。9.006001 - 9 = 0.006001。
• [f(x+Δx)-f(x)] / Δx：输出变化 ÷ 输入变化 = 变化率。0.006001 ÷ 0.001 = 6.001。
• lim(Δx→0)：让Δx无限接近0，看看这个变化率趋近于多少。Δx=0.0001→6.0001，Δx=0.00001→6.00001……趋近于6。

所以 f'(3) = 6。意思是：在x=3这个点，函数f(x)=x²的变化率是6。

几何意义：导数 = 函数图像上该点切线的斜率。

• 导数 > 0：函数在上升（上坡）
• 导数 < 0：函数在下降（下坡）
• 导数 = 0：函数的极值点（山顶或谷底）——这就是"用导数找最小值"的核心

在AI中的意义：

AI训练就是找损失函数的最小值。损失函数L(w)告诉你"在当前参数w下，模型表现有多差"。我们想知道：如果稍微改一下参数w，损失L会变好还是变差？变化多大？——这正好是导数告诉我们的！

偏导的定义：当一个函数有多个输入变量时，对其中一个变量求导，其他变量视为常数。

🏠 装修预算类比：

假设装修总费用 f(瓷砖, 油漆, 人工) 取决于三个因素。

• 想知道"换一种瓷砖会多花多少钱？"→ 对"瓷砖"求偏导 ∂f/∂(瓷砖)
• 想知道"涨人工费会多花多少钱？"→ 对"人工"求偏导 ∂f/∂(人工)

每个偏导都独立地告诉你：只改这一个变量，其他不变，结果变化多少。

数学记号：

• f(x,y)有两个变量
• ∂f/∂x = 对x求偏导（y看作常数）
• ∂f/∂y = 对y求偏导（x看作常数）

实例：f(x,y)=x²·y+3y²

• ∂f/∂x：把y看作常数→2x·y（因为x²的导数是2x，乘以常数y）
• ∂f/∂y：把x看作常数→x²+6y（x²是常数，3y²的导数是6y）

在神经网络中的意义：

神经网络的损失函数 L 取决于数百万个参数（权重w₁,w₂,...,wₙ）。

• ∂L/∂w₁ = "如果稍微改一下w₁，损失L会变多少？"
• ∂L/∂w₂ = "如果稍微改一下w₂，损失L会变多少？"
• ……这样对每个参数求出偏导

这就是梯度下降的核心——算出每个参数的偏导，然后沿着下降方向更新。

梯度的定义：梯度 ∇f 是一个向量，包含函数f对所有变量的偏导。

数学表示：

∇f = [∂f/∂x₁, ∂f/∂x₂, ..., ∂f/∂xₙ]

🏔️ 登山类比：

• 你站在山上某一点，想知道"往哪个方向走上升最快？"
• 梯度方向=上升最快的方向
• 负梯度方向=下降最快的方向
• 梯度下降就是沿着负梯度方向走——快速下山找谷底（最小化损失）

梯度的三个关键性质：

1. 方向：指向函数增长最快的方向
2. 大小：梯度向量的长度 = 该方向的变化率大小|∇f| = √((∂f/∂x₁)²+(∂f/∂x₂)²+...)
3. 正交性：梯度方向与等高线垂直

在AI中：一次梯度计算 = 输入所有样本→前向传播→反向传播→得到每个参数的偏导。

链式法则：复合函数 f(g(x)) 的导数 = 外层导数 × 内层导数。

🥟 包子成本类比：

• 包子价格=面粉价格+肉价+人工
• 面粉价格=小麦价格×加工费
• 所以：包子价格对小麦的敏感度 = (包子价格对面粉的敏感度) × (面粉价格对小麦的敏感度)

这就是链式法则：把连锁反应一步步传递回去。

数学形式：

df/dx = df/dg · dg/dx

更常用的扩展形式（多个变量影响）：

df/dx = (∂f/∂g₁)(dg₁/dx) + (∂f/∂g₂)(dg₂/dx) + ...

神经网络中的链式法则（反向传播）：

一个简单神经网络：输入x→隐藏层h→输出层ŷ→损失L

损失L对权重w的导数：∂L/∂w = (∂L/∂ŷ) · (∂ŷ/∂h) · (∂h/∂w)

从右往左算：

1. 先算∂h/∂w（权重对输出的影响）
2. 再算∂ŷ/∂h（隐藏层对输出层的影响）
3. 最后算∂L/∂ŷ（输出对损失的影响）
4. 乘起来得到∂L/∂w

这就是"反向传播"名字的由来——从损失函数出发，反向逐层传播梯度。

Sigmoid函数 σ(x) = 1/(1+e⁻ˣ) 是AI中最重要的激活函数之一。

它的导数有一个超棒的发现：

σ'(x) = σ(x) · (1 - σ(x))

也就是说，用Sigmoid的输出值本身就能算出导数，不需要回过头去算x。

推导（不强制记住，但看看很有趣）：

Step 1：σ(x)=1/(1+e⁻ˣ) = (1+e⁻ˣ)⁻¹

Step 2：链式法则：σ'(x) = -1×(1+e⁻ˣ)⁻² × (-e⁻ˣ) = e⁻ˣ/(1+e⁻ˣ)²

Step 3：巧妙地写为：[1/(1+e⁻ˣ)] × [e⁻ˣ/(1+e⁻ˣ)]

Step 4：注意到 e⁻ˣ/(1+e⁻ˣ) = (1+e⁻ˣ-1)/(1+e⁻ˣ) = 1 - 1/(1+e⁻ˣ) = 1 - σ(x)

Step 5：所以 σ'(x) = σ(x) × (1-σ(x))

数值验证：

• σ(0) = 0.5 → σ'(0) = 0.5×0.5 = 0.25
• σ(5) = 0.9933 → σ'(5) = 0.9933×0.0067 ≈ 0.0067
• σ(-5) = 0.0067 → σ'(-5) = 0.0067×0.9933 ≈ 0.0067

观察：x远离0时，导数非常小——这就是"梯度消失"问题：深层网络反向传播时，梯度越乘越小，前层几乎不更新。

为什么需要矩阵？

神经网络的一层：有n个输入和m个输出。如果不用矩阵，你得写n×m个循环。用矩阵：一行代码搞定。

矩阵乘法规则：

A(m×n) × B(n×p) = C(m×p)

条件：A的列数必须等于B的行数。

📦 物流类比：

• 你有3个仓库（3行），每个仓库有4种商品的数量（4列）
• 每种商品有5个目的地（5列）的运送单价
• 矩阵乘法 = 算出从每个仓库到每个目的地的总运费

神经网络的矩阵形式：

y = Wx + b

其中：

• x：输入向量（n维）
• W：权重矩阵（m×n维）
• b：偏置向量（m维）
• y：输出向量（m维）

y的第i个元素 = Σ(W[i][j] × x[j]) + b[i]，j从1到n

堆叠多层：

深度学习 = 一串矩阵乘法 + 激活函数

h₁ = σ(W₁x + b₁)

h₂ = σ(W₂h₁ + b₂)

ŷ = W₃h₂ + b₃

为什么AI中到处是log？

三个核心原因：

• 乘法变加法：log(ab)=log(a)+log(b)。求导时，加法比乘法简单无数倍。
• 数值稳定：一个很小的概率 p=0.0001，直接乘n次会下溢为0。取log后是-4+(-4)+...，稳定得多。
• 信息论定义：信息量 = -log(p)。交叉熵损失源于信息论。

常用对数规则（务必记住）：

• log(ab) = log(a) + log(b)
• log(a/b) = log(a) - log(b)
• log(aⁿ) = n·log(a)
• ln(eˣ) = x（自然对数的定义）
• e^(ln(a)) = a

实例：交叉熵损失

CE = -Σ yᵢ·log(ŷᵢ)

其中y是真实标签（[1,0,0]），ŷ是预测概率（[0.7,0.2,0.1]）。

计算：CE = -(1×log(0.7) + 0×log(0.2) + 0×log(0.1)) = -log(0.7) ≈ 0.357

如果预测错了：ŷ=[0.1,0.2,0.7]，CE = -log(0.1) ≈ 2.303

错误时惩罚大了约6.5倍——这就是交叉熵"惩罚错误"的方式。