引言

在多分类问题中，一般会把输出结果传入到softmax函数中，得到最终结果。并且用交叉熵作为损失函数。本来就来分析下以交叉熵为损失函数的情况下，softmax如何求导。

对softmax求导

softmax函数为:

$y_i = frac{e^{z_i}}{sum_{k=1}^K e^{z_k}}$

yi​=∑k=1K​ezk​ezi​​

这里
$K$

K是类别的总数，接下来求
$y_i$

yi​对某个输出
$z_j$

zj​的导数,

$frac{partial y_i}{partial z_j} = frac{partial frac{e^{z_i}}{sum_{k=1}^K e^{z_k}}}{partial z_j}$

∂zj​∂yi​​=∂zj​∂∑k=1K​ezk​ezi​​​

这里要分两种情况,分别是
$i=j$

i=j与
$i neq j$

i​=j。当
$i=j$

i=j时,
$e^{z_i}$

ezi​对
$z_j$

zj​的导数为
$e^{z_i}$

ezi​，否则当
$i neq j$

i​=j时，导数为
$0$

0。

当
$i = j$

i=j，

$frac{partial y_i}{partial z_j} = frac{e^{z_i}cdot sum_{k=1}^K e^{z_k} – e^{z_i} cdot e^{z_j} }{(sum_{k=1}^m e^{z_k})^2} \ = frac{e^{z_i}}{sum_{k=1}^m e^{z_k}} – frac{e^{z_i}}{sum_{k=1}^m e^{z_k}} cdot frac{e^{z_j}}{sum_{k=1}^m e^{z_k}} \ = y_i – y_i^2 = y_i(1 – y_i)$

∂zj​∂yi​​=(∑k=1m​ezk​)2ezi​⋅∑k=1K​ezk​−ezi​⋅ezj​​=∑k=1m​ezk​ezi​​−∑k=1m​ezk​ezi​​⋅∑k=1m​ezk​ezj​​=yi​−yi2​=yi​(1−yi​)

当
$i neq j$

i​=j，

$frac{partial y_i}{partial z_j} = frac{0 cdot sum_{k=1}^K e^{z_k} – e^{z_i} cdot e^{z_j}}{(sum_{k=1}^m e^{z_k})^2} \ = – frac{e^{z_i}}{sum_{k=1}^m e^{z_k}} cdot frac{e^{z_j}}{sum_{k=1}^m e^{z_k}} \ = – y_i y_j$

∂zj​∂yi​​=(∑k=1m​ezk​)20⋅∑k=1K​ezk​−ezi​⋅ezj​​=−∑k=1m​ezk​ezi​​⋅∑k=1m​ezk​ezj​​=−yi​yj​

对cross-entropy求导

损失函数
$L$

L为:

$L = -sum_k hat y_k log y_k$

L=−k∑​y^​k​logyk​

其中
$hat y_k$

y^​k​是真实类别，相当于一个常数，接下来求
$L$

L对
$z_j$

zj​的导数

$frac{partial L}{partial z_j} = frac{partial -(sum_k hat y_k log y_k)}{z_j} = frac{partial -(sum_k hat y_k log y_k)}{partial y_k} frac{partial y_k}{partial z_j} \ = -sum_k hat y_k frac{1}{y_k} frac{partial y_k}{z_j} \ = left(-hat y_k cdot y_k(1 – y_k) frac{1}{y_k} right)_{k=j} – sum_{k neq j} hat y_k frac{1}{y_k} (-y_ky_j) \ = -hat y_j (1 – y_j) – sum_{k neq j} hat y_k (-y_j) \ = -hat y_j + hat y_j y_j + sum_{k neq j} hat y_k (y_j) \ = -hat y_j + sum_{k} hat y_k (y_j) \ = -hat y_j + y_j \ = y_j -hat y_j$

∂zj​∂L​=zj​∂−(∑k​y^​k​logyk​)​=∂yk​∂−(∑k​y^​k​logyk​)​∂zj​∂yk​​=−k∑​y^​k​yk​1​zj​∂yk​​=(−y^​k​⋅yk​(1−yk​)yk​1​)k=j​−k​=j∑​y^​k​yk​1​(−yk​yj​)=−y^​j​(1−yj​)−k​=j∑​y^​k​(−yj​)=−y^​j​+y^​j​yj​+k​=j∑​y^​k​(yj​)=−y^​j​+k∑​y^​k​(yj​)=−y^​j​+yj​=yj​−y^​j​

这里用到了
$sum_{k} hat y_k = 1$

∑k​y^​k​=1

可以看到，求导结果非常简单，如果不推倒都不敢信。