diff --git "a/\350\256\241\347\256\227\346\234\272\350\247\206\350\247\211/21_\346\211\213\345\212\250\346\216\250\345\257\274\345\217\215\345\220\221\344\274\240\346\222\255\345\205\254\345\274\217BP.md" "b/\350\256\241\347\256\227\346\234\272\350\247\206\350\247\211/21_\346\211\213\345\212\250\346\216\250\345\257\274\345\217\215\345\220\221\344\274\240\346\222\255\345\205\254\345\274\217BP.md" index da6e613..3774f1a 100644 --- "a/\350\256\241\347\256\227\346\234\272\350\247\206\350\247\211/21_\346\211\213\345\212\250\346\216\250\345\257\274\345\217\215\345\220\221\344\274\240\346\222\255\345\205\254\345\274\217BP.md" +++ "b/\350\256\241\347\256\227\346\234\272\350\247\206\350\247\211/21_\346\211\213\345\212\250\346\216\250\345\257\274\345\217\215\345\220\221\344\274\240\346\222\255\345\205\254\345\274\217BP.md" @@ -27,7 +27,7 @@ $$ 首先,根据神经网络误差函数的定义式,我们可以很容易地求出输出层的delta误差 $$\delta^L$$: $$ -\delta^L = \frac{\partial C}{\partial z^L} = \frac{\partial C}{\partial a^L} \frac{\partial a^L}{\partial z^L} = (a^L-y) \odot \delta'(z^L) +\delta^L = \frac{\partial C}{\partial z^L} = \frac{\partial C}{\partial a^L} \frac{\partial a^L}{\partial z^L} = (a^L-y) \odot \sigma'(z^L) $$ 公式中的 $$\odot$$ 表示 Hardmard 积,即对应逐元素相乘。注意输出层的 delta 误差 $$\delta^L$$ 与损失函数的定义相关,不同的损失函数得到不同的计算结果,在本文中损失函数以均方误差为例讲解。 @@ -44,7 +44,7 @@ $$ $$ 又: $$ -z^{l+1} = W^{l+!}a^l+b^{l+!} = W^{l+!}\sigma(z^l)+b^{l+!} +z^{l+1} = W^{l+1}a^l+b^{l+1} = W^{l+1}\sigma(z^l)+b^{l+1} $$ 因此: $$