对反向传播算法（Back-Propagation）的推导与一点理解
本文在推导过程中忽略了偏置的存在，这样做是为了更简单明晰的阐述BP算法的操作过程，并不是说偏置不重要，希望不会引起误会。
我们知道，神经网络大多采取正向传播预测，反向传播误差的结构。反向传播算法是运用在神经网络中进行网络权重等最优值计算算法，其核心就是梯度下降 + 链式法则求偏导，下面就对反向传播算法进行一下简单的推导：
在下面的推导过程中，
表示连接前一层神经元
和后一层神经元 
的权值。
对于输出层神经元
，它的输入
按下式进行计算(忽略偏置):
可以看到它的输入等于前一层所有神经元的输出
的输出按下式计算:
对于有监督训练, 期望输出即样本类标签d和实际输出y都是已知的, 可以定义误差或者loss function为:
前期的准备工作已经完成了，下面开始正式的推导过程：
这样，我们就可以根据最后求出的误差来对权重进行更新，这种误差反向传递的方式就是反向传播算法的精髓所在。
处理完输出层神经元，我们再来看一下输出层之前的一层神经元
的权值更新，我们定义
表示连接前一层神经元
和后一层神经元
的权值。
相信大家已经看出误差反向传导的内涵了，每一层所产生的误差会逐渐向之前的层次传播，而各层的权重根据梯度下降算法不断地优化。总之，反向传播算法的核心就是梯度下降 + 链式法则求偏导，虽然看起来很繁琐并且计算复杂度有点高，但是实际上BP算法的精确性和易用性是很难被其他算法替代的，这也是现在比如CNN等很火的深度学习算法普遍采用BP算法的原因。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
在日常办公中，数据透视表是Excel、WPS等表格工具中最常用的数据分析利器——它能快速汇总繁杂数据、挖掘数据关联、生成直观报表 ...
2026-02-28有限元法（Finite Element Method, FEM）作为工程数值模拟的核心工具，已广泛应用于机械制造、航空航天、土木工程、生物医学等多 ...
2026-02-28在数字化时代，“以用户为中心”已成为企业运营的核心逻辑，而用户画像则是企业读懂用户、精准服务用户的关键载体。CDA（Certifi ...
2026-02-28在Python面向对象编程（OOP）中，类方法是构建模块化、可复用代码的核心载体，也是实现封装、继承、多态特性的关键工具。无论是 ...
2026-02-27在MySQL数据库优化中，索引是提升查询效率的核心手段—— 面对千万级、亿级数据量，合理创建索引能将查询时间从秒级压缩到毫秒级 ...
2026-02-27在数字化时代，企业积累的海量数据如同散落的珍珠，若缺乏有效的梳理与分类，终将难以发挥实际价值。CDA（Certified Data Analys ...
2026-02-27在问卷调研中，我们常遇到这样的场景：针对同一批调查对象，在不同时间点（如干预前、干预后、随访期）发放相同或相似的问卷，收 ...
2026-02-26在销售管理的实操场景中，“销售机会”是核心抓手—— 从潜在客户接触到最终成交，每一个环节都藏着业绩增长的关键，也暗藏着客 ...
2026-02-26在CDA数据分析师的日常工作中，数据提取、整理、加工是所有分析工作的起点，而“创建表”与“创建视图”，则是数据库操作中最基 ...
2026-02-26在机器学习分析、数据决策的全流程中，“数据质量决定分析价值”早已成为行业共识—— 正如我们此前在运用机器学习进行分析时强 ...
2026-02-25在数字化时代，数据已成为企业决策、行业升级的核心资产，但海量杂乱的原始数据本身不具备价值—— 只有通过科学的分析方法，挖 ...
2026-02-25在数字化时代，数据已成为企业核心资产，而“数据存储有序化、数据分析专业化、数据价值可落地”，则是企业实现数据驱动的三大核 ...
2026-02-25在数据分析、机器学习的实操场景中，聚类分析与主成分分析（PCA）是两种高频使用的统计与数据处理方法。二者常被用于数据预处理 ...
2026-02-24在聚类分析的实操场景中，K-Means算法因其简单高效、易落地的特点，成为处理无监督分类问题的首选工具——无论是用户画像分层、 ...
2026-02-24数字化浪潮下，数据已成为企业核心竞争力，“用数据说话、用数据决策”成为企业发展的核心逻辑。CDA（Certified Data Analyst） ...
2026-02-24CDA一级知识点汇总手册 第五章 业务数据的特征、处理与透视分析考点52：业务数据分析基础考点53：输入和资源需求考点54：业务数 ...
2026-02-23CDA一级知识点汇总手册 第四章 战略与业务数据分析考点43：战略数据分析基础考点44：表格结构数据的使用考点45：输入数据和资源 ...
2026-02-22CDA一级知识点汇总手册 第三章 商业数据分析框架考点27：商业数据分析体系的核心逻辑——BSC五视角框架考点28：战略视角考点29： ...
2026-02-20CDA一级知识点汇总手册 第二章 数据分析方法考点7：基础范式的核心逻辑（本体论与流程化）考点8：分类分析（本体论核心应用）考 ...
2026-02-18第一章：数据分析思维考点1：UVCA时代的特点考点2：数据分析背后的逻辑思维方法论考点3：流程化企业的数据分析需求考点4：企业数 ...
2026-02-16
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
