READ.md

𝑦12=𝑤111∗𝑥11+𝑤121∗𝑥21+𝑏1 𝑥12=𝑟𝑒𝑙𝑢(𝑦12) 𝑦22=𝑤121∗𝑥11+𝑤221∗𝑥21+𝑏2 𝑥22=𝑟𝑒𝑙𝑢(𝑦22) y31=w211x21+w221x22+b21 o1=relu(y31) y32=w212x21+w222x22+b21 o2=relu(y32)

其中，输入数据 x11=0.05，x12=0.10; 　　　　输出数据 o1=0.01,o2=0.99; 　　　　初始权重 w111=0.15,w112=0.20,w121=0.25,w122=0.30; 　　　　　　　　 w211=0.40,w212=0.45,w221=0.50,w222=0.55 目标：给出输入数据x11,x12(0.05和0.10)，使输出尽可能与原始输出o1,o2(0.01和0.99)接近。

前向计算： y21=w111x11+w121x12+b11=0.150.05+0.250.1+0.35= 0.38249999999999995 y22=w112x11+w122x12+b11=0.200.05+0.300.1+0.35= 0.38999999999999996 x21=relu(y21)=0.38249999999999995 x22=relu(y22)=0.38999999999999996 y31=w211x21+w221x22+b21=0.400.38249999999999995+0.500.38999999999999996 +0.60=0.948 y32=w212x21+w222x22+b21=0.450.38249999999999995+0.550.38999999999999996+0.60=0.986625 o1=relu(y31)=0.948 o2=relu(y32)=0.986625

后向计算： E1=1/2(o1-o1_)^2=1/2*(0.01-0.948)^2=0.4399219999999999 E2=1/2(o2-o2_)^2=1/2*(0.99-0.986625)^2=0.0000056953125 E=E1+E2=0.4399219999999999+0.0000056953125=0.4399276953124999 dE/dw211=dE/do1 * do1/dy31 * dy31/dw211=(o1-o1_)-1 * 1 * x21=(0.948-0.01)0.38249999999999995=0.3587849999999999 w211_ = w211- adE/dw211=0.40 - 0.010.3587849999999999=0.39641215 假设学习率a=0.01 其它和其它层的参数按照相同方法更新。