高欢

自动微分方法与最优化.pdf

自动微分方法是计算函数导数的有效工具.传统观念认为,计算H元函数的一个偏导数所需要的计算量与计算该函数的一个函数值的计算量大致相当.因此,计算,z元函数的梯度(,z个偏导数),所需计算量相当于函数值计算量的H倍.通常的方法,如数值微分(差商近似)和符号微分,都是如此.然而自动微分