方便学习使用，原文链接如下
http://blog.csdn.net/lanchunhui/article/details/53114624
二阶泰勒展开：
f(x)=f(0)+f′Tx+12xTf′′x+o(⋅)
对等式右端求导，并置 0，得 x=f′′−1f′
设有单位向量 h=(h1,h2,⋯,hn)∈Rn（当然不要求 hi 之间必须相等），它表示 n 维空间中的一个方向（长度是单位 1），可微（多元）函数 f(x) 在点 x 沿 h 方向的方向导数（directional derivative，沿着某方向的导数）定义为：
∂f(x)∂h=limα→0+f(x+αh)−f(x)α
对 f(x+αh) 执行（在 x 处）泰勒展开：
f(x+αh)=f(x)+∇f(x)T(αh)+o(∥αh∥)
因此方向导数定义式进一步可化为：
∂f(x)∂h===∇f(x)T(αh)+o(∥αh∥)α∇f(x)Th∥∇f(x)∥cos(∇f(x),h)
所以其沿任意方向的导数为：hT∇f：
大于 0，为上升方向（f(x+αh)−f(x)>0）；
小于 0，则为下降方向（f(x+αh)−f(x)<0）；
cos(∇f(x),h)=1（夹角为 0°，h=∇f） 时，∂f∂h 取的最大值，为 ∥∇f∥，h=∇f 为最速上升方向；
cos(∇f(x),h)=−1（夹角为 180°，h=−∇f） 时，∂f∂h 取得最小值，为 −∥∇f∥，h=−∇f 为最速下降方向；
自然是对自变量 x 求偏导；求梯度得到的是一个列向量；
bTx=∑ibixi，则 ∇bTx=b
xTx=∑ix2i，则 ∇xTx=2x
xTAx（AT=A），则 ∇xTAx=2Ax
