标签：
================================
目录：
1. 第一次课：函数的连续、极限、导数、导数四则运算、复合函数求导、微分、泰勒展开、中值定理、凹凸性
2.
================================
1. 第一次课：函数的连续、极限、导数、导数四则运算、复合函数求导、微分、泰勒展开、中值定理、凹凸性
连续：左极限=右极限，则连续；
极限：极限=左极限=右极限；连续一定有极限；
导数： \( {f(x_0))}‘= \lim_{x \to x_0}\frac{f(x)-f(x_0)}{x - x_0} = \lim_{\Delta x \to 0} \frac{\Delta y}{\Delta x} \)
因为\( \lim_{\Delta x \to 0} \frac{\Delta y}{\Delta x} \)的左极限=右极限，所以连续，所以\( \lim_{\Delta x \to 0} \frac{\Delta y}{\Delta x} \) 一定有极限，所以它可导；
一般用这个形式求解： \( \lim_{h \to 0}\frac{f(x+h)-f(x)}{h} \) ...............(1)
几何意义：\( x_0 \)点处的切线的斜率；
导数的四则运算：
\( {[f(x)g(x)])}‘ = {[f(x))}‘g(x) + [g(x))}‘h(x) \)
\( {[\frac{f(x)}{g(x)}]}‘ = \frac{{f(x)}‘g(x) - {g(x)}‘f(x)}{g(x)^{2}} \) ...............(2)
上面可以用（1）公式证明
sigmoid的导数：
sigmoid函数：\( f(x) = \frac{1}{1+e^{-x}} \)
sigmoid函数的导数：\( {f(x)}‘ = \frac{e^{-x}}{{1+e^{-x}}^2} \) 利用（2）
\( = \frac{1}{1+e^{-x}}\cdot \frac{1+e^{-x}-1}{1+e^{-x}} \)
\( = \frac{1}{1+e^{-x}}\cdot (1- \frac{1}{1+e^{-x}})\)
\( = sin(x) \cdot (1-sin(x)) \) [ \( \approx {sin(x)}^2 \) ]
标签：
原文地址：http://www.cnblogs.com/Michael-Xin/p/4693334.html
