微分

微分学的核心思想：用熟悉且简单的函数对复杂函数进行局部逼近

基本的概念

• 常用来逼近的函数

  • 线性函数：函数的一阶导数($y = kx + b$)
  • 多项式函数：泰勒级数

• 极限定义（描述）

  • 自然语言：当x趋于a时，f(x)的极限是L。

  • 数学符号：$\lim_{x \rightarrow a} f(x) = L$

  • 标准语言（术语，严格证明时用）：

    对于任意的$\varepsilon > 0$，存在一个$\delta > 0$，使得对于任何$x_{*} \epsilon (a - \delta, a + \delta)$，都有$\left | f(x) - L \right | < \varepsilon$

• 无穷小

  • 定义：一般把趋于零的极限称为无穷小。

  • 无穷小阶数：

    趋于零的速度越快的无穷小，其阶数越高。比$x^n, x \rightarrow 0$（n阶无穷小），趋于零速度还快的无穷小记为$o(x^n)$

两边夹定理

如果$f(x) < g(x) < h(x)$，而且这三个函数都在a点处有极限，那么$\lim_{x \rightarrow a} f(x) \leq \lim_{x \rightarrow a} g(x) \leq \lim_{x \rightarrow a} h(x)$

• 由两边夹定理推导出的结论
  • 三角函数：$\lim_{x \rightarrow 0} \frac{sin(x)}{x} = 1$
  • 指数函数：$\lim_{x \rightarrow 0} \frac{e^x - 1}{x} = 1$
    • 自然对数底数：$e = \lim_{x \rightarrow 0} (1 + \frac{1}{n})^n$

下面是一些证明过程


三角函数：$\lim_{x \rightarrow 0} \frac{sin(x)}{x} = 1$

借助直角坐标系来完成这个证明，请看图：

如图，我们可以得出结论，面积相比 三角形AOB < 扇形AOB < 三角形BOC

假设$\angle AOB$为x，那么弧AB为x，同时容易得出

三角形AOB的面积为$\frac {sin(x)}{2}$

扇形AOB面积为$\frac{x}{2}$

三角形BOC面积为$\frac{tan(x)}{2}$

根据观察得出的结论，可以得到$sin(x) < x < tan(x)$

因为x是大于0的数，并且我们想研究的数为$\frac{sin(x)}{x}$，所以同时除以x，有$\frac{sin(x)}{x} < 1 < \frac{tan(x)}{x}$，可以转化为$\frac{sin(x)}{x} < 1 < \frac{sin(x)}{x} \frac{1}{cos(x)}$

将两个小于号拆开可以得到：$\frac{sin(x)}{x} < 1$ 和 $1 < \frac{sin(x)}{x} \frac{1}{cos(x)}$，后者可以化简为$cos(x) < \frac{sin(x)}{x}$

结合两者，可以推出：$cos(x) < \frac{sin(x)}{x} < 1$

最后，因为$\lim_{x \rightarrow 0}cos(x) = 1$ 且 $\lim_{x \rightarrow 0} 1 = 1$，根据两边夹定理，可以得出

先看$e^x$，根据定义可知：

令：$m = nx$，则有：$\lim_{m \rightarrow \infty}(1 + \frac{x}{m})^m$

令：$F(m,x) = (1 + \frac{x}{m})^m$ ，则$\frac{e^x -1}{x}$可以写成$\lim_{m \rightarrow \infty} \frac{F(m,x) - 1}{x}$

而$F(m,x)$可以根据二项式展开写成：$1 + x + (\frac{x}{m})^2C_m^2 + ... + (\frac{x}{m})^mC_m^m$

二项式展开公式: $(a + b)^{n} = C_{n}^{0}a^{n}b^{0} + C_{n}^{1}a^{n - 1}b^{1} + … + C_{n}^{n - r}a^{n - r}b^{r} + … + C_{n}^{n}a^{0}b^{n}$

组合公式: $C_{n}^{m} = \frac{A_{n}^{m}}{m!} = \frac{n!}{m!(n -m)!} = C_{n}^{n-m}$

排列公式: $A_{n}^{m} = n(n-1)…(n - m + 1) = \frac{n!}{(n - m)!}$

所以把刚刚二项式展开的公式中的$C_{m}^{n}$都替换成$m^{n}$就有:

化简得$F(m,x) < 1 + x + ... + x^m$

上式对$1 + x + x^2 + … + x^n$的化简:

$$S_{n} = 1 + x + x^2 + … + x^{n}$$ (1)式 $$xS_{n} = x + x^2 + x^3 + … + x^{n + 1}$$ (2)式 (1) - (2)得: $$S_{n} - xS_{n} = 1 - x^{n + 1}$$ $$(1 - x)S_{n}= 1 - x^{n + 1}$$ $$S_{n} = 1 + x + x^2 + … + x^n = \frac{1- x^{n+1}}{1-x}$$

根据两边夹定理，得证$\lim_{x \rightarrow 0} \frac{e^x - 1}{x} = 1$

求导

导数是什么: 导数也是极限

一元函数

一阶导数定义：$f'(x) = \lim_{\Delta \rightarrow 0} \frac{f(x + \Delta) - f(x)}{\Delta}$

• 几何意义：用直线逼近曲线
• 代数意义：用线性函数逼近复杂函数

常见函数的导数：

• $\frac{d}{dx} C = 0$ (C为常数)

• $$\frac{d}{dx} x^n = nx^{n-1}$$
• $$\frac{d}{dx} sin(x) = cos(x)$$
• $$\frac{d}{dx} e^x = e^x$$

n阶导数

二阶导数: 导数的导数就是二阶导数

n阶导数: 就是导数的n次导数…

Taylor级数(对函数进行高阶逼近):

如果一个函数$f(x)$是n阶可微函数, 那么:

函数$f(x)$的n阶Taylor级数就是与$f(x)$拥有相同前n阶导数的n阶多项式

为什么要做Taylor展开:

因为微分的思想是逼近, 而我们自然会想到, 用多少阶导数去逼近呢? 如果使用一阶导数, 也就是线性逼近的话, 误差会不会大, 如果是使用高阶导数, 那么计算会变得复杂。

而Taylor级数告诉了我们一个很重要的道理:

当我们做n阶Taylor展开时, 最终的误差会缩小到$\Delta^n$这个量级.

也就是说, 当我们使用线性逼近的时候，误差会是o($\Delta$)这个量级, 而当我们做二阶Taylor展开时, 误差会缩小到$o(\Delta^2)$这个量级.

多元函数

对于一个二元函数$f(x,y)$, 偏导数定义为:

式子看上去很复杂, 实际上就是对一个参数求偏导时, 把另外不含这个参数的变量看成常数

之所以叫偏导数, 是因为它只是代表了这个函数的一部分导数.

比如说: $\partial_{x}f(x, y)$ 是函数$f(x, y)$ 沿着x轴上的导数.

而函数$f(x, y)$ 沿着方向$v = (a, b)$方向的导数为$\nabla_{x}f(x,y) = lim_{\Delta \rightarrow 0} \frac{f(x + \Delta \cdot a , y + \Delta \cdot b) - f(x, y)}{\Delta}$

所以，实际上偏导数就是沿着坐标轴方向的方向导数!

梯度

而我们把两个偏导数求出来后, 组成的向量 $[\frac{\partial f(x, y)}{\partial_{x}}, \frac{\partial f(x, y)}{\partial_{y}}]^T$ , 则称为这个函数的梯度

• 梯度的代数意义: 对函数进行线性逼近

• 梯度的几何意义:

  梯度方向就是函数增长最快的方向!!!

  梯度方向就是函数增长最快的方向!!!

  梯度方向就是函数增长最快的方向!!!

  (重要的事情说3遍, 为啥呢, 下次就知道了)