高等数学

1. 泰勒公式家族（等价无穷小之源）

核心思想：泰勒公式是“全集”，等价无穷小是其“子集”。放在一起记忆，以泰勒公式为纲。

皮亚诺余项刻画了麦克劳林（或泰勒）展开式在 $x\to 0$ （或 $x\to x_0$ ）时的局部逼近精度。 余项的阶数$o(x^n)$ 表示：展开式已包含所有不超过$n$阶的非零项（即使某些系数为 0），且误差比$x^n$更高阶。 如对$sinx$ ：

$$sinx=x-\frac{x^3}{3!}+o(x^3)\text{（基本形式）}$$

但由于$sinx$是奇函数，其$x^4$系数为0，因此余项可以直接写到$o(x^4)$，即：

$$sinx=x-\frac{x^3}{3!}+o(x^4)\text{（更精确的形式）}$$

家族一：指数与对数族

• 指数函数

$$\begin{array}{rl}& e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+o(x^3)\\ & e^x=\sum _{n=0}^{\infty }\frac{x^n}{n!},\text{收敛域：}(-\infty ,+\infty )\end{array}$$

记忆技巧：分母是阶乘，符号全为正。

衍生等价无穷小：$e^x-1\sim x$

• 对数函数

$$\begin{array}{rl}& \ln (1+x)=x-\frac{x^2}{2}+\frac{x^3}{3}+o(x^3)\\ & \ln (1+x)=\sum _{n=1}^{\infty }(-1{)}^{n+1}\frac{x^n}{n},\text{收敛域：}(-1,1]\end{array}$$

记忆技巧：分母是自然数，符号正负交替。

衍生等价无穷小：$\ln (1+x)\sim x$

进阶等价：$x-\ln (1+x)\sim \frac{1}{2}{x}^2$

家族二：三角函数族

• 正弦函数

$$\begin{array}{rl}& \sin x=x-\frac{x^3}{3!}+o(x^4)\\ & \sin x=\sum _{n=0}^{\infty }(-1{)}^n\frac{x^{2n+1}}{(2n+1)!},\text{收敛域：}(-\infty ,+\infty )\end{array}$$

记忆技巧：只含奇数次项，符号正负交替。

衍生等价无穷小：$\sin x\sim x$

进阶等价：$x-\sin x\sim \frac{1}{6}{x}^3$

• 余弦函数

$$\begin{array}{rl}& \cos x=1-\frac{x^2}{2!}+\frac{x^4}{4!}+o(x^5)\\ & \cos x=\sum _{n=0}^{\infty }(-1{)}^n\frac{x^{2n}}{(2n)!},\text{收敛域：}(-\infty ,+\infty )\end{array}$$

记忆技巧：只含偶数次项，符号正负交替。可以看作是 sin⁡xsinx 求导后的结果。

衍生等价无穷小：$1-\cos x\sim \frac{1}{2}{x}^2$

• 正切函数

$$\tan x=x+\frac{1}{3}{x}^3+o(x^4)$$

记忆技巧：可以通过$\tan x=\frac{sinx}{cosx}$ 做多项式除法得到。

衍生等价无穷小：$\tan x\sim x$

进阶等价：$\tan x-x\sim \frac{1}{3}{x}^3$

家族三：反三角函数族

• 反正弦函数

$$\begin{array}{rl}& \arcsin x=x+\frac{1}{6}{x}^3+o(x^4)\\ & \arcsin x=-i\ln \left(ix+\sqrt{1-x^2}\right)\end{array}$$

记忆技巧：只有奇数次项，系数均为正。

衍生等价无穷小：$\arcsin x\sim x$

进阶等价：$\arcsin x-x\sim \frac{1}{6}{x}^3$

• 反正切函数

$$\begin{array}{rl}& \arctan x=x-\frac{1}{3}{x}^3+o(x^4)\\ & \arctan x=\frac{1}{2i}\ln \left(\frac{1+ix}{1-ix}\right)\\ & \arctan x=\sum _{n=0}^{\infty }(-1{)}^n\frac{x^{2n+1}}{2n+1},\text{收敛域：}[-1,1]\\ & \arctan x=-i\mathrm{artanh}(ix)\\ & \mathrm{artanh}(x)=\frac{1}{2}\ln \left(\frac{1+x}{1-x}\right)\end{array}$$

记忆技巧：形式类似 ln⁡(1+x)ln(1+x)，但分母是奇数。

衍生等价无穷小：$\arctan x\sim x$

进阶等价：$x-\arctan x\sim \frac{1}{3}{x}^3$

家族四：二项式家族（核心！）

• 广义二项式定理（万能）

$$\begin{array}{rl}& (1+x{)}^{\alpha }=1+\alpha x+\frac{\alpha (\alpha -1)}{2!}{x}^2+\frac{\alpha (\alpha -1)(\alpha -2)}{3!}{x}^3+o(x^3)\\ & (1+x{)}^{\alpha }=\sum _{n=0}^{\infty }(\genfrac{}{}{0ex}{}{\alpha }{n})x^n,\text{其中 }(\genfrac{}{}{0ex}{}{\alpha }{n})=\frac{\alpha (\alpha -1)\cdots (\alpha -n+1)}{n!}\end{array}$$

收敛域：

• 若 $\alpha$ 为非负整数：对所有 $x$ 收敛（有限项多项式）。
• 若 $\alpha \notin \mathbb{N}$：收敛域为 $|x|<1$；
  • 当 $\alpha >-1$ 时，在 $x=1$ 处收敛；
  • 当 $\alpha \le -1$ 时，在 $x=\pm 1$ 均发散。

记忆技巧：系数是组合数形式$C_a^n$ 。这是万能公式，许多其他公式可由它推出。

衍生等价无穷小：$(1+x{)}^{\alpha }-1\sim \alpha x$

• 常用特例
  1. 平方根（$\alpha =\frac{1}{2}$）

$$\begin{array}{rl}& \sqrt{1+x}=1+\frac{1}{2}x-\frac{1}{8}{x}^2+\frac{1}{16}{x}^3+o(x^3)\\ & \sqrt{1+x}=\sum _{n=0}^{\infty }\left(\genfrac{}{}{0ex}{}{1/2}{n}\right)x^n,|x|<1\end{array}$$

2. 几何级数（$\alpha =-1$）

$$\begin{array}{rl}& \frac{1}{1-x}=1+x+x^2+x^3+o(x^3)\\ & \frac{1}{1-x}=\sum _{n=0}^{\infty }{x}^n,|x|<1\\ & \frac{1}{1+x}=1-x+x^2-x^3+o(x^3)\\ & \frac{1}{1+x}=\sum _{n=0}^{\infty }(-1{)}^n{x}^n,|x|<1\\ & \frac{1}{(1+x{)}^2}=1-2x+3x^2-4x^3+o(x^3)\\ & \frac{1}{(1+x{)}^2}=-\sum _{n=1}^{\infty }(-1{)}^{n}n{x}^{n-1}=\sum _{n=0}^{\infty }(-1{)}^n(n+1)x^n,|x|<1\\ & \frac{2}{(1+x{)}^3}=2-6x+12x^2-20x^3+o(x^3)\\ & \frac{2}{(1+x{)}^3}=\sum _{n=0}^{\infty }(-1{)}^n(n+2)(n+1)x^n,|x|<1\end{array}$$

---

2. 导数公式家族

家族一：基本初等函数

$$\begin{array}{rl}& (C{)}^{\prime }=0\\ & (x^{\mu }{)}^{\prime }=\mu x^{\mu -1}\\ & (\sin x{)}^{\prime }=\cos x\\ & (\cos x{)}^{\prime }=-\sin x\\ & (\tan x{)}^{\prime }={\sec }^{2}x\\ & (\cot x{)}^{\prime }=-{\csc }^{2}x\\ & (a^x{)}^{\prime }=a^x\ln a\\ & (e^x{)}^{\prime }=e^x\\ & ({\log }_{a}x{)}^{\prime }=\frac{1}{x\ln a}\\ & (\ln x{)}^{\prime }=\frac{1}{x}\end{array}$$

家族二：反函数族

$$\begin{array}{rl}& (\arcsin x{)}^{\prime }=\frac{1}{\sqrt{1-x^2}}\\ & (\arccos x{)}^{\prime }=-\frac{1}{\sqrt{1-x^2}}\\ & (\arctan x{)}^{\prime }=\frac{1}{1+x^2}\\ & (\text{arccot }x{)}^{\prime }=-\frac{1}{1+x^2}\end{array}$$

家族三：经典复合函数

$$\begin{array}{rl}& {\mathrm{arsinh}}^{\prime }\left(\frac{x}{a}\right)=[\ln (x+\sqrt{x^2+a^2}){]}^{\prime }=\frac{1}{\sqrt{x^2+a^2}}\text{（常用于积分）}\\ & {\mathrm{arcosh}}^{\prime }\left(\frac{x}{a}\right)=[\ln (x+\sqrt{x^2-a^2}){]}^{\prime }=\frac{1}{\sqrt{x^2-a^2}}\text{（常用于积分）}\end{array}$$

---

3. 积分公式家族

家族一：基本积分表

$$\begin{array}{rl}& \int x^{\mu }dx=\frac{x^{\mu +1}}{\mu +1}+C(\mu \ne -1)\\ & \int \frac{1}{x}dx=\ln |x|+C\\ & \int e^{x}dx=e^x+C\\ & \int \sin xdx=-\cos x+C\\ & \int \cos xdx=\sin x+C\\ & \int \frac{dx}{1+x^2}=\arctan x+C\\ & \int \frac{dx}{\sqrt{1-x^2}}=\arcsin x+C\end{array}$$

家族二：含 $a^2\pm x^2$ 和 $x^2-a^2$ 的积分

$$\begin{array}{rl}& \int \frac{dx}{a^2+x^2}=\frac{1}{a}\arctan \frac{x}{a}+C\\ & \int \frac{dx}{\sqrt{a^2-x^2}}=\arcsin \frac{x}{a}+C\\ & \int \frac{dx}{x^2-a^2}=\frac{1}{2a}\ln \left|\frac{x-a}{x+a}\right|+C\\ & \int \frac{dx}{\sqrt{x^2\pm a^2}}=\ln |x+\sqrt{x^2\pm a^2}|+C\end{array}$$

家族三：三角相关积分

$$\begin{array}{rl}& \int \tan xdx=-\ln |\cos x|+C\\ & \int \cot xdx=\ln |\sin x|+C\\ & \int {\sec }^{2}xdx=\tan x+C\\ & \int {\csc }^{2}xdx=-\cot x+C\end{array}$$

家族四：常用积分结论（对称性、区间再现等）

$$\begin{array}{rl}& {\int }_a^{b}f(x)dx={\int }_a^{b}f(a+b-x)dx=\frac{1}{2}{\int }_a^b[f(x)+f(a+b-x)]dx\\ & {\int }_{-\pi }^{\pi }\sin nxdx={\int }_{-\pi }^{\pi }\cos nxdx=0\\ & {\int }_{-\pi }^{\pi }\sin mx\sin nxdx=\{\begin{array}{ll}0,& m\ne n\\ \pi ,& m=n\end{array}\\ & {\int }_0^{\frac{\pi }{2}}{\sin }^{n}xdx={\int }_0^{\frac{\pi }{2}}{\cos }^{n}xdx=\{\begin{array}{ll}\frac{(n-1)!!}{n!!}\cdot \frac{\pi }{2},& n\text{为偶数}\\ \frac{(n-1)!!}{n!!},& n\text{为奇数}\end{array}(\text{沃利斯公式})\end{array}$$

---

线性代数

符号规范（MIT / Strang 标准）

• 行列式：$\det (A)$
• 转置：$A^{\mathsf{T}}$
• 伴随矩阵：$\mathrm{adj}(A)$
• 秩：$\mathrm{rank}(A)$
• 零空间（核）：$\ker (A)$ 或 $\mathcal{N}(A)$
• 列空间：$\mathcal{C}(A)$
• 迹：$\mathrm{tr}(A)$

1. 行列式（Determinant）

1.1 基本性质

设 $A\in {\mathbb{R}}^{n\times n}$，$k\in \mathbb{R}$：

• $\det (kA)=k^n\det (A)$
• $\det (AB)=\det (A)\det (B)$
• $\det (A^{-1})=\frac{1}{\det (A)}$，若 $\det (A)\ne 0$
• $\det (A^{\mathsf{T}})=\det (A)$

几何意义：$|\det (A)|$ 表示单位立方体经 $A$ 变换后的体积；$\det (A)=0$ 表示空间被压缩到低维（列线性相关）。

1.2 伴随矩阵与行列式

• 定义：$\mathrm{adj}(A)$ 是 $A$ 的代数余子式矩阵的转置。

• 恒等式：

  $$A\mathrm{adj}(A)=\mathrm{adj}(A)A=\det (A)I$$

• 逆矩阵表达（当 $\det (A)\ne 0$）：

  $$A^{-1}=\frac{1}{\det (A)}\mathrm{adj}(A)$$

• 行列式关系：

  $$\det (\mathrm{adj}(A))=(\det (A){)}^{n-1}$$

1.3 伴随矩阵的秩（高频考点）

$$\mathrm{rank}(\mathrm{adj}(A))=\{\begin{array}{ll}n,& \mathrm{rank}(A)=n\\ 1,& \mathrm{rank}(A)=n-1\\ 0,& \mathrm{rank}(A)<n-1\end{array}$$

---

2. 矩阵运算（Matrix Operations）

2.1 转置与逆

• $(AB{)}^{\mathsf{T}}=B^{\mathsf{T}}{A}^{\mathsf{T}}$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$（若 $A,B$ 可逆）
• $(A^{\mathsf{T}}{)}^{-1}=(A^{-1}{)}^{\mathsf{T}}$

2.2 正交矩阵

• 定义：$Q^{\mathsf{T}}Q=I$
• 性质：$\det (Q)=\pm 1$，$Q^{-1}=Q^{\mathsf{T}}$，保持向量长度与夹角。

---

3. 秩（Rank）

3.1 基本性质

• $\mathrm{rank}(A)=\mathrm{rank}(A^{\mathsf{T}})=\mathrm{rank}(A^{\mathsf{T}}A)=\mathrm{rank}(A{A}^{\mathsf{T}})$
• $\mathrm{rank}(A+B)\le \mathrm{rank}(A)+\mathrm{rank}(B)$
• $\mathrm{rank}(AB)\le \min \{\mathrm{rank}(A),\mathrm{rank}(B)\}$
• 若 $A$ 可逆，则 $\mathrm{rank}(AB)=\mathrm{rank}(B)$

3.2 秩与矩阵结构

• $\mathrm{rank}(A)=$ 列空间维数 = 行空间维数
• 满秩方阵 ⇔ 可逆 ⇔ $\det (A)\ne 0$

---

4. 特征值与矩阵函数（Eigenvalues）

4.1 基本关系

设 $A$ 的特征值为 ${\lambda }_1,\dots ,{\lambda }_n$：

• $\sum _{i=1}^n{\lambda }_i=\mathrm{tr}(A)$
• $\prod _{i=1}^n{\lambda }_i=\det (A)$

4.2 函数变换

• $A^k$ 的特征值：${\lambda }_i^k$
• $A^{-1}$ 的特征值：${\lambda }_i^{-1}$（${\lambda }_i\ne 0$）
• $f(A)$ 的特征值：$f({\lambda }_i)$（$f$ 为多项式）

4.3 对称矩阵特例

若 $A=A^{\mathsf{T}}$：

• 所有 ${\lambda }_i\in \mathbb{R}$
• 存在正交对角化：$A=Q\Lambda Q^{\mathsf{T}}$
• 正定 ⇔ 所有 ${\lambda }_i>0$

---

5. 四大基本子空间（The Four Fundamental Subspaces）

5.1 定义与维度

对 $A\in {\mathbb{R}}^{m\times n}$，记 $r=\mathrm{rank}(A)$：

子空间	符号	维度
列空间	$\mathcal{C}(A)$	$r$
零空间	$\mathcal{N}(A)=\ker (A)$	$n-r$
行空间	$\mathcal{C}(A^{\mathsf{T}})$	$r$
左零空间	$\mathcal{N}(A^{\mathsf{T}})$	$m-r$

5.2 正交关系

• $\mathcal{C}(A^{\mathsf{T}})\perp \mathcal{N}(A)$
• $\mathcal{C}(A)\perp \mathcal{N}(A^{\mathsf{T}})$

几何：行空间与零空间构成 ${\mathbb{R}}^n$ 的正交直和分解。

---

6. 秩–零化度定理（Rank–Nullity Theorem）

6.1 定理陈述

$$\dim (\ker A)+\mathrm{rank}(A)=n$$

6.2 应用

• 齐次方程 $Ax=0$ 的基础解系含 $n-\mathrm{rank}(A)$ 个线性无关解。
• 判断解的唯一性：若 $\mathrm{rank}(A)=n$，则只有零解。

---

7. 投影与最小二乘（Projection & Least Squares）

7.1 投影矩阵

若 $A$ 列满秩，投影到 $\mathcal{C}(A)$ 的矩阵为：

$$P=A(A^{\mathsf{T}}A{)}^{-1}{A}^{\mathsf{T}}$$

性质：$P^{\mathsf{T}}=P$，$P^2=P$

7.2 最小二乘解

当 $Ax=b$ 无解，最优解满足正规方程：

$$A^{\mathsf{T}}Ax=A^{\mathsf{T}}b$$

误差向量 $e=b-Ax$ 满足 $A^{\mathsf{T}}e=0$（正交于列空间）。

---

8. 矩阵分解（Matrix Factorizations）

8.1 LU 分解（LU Factorization）

• 条件：矩阵 $A$ 可通过高斯消元化为上三角形式，且所有顺序主子式非零（或消元过程中主元均不为零）。
• 形式： $$A=LU$$ 其中：
  • $L$ 是单位下三角矩阵（对角线元素为 1），
  • $U$ 是上三角矩阵。
• 用途：
  • 高效求解线性方程组 $Ax=b$：先解 $Ly=b$（前向代入），再解 $Ux=y$（回代）；
  • 避免重复消元，适用于多个右端项 $b$ 的情形；
  • 是理解高斯消元的矩阵视角（$L$ 记录消元乘子）。

⚠️ 注意：若消元需行交换，则需引入置换矩阵 $P$，得到 PLU 分解：$PA=LU$。

8.2 QR 分解

• 条件：$A\in {\mathbb{R}}^{m\times n}$ 且 列满秩（$\mathrm{rank}(A)=n$，通常 $m\ge n$）。

• 形式：$A=QR$，其中 $Q^{\mathsf{T}}Q=I$，$R$ 上三角可逆

• 构造方法（Gram-Schmidt 过程）： 对 $j=1$ 到 $n$：

  $$\begin{array}{rl}{v}_j& =a_j-\sum _{i=1}^{j-1}(q_i^{\mathsf{T}}{a}_j)q_i\\ r_{ij}& =q_i^{\mathsf{T}}{a}_j(i<j)\\ r_{jj}& =\Vert v_j{\Vert }_2\\ q_j& =v_j/r_{jj}\end{array}$$

• 用途：

  • 稳定求解最小二乘问题： $Ax=b$ 的最小二乘解等价于 $Rx=Q^{\mathsf{T}}b$（因 $Q^{\mathsf{T}}Q=I$），避免 $A^{\mathsf{T}}A$ 的病态。
  • 数值线性代数基础（如特征值算法中的 QR 迭代）。
  • 为 SVD 和正交化提供预处理。

⚠️ 注意：
给定具体矩阵，可能要求手动执行 Gram-Schmidt 得到 $Q,R$，务必掌握两步：正交化 → 单位化。

8.3 奇异值分解（SVD）

• 条件：任意实矩阵 $A\in {\mathbb{R}}^{m\times n}$（不要求方阵、对称、满秩）。

• 形式：

  $$A=U\Sigma V^{\mathsf{T}}$$

  其中：

  • $U\in {\mathbb{R}}^{m\times m}$：左奇异向量矩阵，正交（$U^{\mathsf{T}}U=I_m$），

  • $V\in {\mathbb{R}}^{n\times n}$：右奇异向量矩阵，正交（$V^{\mathsf{T}}V=I_n$），

  • $\Sigma \in {\mathbb{R}}^{m\times n}$：奇异值矩阵，对角形式

    $$\Sigma =\left[\begin{array}{cccccc}{\sigma }_1& & & & & \\ & {\sigma }_2& & & & \\ & & \ddots & & & \\ & & & {\sigma }_r& & \\ & & & & 0& \\ & & & & & \ddots \end{array}\right],{\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$$

    其中 $r=\mathrm{rank}(A)$，${\sigma }_i$ 称为 奇异值。

• 奇异值与特征值的关系：

  $${\sigma }_i=\sqrt{{\lambda }_i(A^{\mathsf{T}}A)}=\sqrt{{\lambda }_i(A{A}^{\mathsf{T}})}$$
  • $A^{\mathsf{T}}A$ 的特征向量 = $V$ 的列（右奇异向量），
  • $A{A}^{\mathsf{T}}$ 的特征向量 = $U$ 的列（左奇异向量）。

• 几何意义（MIT 核心洞见）：
  SVD 揭示了线性变换 $x\mapsto Ax$ 的本质结构：

  1. 先由 $V^{\mathsf{T}}$ 将输入空间 ${\mathbb{R}}^n$ 旋转/反射到主轴坐标系，
  2. 再由 $\Sigma$ 沿坐标轴缩放（奇异值为缩放因子），
  3. 最后由 $U$ 将结果旋转/反射到输出空间 ${\mathbb{R}}^m$。
     ⇒ 任何矩阵都是“旋转–缩放–旋转”的组合。

• 关键性质：

  • $\mathrm{rank}(A)=$ 非零奇异值的个数，

  • $\Vert A{\Vert }_2={\sigma }_1$（谱范数 = 最大奇异值），

  • $\Vert A{\Vert }_F=\sqrt{{\sum }_{i=1}^r{\sigma }_i^2}$（Frobenius 范数），

  • 最佳低秩近似（Eckart–Young 定理）：

    $$A_k=\sum _{i=1}^k{\sigma }_i{u}_i{v}_i^{\mathsf{T}}$$

    是所有秩 ≤ $k$ 矩阵中对 $A$ 的最佳逼近（在 Frobenius 或谱范数下）。

• 伪逆（Moore–Penrose Inverse）：
  当 $Ax=b$ 无解或无穷多解时，最小二乘最小范数解为：

  $$x=A^{+}b,\text{其中}{A}^{+}=V{\Sigma }^{+}{U}^{\mathsf{T}}$$

  ${\Sigma }^{+}$ 是将 $\Sigma$ 中非零 ${\sigma }_i$ 取倒数并转置得到的 $n\times m$ 矩阵。

• 用途：

  • 降维（PCA 本质是 SVD），
  • 图像压缩（保留前 $k$ 个奇异值），
  • 推荐系统（矩阵补全），
  • 病态方程求解（截断小奇异值），
  • 机器学习中的嵌入与表示。

✅ 与 QR 对比：

• QR 仅适用于列满秩矩阵，且不揭示矩阵的“内在尺度”；
• SVD 适用于任意矩阵，直接给出信息量排序（${\sigma }_1\ge \cdots$），是更本质的分解。

8.4 QR 与 SVD 在最小二乘中的角色对比

方法	适用条件	数值稳定性	是否揭示秩	是否适用于秩亏
正规方程 $A^{\mathsf{T}}Ax=A^{\mathsf{T}}b$	列满秩	差（$\kappa (A^{\mathsf{T}}A)=\kappa (A{)}^2$）	否	否
QR	列满秩	好	否	否
SVD	任意	最佳	是	是

若 $A$ 列满秩且规模小，可用 QR；若涉及秩、病态或概念，SVD 是终极工具。

---

9. 二次型与正定性（Quadratic Forms）

9.1 定义

二次型：$x^{\mathsf{T}}Ax$（通常取 $A=A^{\mathsf{T}}$）

任一实二次型可写为：

$$f(x_1,\dots ,x_n)=x^{\mathsf{T}}Ax$$

其中 $A=A^{\mathsf{T}}\in {\mathbb{R}}^{n\times n}$ 为实对称矩阵，称为二次型的矩阵。

注：若给定多项式形式（如 $x_1^2+2x_1{x}_2+3x_2^2$），需先写出对称矩阵 $A$（交叉项系数平分）。

9.2 正定判别

以下等价（对实对称 $A$）：

• $x^{\mathsf{T}}Ax>0$ 对所有 $x\ne 0$
• 所有特征值 ${\lambda }_i>0$
• 所有顺序主子式 $>0$
• 存在可逆 $R$ 使 $A=R^{\mathsf{T}}R$

---

9.3 正交变换法（谱分解法）——适用于实对称矩阵

若 $A=A^{\mathsf{T}}$，则：

$$A=Q\Lambda Q^{\mathsf{T}}=\sum _{i=1}^n{\lambda }_i{q}_i{q}_i^{\mathsf{T}}$$

• $Q$ 正交（$Q^{\mathsf{T}}Q=I$）
• 特征值 ${\lambda }_i\in \mathbb{R}$
• 二次型 $x^{\mathsf{T}}Ax$ 的极值由 ${\lambda }_{\max },{\lambda }_{\min }$ 控制

正定 ⇔ 所有 ${\lambda }_i>0$ ⇔ 所有顺序主子式 $>0$

目标：通过正交变换 $x=Qy$（$Q^{\mathsf{T}}Q=I$），将二次型化为标准形：

$$x^{\mathsf{T}}Ax=y^{\mathsf{T}}\Lambda y={\lambda }_1{y}_1^2+\cdots +{\lambda }_n{y}_n^2$$

考试步骤：

1. 写出对称矩阵 $A$
2. 求 $A$ 的特征值 ${\lambda }_1,\dots ,{\lambda }_n$（解 $\det (\lambda I-A)=0$）
3. 对每个特征值，求单位正交特征向量（Gram-Schmidt 正交化，如需要）
4. 构造正交矩阵 $Q=[q_1,\dots ,q_n]$
5. 令 $x=Qy$，则标准形为 $\sum {\lambda }_i{y}_i^2$

✅ 优点：保持向量长度（正交变换是旋转/反射），几何意义清晰。
✅ MIT 视角：这就是实对称矩阵的 谱分解 $A=Q\Lambda Q^{\mathsf{T}}$ 的直接应用。

⚠️ 考试注意：若题目说“用正交变换化标准形”，必须用此法，配方法不得分！

---

9.4 配方法（Lagrange Method）——通用但需技巧

目标：通过可逆线性变换（不要求正交）$x=Cy$，将二次型化为标准形（平方和）。

考试步骤（以三元为例）：

情形 1：含平方项（如 $x_1^2$）

• 以含 $x_1^2$ 的项为核心，将所有含 $x_1$ 的交叉项配成完全平方

• 例如：

  $$f=x_1^2+2x_1{x}_2+2x_1{x}_3+\cdots =(x_1+x_2+x_3{)}^2-(x_2+x_3{)}^2+\cdots$$

• 令 $y_1=x_1+x_2+x_3$，代入后对剩余变量继续配方

情形 2：无平方项（只有交叉项，如 $x_1{x}_2$）

• 先作预变换引入平方项，例如：

  $$\{\begin{array}{l}{x}_1=y_1+y_2\\ x_2=y_1-y_2\\ x_k=y_k(k\ge 3)\end{array}\Rightarrow x_1{x}_2=y_1^2-y_2^2$$

• 再对新变量配方

最终目标：

$$f=d_1{y}_1^2+d_2{y}_2^2+\cdots +d_r{y}_r^2(d_i\ne 0)$$

其中 $r=\mathrm{rank}(A)$

✅ 优点：计算快，不需求特征值
❌ 缺点：变换矩阵 $C$ 一般不正交，不能用于求主轴方向或保持几何结构
⚠️ 考试注意：若题目只说“化为标准形”或“规范形”，配方法可接受；若要求“正交变换”，则必须用 10.2

---

9.5 标准形 vs 规范形 vs 惯性定理

• 标准形：系数为任意非零实数（如 $2y_1^2-3y_2^2$）

• 规范形：系数仅为 $1,-1,0$（由惯性定理保证唯一）

  $$f=z_1^2+\cdots +z_p^2-z_{p+1}^2-\cdots -z_{p+q}^2$$

  其中：

  • $p$ = 正惯性指数（正特征值个数）
  • $q$ = 负惯性指数（负特征值个数）
  • $p+q=\mathrm{rank}(A)$

🔑 Sylvester 惯性定理：
无论用何种可逆变换，$p$ 和 $q$ 是不变量！
⇒ 可用于判断两二次型是否合同（即是否存在可逆 $C$ 使 $C^{\mathsf{T}}AC=B$）

---

9.6 正定性判别（考试高频）

实对称矩阵 $A$ 对应的二次型 $x^{\mathsf{T}}Ax$：

性质	判别条件
正定	$\iff$ 所有特征值 $>0$ $\iff$ 所有顺序主子式 $>0$ $\iff$ 正惯性指数 $p=n$
负定	$\iff$ 所有特征值 $<0$ $\iff$ 奇数阶主子式 $<0$，偶数阶 $>0$
半正定	$\iff$ 所有特征值 $\ge 0$ 且 $\det (A)\ge 0$

⚠️ 考试陷阱：
“所有主子式 > 0” ≠ “正定”！必须是顺序主子式（左上角 $1\times 1,2\times 2,\dots ,n\times n$）

---

9.7 谱分解 vs 配方法：考试策略对比

题目要求	推荐方法	理由
“用正交变换化标准形”	谱分解（10.2）	配方法变换非正交，不符合题意
“化二次型为标准形”	配方法（10.3）	更快，避免解高次特征方程
“求正/负惯性指数”	谱分解 或 配方法	两种方法均可得 $p,q$
“判断正定性”	顺序主子式 或 特征值	主子式通常更快

10. 思维要点（几何与代数统一）

1. $A^{\mathsf{T}}A$ 与 $A{A}^{\mathsf{T}}$ 有相同的非零特征值。
2. Frobenius 范数：$\Vert A{\Vert }_F^2=\mathrm{tr}(A^{\mathsf{T}}A)=\sum {\sigma }_i^2$
3. 投影矩阵的迹 = 秩（因特征值为 0 或 1）
4. 若 $A$ 是正交矩阵，则 $\det (A)=\pm 1$，$A^{-1}=A^{\mathsf{T}}$
5. $\det (A)=0$ ⇔ 列线性相关 ⇔ 体积坍缩 ⇔ 无逆
6. 求解 $Ax=b$ ⇔ 在列空间中找 $b$ 的线性组合
7. 特征向量 = 方向不变，特征值 = 伸缩比例
8. SVD = 任意矩阵的“最佳坐标系”：先旋转，再缩放，再旋转
9. 最小二乘 = 正交投影 = 误差最短
10. 可以用行列式打开局面，国内考试常以行列式为切入点构造综合题，需熟练转化伴随、逆、秩等关系。

---

概率论与数理统计

1. 离散型分布

分布	分布律	期望 $E(X)$	方差 $D(X)$
0-1分布	$P(X=k)=p^k(1-p{)}^{1-k}$	$p$	$p(1-p)$
二项分布 $B(n,p)$	$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$	$np$	$np(1-p)$
泊松分布 $P(\lambda )$	$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$	$\lambda$	$\lambda$
几何分布 (无记忆性)	$P(X=k)=(1-p{)}^{k-1}p$	$\frac{1}{p}$	$\frac{1-p}{p^2}$

2. 连续型分布

分布	概率密度	期望 $E(X)$	方差 $D(X)$
均匀分布 $U(a,b)$	$f(x)=\frac{1}{b-a},a<x<b$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数分布 $E(\lambda )$ (无记忆性)	$f(x)=\lambda e^{-\lambda x},x\ge 0$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
正态分布 $N(\mu ,{\sigma }^2)$	$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$	$\mu$	${\sigma }^2$

注：标准正态密度的归一化依赖高斯积分：

$${\int }_{-\infty }^{+\infty }{e}^{-x^2}dx=\sqrt{\pi }\Rightarrow {\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}dx=1$$

3. 数字特征

3.1 期望（数学期望）

• 基本性质：

  $$\begin{array}{rl}& E(C)=C,\\ & E(CX)=CE(X),\\ & E(X+Y)=E(X)+E(Y),\\ & \text{若 }X,Y\text{ 独立，则 }E(XY)=E(X)E(Y).\end{array}$$

• 样本均值的期望（重要统计结论）：

  $$E(\bar{X})=E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\mu$$

  → 样本均值 $\bar{X}$ 是总体均值 $\mu$ 的无偏估计。

---

3.2 方差

• 定义与恒等式：

  $$D(X)=\mathrm{Var}(X)=E[(X-E(X){)}^2]=E(X^2)-[E(X){]}^2$$

• 基本性质：

  $$\begin{array}{rl}& D(C)=0,\\ & D(CX)=C^{2}D(X),\\ & D(X\pm Y)=D(X)+D(Y)\pm 2\mathrm{Cov}(X,Y).\end{array}$$

• 独立可加性：若 $X_1,\dots ,X_n$ 两两不相关（特别地，若独立），则

  $$D\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}D(X_i)$$

• 样本均值的方差：

  $$D(\bar{X})=\frac{{\sigma }^2}{n}$$

• 样本方差的期望（贝塞尔校正的核心）：

  $$E\left(\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\right)=\frac{n-1}{n}{\sigma }^2,E(S^2)=E\left(\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2\right)={\sigma }^2$$

---

3.3 协方差与相关系数

• 协方差定义：

  $$\begin{gathered} \mathrm{Cov}(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y) \\ \mathrm{Cov}(X,Y)=\frac{1}{2}[D(X+Y)-D(X)-D(Y)] \end{gathered}$$

• 性质：

  $$\begin{array}{rl}& \mathrm{Cov}(X,X)=D(X),\\ & \mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X),\\ & \mathrm{Cov}(aX+b,cY+d)=ac\mathrm{Cov}(X,Y),\\ & \mathrm{Cov}\left(\sum X_i,\sum Y_j\right)=\sum _i\sum _j\mathrm{Cov}(X_i,Y_j).\end{array}$$

• 相关系数：

  $${\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}},|{\rho }_{XY}|\le 1$$

• 独立 ⇒ 不相关，但不相关 ⇏ 独立（除非联合正态）。

---

3.4 高阶矩与常用恒等式

k 阶原点矩：$E(X^k)$

• k 阶中心矩：$E[(X-\mu {)}^k]$

  • 一阶中心矩 = 0
  • 二阶中心矩 = 方差
  • 三阶中心矩 → 偏度（skewness）
  • 四阶中心矩 → 峰度（kurtosis）

• 方差分解公式（全方差公式，用于分层抽样等）：

  $$D(Y)=E[D(Y\mid X)]+D[E(Y\mid X)]$$

• 协方差的计算技巧：

  $$\mathrm{Cov}(X,Y)=\frac{1}{2}\left[D(X+Y)-D(X)-D(Y)\right]$$

---

3.5 正态分布下的特殊性质（关键！）

• 若 $(X,Y)\sim N({\mu }_X,{\mu }_Y,{\sigma }_X^2,{\sigma }_Y^2,\rho )$，则：

  • $X$ 与 $Y$ 独立 ⇔ $\rho =0$（正态分布下不相关即独立）
  • 条件分布 $Y\mid X=x$ 仍为正态

• 样本均值与样本方差独立：
  若 $X_1,\dots ,X_n\stackrel{\text{i.i.d.}}{\sim }N(\mu ,{\sigma }^2)$，则

  $$\bar{X}\perp \perp S^2$$

  → 这是 t 分布成立的基础！

---

4. 数理统计基础结论

4.0 自由度与贝塞尔校正

什么是自由度？

自由度（df）是指在计算某个统计量时，可以自由取值的数据个数。

• 例：已知样本均值 $\bar{x}$ 和 $n-1$ 个观测值 $x_1,\dots ,x_{n-1}$，则第 $n$ 个值 $x_n$ 被唯一确定：

  $$x_n=n\bar{x}-\sum _{i=1}^{n-1}{x}_i$$

  → 只有 $n-1$ 个值“自由” → 自由度 = $n-1$。

• 一般规则：

  $$\text{自由度}=\text{数据个数}-\text{已估计的参数个数}$$
  • 计算样本方差时，用 $\bar{x}$ 估计了 $\mu$（1 个参数）→ df = $n-1$

贝塞尔校正（Bessel’s Correction）

在估计总体方差 ${\sigma }^2$ 时，使用：

$$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

而非 $\frac{1}{n}\sum (X_i-\bar{X}{)}^2$，原因如下：

• 因为 $\bar{X}$ 来自同一组数据，导致 $\sum (X_i-\bar{X}{)}^2$ 系统性偏小；
• 除以 $n-1$（而非 $n$）可使 $E(S^2)={\sigma }^2$，即无偏估计；
• 自由度 $n-1$ 正是校正的来源。

关键联系：

• 样本方差的自由度 = $n-1$

• $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$（卡方分布自由度 = $n-1$）

• t 统计量自由度 = $n-1$

---

4.1 正态总体的抽样分布（三大分布）

设总体 $X\sim N(\mu ,{\sigma }^2)$，$X_1,X_2,\dots ,X_n$ 为简单随机样本，样本均值 $\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$，样本方差（使用贝塞尔校正）：

$$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

📌 重要性质：

• $\bar{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right)$
• $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$（卡方分布，自由度 $n-1$）
• $\bar{X}\perp \perp S^2$，即**$\bar{X}$ 与 $S^2$ 相互独立**（仅在正态总体下成立！）

---

三大抽样分布的构造与用途：

分布	构造方式	概率密度/定义	用途
卡方分布 ${\chi }^2(n)$	若 $Z_1,\dots ,Z_n\stackrel{\text{i.i.d.}}{\sim }N(0,1)$，则 ${\sum }_{i=1}^n{Z}_i^2\sim {\chi }^2(n)$ 特例：  • ${\chi }^2(1)=Z^2$  • ${\chi }^2(2)\sim \text{Exp}(1/2)$	非负偏态分布，自由度 $n$	用于方差检验、拟合优度检验
t 分布 $t(n)$	若 $Z\sim N(0,1)$，$V\sim {\chi }^2(n)$ 且独立，则 $T=\frac{Z}{\sqrt{V/n}}\sim t(n)$	对称、尾部比正态厚，$n\to \infty$ 时 $t(n)\to N(0,1)$	小样本均值检验（$\sigma$ 未知）
F 分布 $F(n_1,n_2)$	若 $U\sim {\chi }^2(n_1)$，$V\sim {\chi }^2(n_2)$ 且独立，则 $F=\frac{U/n_1}{V/n_2}\sim F(n_1,n_2)$	非负偏态，自由度 $(n_1,n_2)$	方差比检验、ANOVA（方差分析）

---

📌 正态总体下的关键统计量分布：

1. 当 $\sigma$ 已知：

   $$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$

   → 用于Z 检验、置信区间（大样本或 $\sigma$ 已知）

2. 当 $\sigma$ 未知（需用 $S$ 估计）：

   $$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

   → t 检验（小样本推断的核心）

3. 两个独立正态样本（方差齐性检验）：

   $$\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

   若 ${\sigma }_1^2={\sigma }_2^2$，则 $\frac{S_1^2}{S_2^2}\sim F(n_1-1,n_2-1)$

   若 $X_1,\dots ,X_n\stackrel{\text{i.i.d.}}{\sim }N(\mu ,{\sigma }^2)$，则 $\bar{X}\perp \perp S^2$。

   此性质仅在正态总体下成立，是 t 分布严格成立的基础。

---

4.2 贝塞尔校正（Bessel’s Correction）使用场景

场景	是否使用 $n-1$？	说明
描述手头数据的离散程度（如全班成绩）	❌ 用 $n$	此时计算的是样本自身的方差，非估计总体
从样本推断总体方差（统计推断）	✅ 用 $n-1$	保证 $\mathbb{E}[S^2]={\sigma }^2$（无偏估计）
计算样本标准差 $S$	✅ 通常仍用 $n-1$	虽然 $S$ 仍是有偏的，但 $S^2$ 无偏是标准做法
最大似然估计（MLE）	❌ 用 $n$	MLE 不追求无偏，追求似然最大（正态分布下 MLE 方差为 $\frac{1}{n}\sum (x_i-\bar{x}{)}^2$）
机器学习中的损失函数（如 MSE）	❌ 用 $n$	关注预测误差，不要求无偏性

✅ 默认建议：在统计推断、假设检验、置信区间中，始终使用 $n-1$。

---

4.3 补充：大数定律与中心极限定理（CLT）

是连接概率论与统计推断的桥梁：

• 大数定律（LLN）：${\bar{X}}_n\stackrel{P}{\to }\mu$（样本均值依概率收敛于期望）
• 中心极限定理（CLT）：$\frac{{\bar{X}}_n-\mu }{\sigma /\sqrt{n}}\stackrel{d}{\to }N(0,1)$
  → 即使总体非正态，大样本下仍可用 Z/t 近似

---

4.4. 小结：何时用哪个分布？

问题类型	总体分布	$\sigma$ 是否已知	样本量	用什么分布？
单样本均值检验	正态	已知	任意	$N(0,1)$
单样本均值检验	正态	未知	小（<30）	$t(n-1)$
单样本均值检验	任意	未知	大（≥30）	近似 $N(0,1)$（CLT）
单样本方差检验	正态	—	任意	${\chi }^2(n-1)$
两样本方差比	正态	—	任意	$F(n_1-1,n_2-1)$
多组均值比较	正态、方差齐	未知	任意	F 分布（ANOVA）

统计推断的核心：从样本出发，借助抽样分布（${\chi }^2$, $t$, $F$）和贝塞尔校正，对总体参数进行估计与检验。

5. 参数估计方法

5.1 点估计（Point Estimation）

目标：用一个具体数值（“点”）估计未知总体参数。

总体参数	常用点估计量
均值 $\mu$	$\hat{\mu }=\bar{X}=\frac{1}{n}\sum X_i$
方差 ${\sigma }^2$	${\hat{\sigma }}^2=S^2=\frac{1}{n-1}\sum (X_i-\bar{X}{)}^2$
比例 $p$	$\hat{p}=\frac{\text{成功次数}}{n}$

注意：$\bar{X}$ 和 $S^2$ 是估计量（随机变量），代入数据后得到估计值（一个数）。

---

5.2 矩估计（Method of Moments, MoM）

思想：令样本矩 = 总体矩，解出参数。

步骤：

1. 设总体 $k$ 阶矩 $E(X^k)$ 用参数 $\theta$ 表示；
2. 用样本矩 $\frac{1}{n}\sum X_i^k$ 代替；
3. 解方程得 ${\hat{\theta }}_{\text{MoM}}$。

例子：

• 指数分布 $E(\lambda )$：$E(X)=1/\lambda$
  ⇒ ${\hat{\lambda }}_{\text{MoM}}=1/\bar{X}$

• 正态分布 $N(\mu ,{\sigma }^2)$：

  $${\hat{\mu }}_{\text{MoM}}=\bar{X},{\hat{\sigma }}_{\text{MoM}}^2=\frac{1}{n}\sum (X_i-\bar{X}{)}^2$$

  ⚠️ 注意：矩估计的方差用 $n$，不是 $n-1$（因不追求无偏）。

✅ 优点：简单、无需分布完整信息。
❌ 缺点：可能效率低；不唯一（高维参数时）。

---

5.3 极大似然估计（MLE，简述）

思想：选择使当前样本出现概率最大的参数值。

• 对正态分布 $N(\mu ,{\sigma }^2)$，MLE 为： $${\hat{\mu }}_{\text{MLE}}=\bar{X},{\hat{\sigma }}_{\text{MLE}}^2=\frac{1}{n}\sum (X_i-\bar{X}{)}^2$$ → 与矩估计相同，但仍用 $n$，非 $n-1$。

MLE 通常具有渐近无偏、高效等优良性质，是现代统计主流方法。

---

6. 假设检验与区间估计

6.0 核心思想：建模 → 标准化 → 判断

统计推断的统一逻辑：

1. 建模参数：用样本均值 $\bar{X}$ 估计总体均值 $\mu$（点估计）；
2. 建模变异性：用 $\sigma$（已知）或样本标准差 $S$（未知）估计波动大小；
3. 构建“同分布的模”：
   • 在总体分布假设（如正态）下，推导标准化统计量（如 $Z$ 或 $T$）的抽样分布；
   • 该分布不依赖未知参数，可查表或计算（如 $N(0,1)$, $t(n-1)$）；
4. 构造可接受范围：
   • 置信区间：在参数空间中，给出 $\mu$ 的合理取值范围；
   • 拒绝域：在统计量空间中，划定“H₀ 下不太可能出现”的区域；
5. 做出推断：
   • 若观测值落在可接受范围内 → 差异可归因于随机波动；
   • 否则 → 认为参数与假设存在统计显著差异。

🌟 置信区间与假设检验是同一枚硬币的两面：

• 区间估计回答：“μ 可能是多少？”
• 假设检验回答：“μ = μ₀ 合理吗？”
• 二者基于完全相同的概率模型与分布假设。

6.1 点估计 vs 区间估计 vs 假设检验

类型	目标	输出
点估计	给出参数的最佳猜测	一个数（如 $\bar{X}$）
区间估计	给出参数的可能范围	区间（如 $\bar{X}\pm z\cdot \frac{\sigma }{\sqrt{n}}$）
假设检验	判断某个假设是否合理	接受/拒绝 $H_0$

Z/t 不是估计方法，而是推断工具！

---

6.2 Z 检验与 t 检验

条件	统计量	分布	用途
$\sigma$ 已知	$Z=\frac{\bar{X}-{\mu }_0}{\sigma /\sqrt{n}}$	$N(0,1)$	均值检验（Z 检验，标准正态）
$\sigma$ 未知	$T=\frac{\bar{X}-{\mu }_0}{S/\sqrt{n}}$	$t(n-1)$	均值检验（t 检验，小样本）

• 置信区间（以 $\mu$ 为例）：
  • $\sigma$ 已知：$\bar{X}\pm z_{\alpha /2}\cdot \frac{\sigma }{\sqrt{n}}$
  • $\sigma$ 未知：$\bar{X}\pm t_{\alpha /2}(n-1)\cdot \frac{S}{\sqrt{n}}$

✅ 关键：点估计值始终是 $\bar{X}$，Z/t 仅用于评估其不确定性。

---

6.3 使用场景小结

问题	方法
估计 $\mu$（给出一个值）	$\hat{\mu }=\bar{X}$（点估计）
估计 $\mu$（给出区间）	Z 或 t 置信区间
检验 $H_0:\mu ={\mu }_0$	Z 检验（$\sigma$ 已知）或 t 检验（$\sigma$ 未知）

Comments

Leave a comment

Submit