深度学习笔记

深度学习中文版书籍链接

第一部分 应用数学与机器学习基础

第二章 线性代数

2.1 标量、向量、矩阵和张量

• 标量（scalar）：一个标量就是一个单独的数。
• 向量（vector）：一个向量是一列数。相当于一维数组
• 矩阵（matrix）：矩阵是一个二维数组。
• 张量（tensor）：超过两维的数组。

2.2 矩阵和向量相乘

2.3 单位矩阵和逆矩阵

单位矩阵的结构很简单：所有沿主对角线的元素都是 1，而所有其他位置的元素都是0
$\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}$
单位矩阵的一个样例：这是$I^3$。
矩阵 A 的 矩阵逆（matrix inversion）记作$A^{-1}$，其定义的矩阵满足如下条件$A^{-1}A=I_n$。
矩阵 $A=\begin{bmatrix}1&2\\-1&-3\end{bmatrix}$
假设所求的逆矩阵 $A^{-1}=\begin{bmatrix}a&b\\c&d\end{bmatrix}$
则 $\begin{bmatrix}1&2\\-1&-3\end{bmatrix}\cdot\begin{bmatrix}a&b\\c&d\end{bmatrix}=\begin{bmatrix}a+2c&b+2d\\-a-3c&-b-3d\end{bmatrix}=\begin{bmatrix}1&0\\0&1\end{bmatrix}\\$
而可以得出方程组
a + 2c = 1
b + 2d = 0
-a - 3c = 0
-b - 3d = 1
解得
a=3; b=2; c= -1; d= -1;

2.4 线性相关和生成子空间

$\begin{bmatrix}1&2&1\\1&2&2\\1&2&3\end{bmatrix}$

• 线性相关：通过相乘任意实数就可以算出其他列的，如把第一列乘2就能算出第二列。
• 生成子空间：把线性相关的列只留一列，如 $\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}$ 。

个人理解：可以去掉相同线性的特征，减少计算量。

2.5 范数

有时我们需要衡量一个向量的大小。在机器学习中，我们经常使用被称为范数（norm）的函数衡量向量大小。形式上$L^p\\$范数定义如下

$${\left\|x\right\|}_p=\left(\sum_i\left|x_i\right|^p\right)^\frac1p$$

// 更新于 2022/12/21 18:07