机器学习中的线性代数

线性代数作为数学中的一个重要的分支，广发应用在科学与工程中。掌握好线性代数对于理解和从事机器学习算法相关的工作是很有必要的，尤其是对于深度学习而言。因此，在开始介绍深度学习之前，先集中探讨一些必备的线性代数知识。

2.1 标量，向量，矩阵和张量

标量（scalar）：一个标量就是一个单独的数。用斜体表示标量，如s∈R

.

向量（vector）：一个向量是一列数，我们用粗体的小写名称表示向量。比如x

，将向量x

写成方括号包含的纵柱：

矩阵（matrix）：矩阵是二维数组，我们通常赋予矩阵粗体大写变量名称，比如A。如果一个矩阵高度是m，宽度是n，那么说A∈Rm×n。一个矩阵可以表示如下：

张量（tensor）：某些情况下，我们会讨论不止维坐标的数组。如果一组数组中的元素分布在若干维坐标的规则网络中，就将其称为张量。用A表示，如张量中坐标为(i,j,k)的元素记作Ai,j,k。

转置（transpose）：矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线称为主对角线（main diagonal）。将矩阵A

的转置表示为A⊤

。定义如下：

矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵A

和B的矩阵乘积(matrix product)是第三个矩阵C。矩阵乘法中A的列必须和B的行数相同。即如果矩阵A的形状是m×n，矩阵B的形状是n×p，那么矩阵C的形状就是m×p

。即

具体的地，其中的乘法操作定义为

矩阵乘积服从分配律

矩阵乘积也服从结合律

注意：矩阵乘积没有交换律

点积（dot product）两个相同维数的向量x

和y的点积可看作是矩阵乘积x⊤y

矩阵乘积的转置

利用向量的乘积是标量，标量的转置是自身的事实，我们可以证明（10）式：

线性方程组

线性代数中提供了矩阵逆（matrix inverse）的工具，使得我们能够解析地求解（11）中的A

.

单位矩阵（identity matrix）：任意向量与单位矩阵相乘都不会改变。我们将保持n

维向量不变地单位矩阵记作为In，形式上In∈Rn×n

，

矩阵A的矩阵逆被记作A−1，被定义为如下形式：

（11）式方程组的求解：

方程组的解取决于能否找到一个逆矩阵A−1。接下来讨论逆矩阵A−1的存在的条件。

2.4 线性相关和生成子空间

如果逆矩阵A−1

存在，那么（11）式肯定对于每一个向量b恰好存在一个解。分析方程有多少个解，我们可以看成是A

的列向量的线性组合（linear combination）。

形式上，某个集合中向量的线性组合，是指每个向量乘以对应系数之后的和，即

一组向量的生成空间(span)是原始向量线性组合后所能抵达的点的集合。

线性无关（linearly independent）： 如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量被称之为线性无关。

要想使矩阵可逆，首先必须矩阵是一个方阵（square），即m=n

，其次，所有的列向量都是线性无关的。

一个列向量线性相关的方阵被称为奇异的（singular）。

2.5 范数

有时候我们需要衡量一个向量的大小，在机器学习中，我们使用称为范数（norm）的函数来衡量矩阵大小，形式上，Lp

范数如下：

其中p∈R,p≥1。

范数是将向量映射到非负值的函数。直观上来说，向量x

的范数就是衡量从原点到x

的举例。更严格来说，范数满足下列性质的函数：

• f(x)=0⟹x=0