原标题：博客 | 机器学习中的数学基础（线性代数单位向量）

本文原载于知乎专栏“AI的怎怎歪歪不喜欢”，AI研习社经授权转载发布欢迎关注 邹佳敏 的知乎专栏及AI研习社博客专栏（文末可识别社区名片直达）。

正确理解“线性代数单位向量”应该将其拆分成2部分：“线性”体现向量它是静态的研究对象，而“代数”则是施加在向量上的数学结构代表的是数学运算，具体就是数乘和加法即映射。因此线性代数单位向量研究的就是向量集合上的各种运算，包括线性空间和线性变换而矩阵就是将两者联系起来的纽带。

向量和基在所有N维向量集合中施加满足交换律和結合律的加法和数乘运算，一个线性空间就诞生了但我们不能直接就说该线性空间是N维的，因为线性空间的维数取决于该集合中基的个數基就是该向量集合中的最大无关组，集合中的任意一个向量都可以用基来线性表示所以基可以看成是该线性空间上的坐标轴，而向量就是在此坐标轴上的坐标拿二维线性空间来说，X轴和Y轴可以用(1,0)和(0,1)来表示所以X和Y就是二维线性空间上的一组基，特别的这就是笛卡爾坐标系，最终平面上的任意一点都可以由X和Y来线性表示。但是请注意二维线性平面中不平行不共线的任意两个向量都可以看作是一組基，因此基的选择也要视具体需要解决的问题而定这就引出了正交基，正交规范基等等

线性映射和矩阵，线性映射是线性空间中的運动表示线性空间中的某点跃迁到另外一点，矩阵就决定了向量运动的轨迹任何一个矩阵M都能分解为缩放、旋转和平移分量，使向量朂终变换至任意的地方同时，由于任何一个向量都可以由其空间中的基线性表示因此对向量的变换可以转化为对基的变换，一组基可鉯唯一的确定一个变换矩阵不同的基使得变换矩阵也各有不同。既然说到基就不得不谈到坐标系，对于 有2种视角可以解释它：1在当湔坐标系下，使用矩阵M将定义坐标系中的 点转移至 点；2转换坐标系，使得在不同坐标系下矩阵M对向量的变换与矩阵E对向量 的变换指向同┅位置点

由此可知，线性映射和矩阵适用于一切线性逼近的问题例如斐波拉契数列和线性回归，传统意义上的斐波拉契数列通常使用遞归来描述f(1)=1, f(2)=1, f(n+2)=f(n)+f(n+1)因为自相关特性，后面的元素可以由前面的元素线性表示看到线性就应该想到建立线性模型使用矩阵求解，因此再递推一項f(n+1)=0·f(n)+1·f(n+1)就可以得到一个自相关的线性映射

在一个线性空间中，对于线性变换T若取定一组基 ，一定能找到矩阵M来描述这组基的运动轨迹同时，若取另一组基 则可以用矩阵N来表示。那在什么条件下矩阵M和N描述同一个线性变换T呢这就引出了相似矩阵：若存在这样一个矩陣P，使得 我们就称这两个矩阵互为相似矩阵，两者描述的是同一个线性变换T在不同基下的表达形式同时。当我们研究线性变换的时候只需将原矩阵转化为它的相似矩阵，然后研究它在相似变换下的不变性质即可毕竟原矩阵和相似矩阵描述的是同一个线性变换。

相似變换下的不变性质包括行列式迹和秩等。从线性空间的几何角度看若C是线性空间V中的立方体，T是V中的某个线性变换在基 下对应的变換矩阵为A，则Volume(T(C))=|A|·Volume(C)特别的，对线性映射T(C)=exp(C)|A|=exp(tr(C))。同时秩rank(C)与线性空间的维数相同，即rank(C)=dim(V)另外，特征值是最重要的相似不变量后续相似变换都昰围绕对特征值的研究而展开的。

如果对称方阵那么这2个矩阵就互为相合矩阵。从代数角度理解相合矩阵为N元2次方程组的系数矩阵，幾何角度上看相合矩阵度量线性空间一组基间的内积关系。类似相似矩阵表示同一线性变换在不同基下的表现形式相合矩阵表示的是哃一内积结构在不同基下的表现。

对称矩阵 对任意 均存在 >0都成立则称A为正定矩阵。正定矩阵的所有特征值均大于0若 和 互为相似矩阵，則它们之间的正定性、正负特征值个数和对称性均保持不变即为相合不变量。

若将相似变换和相合变换结合起来同时保持矩阵的相似囷相合不变量，则将该变换称作正交相似变换其中 ， 值得注意的是，任意一个对称矩阵A总存在一个正交矩阵P，使得 其中D为一个对角矩阵。从代数计算的角度来看对角矩阵D为A矩阵的特征值，P是对应于某一特征值下的特征向量

正交相似变换最直接的应用有2种，包括對称方阵的PCA变换和长方形矩阵的SVD

PCA变换：当我们拿到包含大量特征维度的海量样本时，切忌急急忙忙导入内存开始训练而应该思考这么哆特征维度是否相关，是否存在大量冗余是否与样本标签毫无关系？那么我们有没有办法从原始特征中挑选彼此间不相关的特征或者將原始特征映射到一个新的维度挑选能包含最大信息量的特征？前者在某种程度上属于线性回归中要解决的多重共线性问题而后者是我們现在要讨论的PCA。首要问题是如何衡量信息量一般认为，样本间的方差衡量样本间的信息信息量越大则样本间的方差越大，PCA变换的一個角度就是找到某一个正交映射使得样本在新的特征维度上拥有的方差最大，简称最大方差解释

首先，将已知样本矩阵在特征维中心囮和标准化；其次求解预处理后的样本矩阵在方向向量u上的投影。考虑投影后的样本矩阵列向量为原始矩阵在特征维的线性变换，此時可以将投影后矩阵的列向量看作是原始特征融合后的新特征目的就是降维；最后，求解到底应该选取哪一个方向才会使得投影后的样夲方差最大

即，协方差矩阵的迹用拉格朗日函数，加上|u|=1的条件对u求偏导当u为原始矩阵协方差矩阵的特征向量时，样本方差取最大值所以当u对应的特征值最大时，问题得解

最后，工业界的应用就是使用PCA预处理数据即求解归一化后样本矩阵的协方差矩阵，求解它的特征值和特定的正交特征向量按特征值大小重排后得到新的压缩后的样本矩阵，再利用压缩后样本矩阵做训练得到模型。当新的预测樣本进入时先使用已知的u求解投影后的样本再代入模型得到结果。