大一/线性代数/矩阵与行列式

行列式

定义

由小到大为标准次序，$p_1p_2\cdots p_n$为排列，则比$p_i$大且排在其前的元素有$t_i$个，就说这个元素的逆序数是$t_i$

排列逆序数

$$t=\sum_{i=1}^nt_i$$

则行列式

$$D=\begin{vmatrix}a_{11}&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}&\cdots&a_{2n}\\\cdots&\cdots&\cdots&\cdots\\a_{n1}&a_{n2}&\cdots&a_{nn}\end{vmatrix}$$ $$D=\sum(-1)^ta_{1p_1}a_{2p_2}\cdots a_{np_n}\quad(n!项)$$

余子式

去掉$i$行$j$列得到的子行列式$M_{ij}$

代数余子式

$$A_{ij}=(-1)^{i+j}M_{ij}$$

则行列式可以按$i$行展开

$$D=\sum_j^na_{ij}A_{ij}$$

性质

• 对换行列式的两行或者两列(不需相邻)行列式变号
• 行列式与它的转置行列式相等
• 行列式中的某一行/列中所有元素乘以同一数$k$等于用数$k$乘以行列式
• 行列式中如果有两行/列成比例则行列式为零
• 把某一行/列的各元素同乘一个数然后加到另一行/列上行列式不变

范德蒙德行列式

$$D_n=\begin{vmatrix}1&1&\ldots&1\\x_1&x_2&\ldots&x_n\\\vdots&\vdots&&\vdots\\x_1^{n-1}&x_2^{n-1}&\ldots&x_n^{n-1}\end{vmatrix}=\prod_{1\le i<j\le n}(x_j-x_i)$$

爪形

$$\begin{vmatrix}a_0&&1&&1&\cdots&1\\1&&a_1\\1&&&a_2&&\\\vdots&&&&\ddots&\\1&&&&&a_n\end{vmatrix}$$

用对角线去消第一行/列

三对角线行列式递推求解

$$D_n=aD_{n-1}-bcD_{n-2}$$

观察并灵活利用拆行 求和 换序 加边升阶等方法

$$A(m\times n),B(n\times m)\\ \lambda^{n}\mathrm{det}(\lambda I_{m}+AB)=\lambda^{m}\mathrm{det}(\lambda I_{n}+BA)$$

运算

$$AB\ne BA\\ |AB|=|A||B|=|BA|\\ (AB)^{-1}=B^{-1}A^{-1}$$ $$|A^{-1}|=\frac1{|A|}\\ |A^*|=|A|^{n-1}$$

矩阵

矩形的数组，如

$$A=\left[\begin{array}{l} a_{11} &a_{12}&a_{13}\\a_{21} &a_{22}&a_{23}\end{array}\right] =\left[\begin{array}{l} 1 &2&3\\4&5&6\end{array}\right]$$

是一个$2\times3$的矩阵$A=(a_{ij})$其中$i=1,2;j=1,2,3$

矩阵中第$i$行第$j$列的元素表示为$a_{ij}$(大写矩阵，小写元素)

向量

向量是一维数组($1D$ ,如只有一行或一列)，如

$$x=\left(\begin{array}l 1\\2\\3\end{array}\right)$$

把长度为$n$的向量称为$n$向量，通常用小写字母来表示向量

$x_i$表示向量中第$i$个元素

向量的标准形式为列向量($n\times1$)

$$x^{\text T}=(1,2,3)$$

特殊的矩阵

零矩阵

所有元素均为$0$的矩阵，矩阵大小需要从上下文中推测

方阵

方阵为$n\times n$矩阵

对角矩阵

对角线($\text {diagnoal}$)，其中对于任意$i\ne j,a_{ij}=0$，故只需列出对角线上的元素就可以表示出这个矩阵

$$\Lambda =\text{diag}(a_{11},a_{22},\cdots,a_{nn})=\begin{bmatrix} a_{11} &0& \cdots & 0\\ 0 &a_{22}&\cdots&0 \\ \vdots &\vdots& \ddots & \vdots\\ 0 & 0&\cdots & a_{nn} \end{bmatrix}$$ $$\Lambda^k=\text{diag}(a_{11}^k,a_{22}^k,\cdots,a_{nn}^k)$$

单位矩阵

$$I_n=\text{diag}(1,1,\cdots,1)$$

逆矩阵

伴随矩阵

$$A^{*}=\begin{pmatrix}A_{\mathrm{ll}}&A_{21}&\cdots&A_{n1}\\A_{\mathrm{l2}}&A_{22}&\cdots&A_{n2}\\\cdots&\cdots&\cdots&\cdots\\A_{\mathrm{ln}}&A_{2n}&\cdots&A_{nn}\end{pmatrix}$$

故

$$A^{-1}=\frac{A^*}{|A|}\\ (A^{-1})^T=(A^T)^{-1}$$ $$A=P\Lambda P^{-1}\\ \varphi(A)=P\varphi(\Lambda) P^{-1}$$

二阶矩阵

$$\begin{pmatrix}a&b\\c&d\end{pmatrix}^{-1}=\frac1{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix}$$

三对角矩阵

对$|i-j|>1,a_{ij}=0$，即矩阵中不为$0$的项只出现在对角线或上下，$i-j$相当于偏移量，类似八皇后问题

上三角矩阵

若$i>j,a_{ij}=0$，其对角线以下的元素为$0$

$$U=\left[\begin{array}{ccccc} u_{11} & u_{12} & u_{13} & \cdots & u_{1n} \\ & u_{22} & u_{23} & \cdots & u_{2n} \\ & & \ddots & \ddots & \vdots \\ & & & \ddots & u_{n-1}n \\ & & & & u_{nn} \end{array}\right]$$

同理下三角矩阵$L$对角线以上的元素为$0$

若非零项均为$1$，则为单位三角矩阵

$$|U|=|L|=\prod_iu_{ii}$$

排列矩阵

每行每列只有一个1，其余都为0，可以重新排列向量中的元素

$$P=\begin{bmatrix}1&0&0\\0&0&1\\0&1&0\end{bmatrix}$$

对称矩阵

若矩阵$A$满足$A=A^{\text T}$，则矩阵的元素关于对角线对称

$$\begin{bmatrix}1&2&3\\2&4&5\\3&5&6\end{bmatrix}$$

性质$a{ij}=a{ji}$

反对称$a{ij}=-a{ji}$

正交矩阵

$$A^T=A^{-1}\\ AA^T=I$$ $$1=\text{det}(I)=\text{det}(A^TA)=\text{det}(A)^2$$

分块矩阵

对角线

$$\begin{vmatrix}A&B\\0&D\end{vmatrix}=\left|A\right|\left|D\right|$$ $$\begin{bmatrix}A&0\\C&D\end{bmatrix}^{-1}=\begin{bmatrix}A^{-1}&0\\-D^{-1}CA^{-1}&D^{-1}\end{bmatrix}$$ $$\begin{bmatrix}A&B\\0&D\end{bmatrix}^{-1}=\begin{bmatrix}A^{-1}&-A^{-1}BD^{-1}\\0&D^{-1}\end{bmatrix}$$ $$C=\begin{pmatrix}A&O\\O&B\end{pmatrix}\quad\text{,则 rank(C)}=\mathrm{rank(A)+rank(B)}$$

矩阵的基本操作

加法

若矩阵$A,B$大小相同，则$C=A+B$为相同大小

$$c_{ij}=a_{ij}+b_{ij}$$

数乘

$$\lambda A=(\lambda a_{ij})$$

$\lambda$称为矩阵的一个标量倍数，矩阵的负为$-A(\lambda=-1)$

故减法$A-B=A+(-B)$

乘法

给定两个相容的矩阵$A,B(A的列数=B的行数)$

设$A$为$m\times p$的矩阵，$B$为$p\times n$的矩阵

则 $C=AB$为$m\times n$的矩阵

$$c_{ij}=\sum_{k=1}^pa_{ik}b_{kj}(i=1,\cdots,m;j=1,\cdots,n)$$

矩阵乘法满足结合律，分配律

$$A(BC)=(AB)C\\ A(\lambda B+\mu C)=\lambda AB+\mu A C\\ A(\lambda B)=\lambda(AB)\\ P^n=(P^{n-1})P$$

==$A,B,C$必须是相容的==

意义

对于方阵

$$M=\begin{bmatrix}a&b\\c&d\end{bmatrix}\\ M\begin{bmatrix}1\\0\end{bmatrix}=M\boldsymbol{i}=\begin{bmatrix}a\\c\end{bmatrix}\\ M\begin{bmatrix}0\\1\end{bmatrix}=M\boldsymbol{j}=\begin{bmatrix}b\\d\end{bmatrix}$$

而有又有向量的分解不难看出

$$\left[\begin{array}{ll} a & b \\ c & d \end{array}\right]\left[\begin{array}{l} x \\ y \end{array}\right]=x\left[\begin{array}{l} a \\ c \end{array}\right]+y\left[\begin{array}{l} b \\ d \end{array}\right]=\left[\begin{array}{c} a x+b y \\ c x+d y \end{array}\right]$$

变换

从而很容易理解旋转矩阵

$$\mathbf{R}_{\theta}=\left[\begin{array}{l} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$

其中旋转矩阵为正交矩阵

对于转轴$u$

$$Ru=u \\(R-R^T)\vec u=0\\ \vec u'\times \vec u=0$$ $$||R\vec x||=||\vec x||$$

对于直线

$$M\vec{OR}=M\vec{OA}+tM\vec{AR}$$

如果$M\vec{AR}=0$成立，则变化将直线变为一个点

若两个变换后的基向量共线则该变换结果为一维空间(线)

对于变换

$$M=\begin{bmatrix}1&0\\0&0\end{bmatrix}\\$$

x0=1
y0=1
v1=0
v2=1
t0=-3
t1=1
T=np.linspace(t0,t1,100)
X=x0+v1*T
Y=y0+v2*T
M=np.array([[1,0],[0,0]])
L=np.matmul(M,np.array([X,Y]))

fig=go.Figure()
fig.add_trace(go.Scatter(x=X,y=Y,name=f'原直线'))  
fig.add_trace(go.Scatter(x=L[0],y=L[1],name=f'变换后'))  
fig.update_layout(title='线性变换',
                    xaxis_title='x',yaxis_title='y',xaxis_range=[0,2],yaxis_range=[-3,3])

将直线变化为了一个点，整个平面变换成了$y=0$

一般的，如果一个条直线上的任意$2$个不同的点经过变换后重合

则该变换为不可逆矩阵

缩放

对每个分量乘上比例因子

$$P=\begin{bmatrix}s_x&0&0\\0&s_y&0\\0&0&s_z \end{bmatrix}$$

转置

交换$A$行和列获得的矩阵为$A$的转置$A^{\text T}$(第几行变为第几列)

$$A=\left[\begin{array}{l} 1 &2&3\\4&5&6\end{array}\right] \\ A^{\text T}=\left[\begin{array}l 1&4\\2&5\\3&6\end{array}\right]$$ $$(A+B)^T=A^T+B^T\\ (\lambda A)^T=\lambda A^T$$

观察矩阵的形状

$$n\times m=(n\times p)(p\times m)\\ (AB)^{\text T}=B^{\text T}A^{\text T}$$

逆

定义

$$A^{-1}A=AA^{-1}=I_n$$

若没有逆矩阵则称为奇异的

由共线和或叉乘得

$$S=\begin{vmatrix}a&b\\c&d\end{vmatrix}=ad-bc$$

若面积为$0$则为奇异矩阵

$$S_1\to S_2\to S_3 \Rightarrow\\ S_3\to S_2\to S_1\\ (MN)^{-1}=N^{-1}M^{-1}$$

简单情况下，对基向量进行研究，通过初等变换矩阵的乘积来得到逆矩阵

一般情况

对线性方程组$Mx=\alpha$，得

$$x=\alpha M^{-1}$$

对$M=\begin{bmatrix}a&b\c&d\end{bmatrix}$

$$MM^{-1}=\begin{bmatrix}a&b\\c&d\end{bmatrix}\begin{bmatrix}u&v\\s&t\end{bmatrix}=\begin{bmatrix}1&0\\0&1\end{bmatrix}$$ $$\det M\ne0\\ \Rightarrow M^{-1}=\begin{bmatrix}\frac d{ad-bc}&\frac {-b}{ad-bc}\\\frac {-c}{ad-bc}&\frac a{ad-bc}\end{bmatrix}$$

性质

范数

$\rm frobennius$范数

$$||A||_{\text{Frob}}=\left[\sum_{ij}a_{ij}^2\right]^{\frac12}$$

特征向量

$$Ax=\lambda x(x\ne\vec{0})$$

表示变换$A$对于$x$构成的张成空间没有影响，$\lambda$称为特征值

例如三维旋转矩阵的特征向量和旋转轴共线并且特征值为$1$

对称矩阵总可以找到特征向量

$$\begin{bmatrix}a&b\\c&d\end{bmatrix} \begin{bmatrix}x\\y\end{bmatrix}=\lambda\begin{bmatrix}x\\y\end{bmatrix}= \begin{bmatrix}\lambda&0\\0&\lambda\end{bmatrix} \begin{bmatrix}x\\y\end{bmatrix}\\ \begin{bmatrix}a-\lambda&b\\c&d-\lambda\end{bmatrix} \begin{bmatrix}x\\y\end{bmatrix}=B\begin{bmatrix}x\\y\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}$$ $$\Rightarrow A-\lambda I=0$$

若$\det A\ne 0$，$x=0$舍去

$\det A= 0$，则空间压缩成一条线

总有一个向量经过变换后得到零向量

解出特征值后可以解出特征向量(可能有很多如缩放)

$$\lambda_{\pm}=\frac{T}{2} \pm \sqrt{(T / 2)^{2}-D}\\ T= \text{trace}\\ D=\text{det}$$

特征基

利用特征向量可以将矩阵乘法转化为数乘

若将基向量变换为$2$个不共线的特征向量来表示

则有非常好的性质

$$M^n=\lambda^n$$

再转换回去即可得到结果

应用

$$\text E[g(X)]=\sum_xg(x)\cdot\Pr\{X=x\}$$

对于一个决策行为，定义收益函数$q(d,h)$

$$d_i\in\{\text {act}\;1,\text {act}\;2,\cdots,\text {act}\;n\}$$

对于每一种策略，在某个随机变量的影响下都有相应的概率获得不同的收益
| $h$ | $h_1$ | $h_2$ | $h_3$ |
| :——: | :—-: | :—-: | :—-: |
| $p(h)$ | $p_1$ | $p_2$ | $p_3$ |

对于每一种决定$d$

$$\overline{q}=\sum_iq(d,h_i)p_i$$

写成矩阵形式

$$(p_1,p_2,p_3)\left.\underbrace {\begin{pmatrix} q_{11}&q_{12} & q_{13}\\ q_{21} & q_{22} & q_{23}\\ q_{31} &q_{32} &q_{33} \end{pmatrix}}_{d_i}\right\}h_i=(R(d_1),R(d_2),R(d_3))$$

决策树

马尔可夫链

$$\left(\begin{array}{l}p_1^{(n+1)}\\p_2^{(n+1)}\end{array}\right )=\left(\begin{array}{l}p_{11}& p_{21}\\p_{12}& p_{22}\end{array}\right )\left(\begin{array}{l}p_1^{(n)}\\p_2^{(n)}\end{array}\right )$$

其中

$$P (X_{n+1}|X=j)=p_1^{(n)}P(X_{n+1}=j|X_n=1)+p_2^{(n)}P(X_{n+1}=j|X_n=2)\\ p_{ij}=P(X_{n+1}=j|X_n=i)$$

你们将$p_{ij}$称为转移概率

$$P=\left(\begin{array}{l}p_{11}& p_{21}\\p_{12}& p_{22}\end{array}\right )$$

称为状态转移矩阵，$(p_1^{(n)},p_2^{(n)})$这样的行向量称为该瓦尔科夫链在时刻$n$的分布

再乘上收益矩阵即可得到两种决策的收益

考虑短期过程，观察平均收益

$$q_n(d)=\sum_{k=0}^nq(d,k)$$

对于长期过程，有平稳分布

$$w=wP\\ w=(w_1,w_2,\cdots),\sum_{i=1}^nw_i=1$$

类比不动点，可以使用特征向量得到

$$w=\left(\begin{array}{l}p_{11}& p_{21}\\p_{12}& p_{22}\end{array}\right )^nw_0$$