wordpress 图站,队徽logo在线设计,网站建设的流程推广方案,wordpress 弱口令向量投影#xff1a;如何将一个向量投影到矩阵的行向量生成子空间#xff1f;
前言
本问题是在学习Rosen梯度投影优化方法的时候遇到的问题#xff0c;主要是对于正交投影矩阵(NT(NNT)-1N)的不理解#xff0c;因此经过查阅资料#xff0c;学习了关于向量投影的知识…向量投影如何将一个向量投影到矩阵的行向量生成子空间
前言
本问题是在学习Rosen梯度投影优化方法的时候遇到的问题主要是对于正交投影矩阵(NT(NNT)-1N)的不理解因此经过查阅资料学习了关于向量投影的知识记录如下。
首先需要了解 子空间和子空间的正交补。相关知识可以查阅本人的另外一篇笔记核和值域的关系什么是矩阵的秩这篇笔记中是以矩阵列向量的生成子空间为例展开的。
核心公式 R ( A H ) ∩ N ( A ) { 0 } R(A^H) \cap N(A)\{0\} R(AH)∩N(A){0} R ( A H ) ⊕ N ( A ) C m R(A^H) \oplus N(A) C^m R(AH)⊕N(A)Cm
其中R(AH)是A的行向量的生成子空间 R ( A H ) { y ∈ R n ∣ y A H x , x ∈ C m } R(A^H)\{y\in R^n|yA^Hx,x\in C^m\} R(AH){y∈Rn∣yAHx,x∈Cm}。
N(A)是A的核子空间 N ( A ) { x ∣ A x 0 , x ∈ R n } N(A)\{x|Ax0,x\in R^n\} N(A){x∣Ax0,x∈Rn}。
正文
所谓向量投影本质上是期望将Rn空间中的任意一个n维向量分解称为y1y2其中y1属于R(AH)y2属于N(A)。
1、投影矩阵
投影是一种线性变换要求两次投影变换的结果等于一次投影变换的结果。在信号处理领域当中一个信号经过两次滤波器和经过一次滤波器的结果是相等的那么这个滤波器在数学上可抽象成一个投影矩阵。
写成数学公式 P 2 x P P x P x P^2xPPxPx P2xPPxPx。因此要求投影矩阵P是一个方阵。
可证明R§R(PH)。通常情况下一个方阵的行空间和列空间是不相同的二者仅仅是同构关系即维数相同。
即 R ( P ) ⊕ N ( P ) C n R(P) \oplus N(P) C^n R(P)⊕N(P)Cn
投影分为正交投影和斜投影。二者的区别在于正交投影矩阵PR§的正交补N§等价于R§和N§正交。而斜投影矩阵则没有这个性质。
可证明一个投影矩阵P是正交投影矩阵的充要条件是PPH
举一个简单的例子。 R2空间向x轴的正交投影P只能是取一个二维向量的横坐标。R§就是x轴N§就是y轴x轴的正交补是y轴。 R2空间向x轴的斜投影Q比如是指向东偏南45度➘方向的的投影。R(Q)就是x轴x轴的正交补是y轴而N(Q)是沿着东偏南45度➘方向的一维子空间即N(Q){ x|x a(1,-1)T, a \in R}。 2、如何将一个向量投影到行满秩矩阵A的行向量生成子空间
现在已知一个行满秩矩阵 A m m × n A^{m\times n}_m Amm×nR(AH)是由A的行向量生成的子空间。由上面的例子可以猜到n维欧氏空间向R(AH)的正交投影是唯一的斜投影是不唯一的此处考虑典型情况而非考虑A行列满秩的极端情况。
现在推导一个由A构成的正交投影矩阵P。 y y 1 y 2 , y 1 ∈ R ( A H ) , y 2 ∈ R ⊥ ( A H ) yy_1y_2,y_1\in R(A^H),y_2\in R^\perp(A^H) yy1y2,y1∈R(AH),y2∈R⊥(AH) P y P ( y 1 y 2 ) y 1 PyP(y_1y_2)y_1 PyP(y1y2)y1 y 1 ∈ R ( A H ) , ∴ y 1 A H x y_1\in R(A^H),\therefore y_1A^Hx y1∈R(AH),∴y1AHxx是一个m维的列向量即y1可表示为A的行向量的线性组合 y 2 ∈ R ⊥ ( A H ) N ( A ) , A y 2 0 , A y A A H x y_2\in R^\perp(A^H)N(A),Ay_20,AyAA^Hx y2∈R⊥(AH)N(A),Ay20,AyAAHx x ( A A H ) − 1 A y , y 1 [ A H ( A A H ) − 1 A ] y x(AA^H)^{-1}Ay,y_1 [A^H(AA^H)^{-1}A]y x(AAH)−1Ay,y1[AH(AAH)−1A]y P A H ( A A H ) − 1 A P H P A^H(AA^H)^{-1}AP^H PAH(AAH)−1APH
从第5步可以知道为什么需要A行满秩了只有行满秩的矩阵 y 1 ∈ R ( A H ) , y 1 A H x y_1\in R(A^H),y_1A^Hx y1∈R(AH),y1AHx其中x才有唯一解。
至此我们知道 P A H ( A A H ) − 1 A P A^H(AA^H)^{-1}A PAH(AAH)−1A是一个正交投影矩阵将一个向量投影到A的行向量的生成子空间。
3、关于Rosen梯度投影法
Rosen梯度投影法的可行下降方向 P k Q ( − g k ) ( I − N T ( N N T ) − 1 N ) g k P^k Q(-g^k) (I-N^T(NN^T)^{-1}N)g^k PkQ(−gk)(I−NT(NNT)−1N)gk
Q是一个投影矩阵并且投向 N T ( N N T ) − 1 N N^T(NN^T)^{-1}N NT(NNT)−1N的正交补空间N是由积极约束的法向量组成的矩阵因此P是负梯度方向向积极约束的法向量张成的行空间的正交补的投影。从几何上看就是将负梯度方向投影向了积极约束的超平面的交线上。
需要注意Rosen梯度投影法的约束条件是一个多面集。
