南昌营销型网站,360免费创建个人网站,电子商务旅游网站建设策划书,做ppt的软件模板下载网站有哪些《机器学习数学基础》 153 页#xff0c;针对图 3-4-3#xff0c;提出了一个问题#xff1a;“点 A A A 到 W \mathbb{W} W 上的一个点的距离有无穷多个。现在#xff0c;我们最关心的是其中最短的那个#xff0c;怎么找#xff1f;请参阅 3.6 节。”并且#xff0c;在…《机器学习数学基础》 153 页针对图 3-4-3提出了一个问题“点 A A A 到 W \mathbb{W} W 上的一个点的距离有无穷多个。现在我们最关心的是其中最短的那个怎么找请参阅 3.6 节。”并且在 3.6 节使用最小二乘法找到了点 A A A 为终点的向量在 W \mathbb{W} W 上的投影向量那么这两个向量的距离就是“最短的那个”。
但是书中没有证明此结论。
本文中将在介绍柯西—施瓦茨不等式的基础上证明此上述结论。
柯西-施瓦茨不等式Cauchy–Schwarz inequality又称施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式Cauchy–Bunyakovsky–Schwarz inequality不等式是以奧古斯丁·路易·柯西Augustin Louis Cauchy赫尔曼·阿曼杜斯·施瓦茨Hermann Amandus Schwarz和维克托·雅科夫列维奇·布尼亚科夫斯基Виктор Яковлевич Буняковский来命名的 [ 1 ] ^{[1]} [1]。
1. 不等式
1.1 定理 1
已知 a 1 , ⋯ , a n , b 1 , ⋯ , b n a_1,\cdots,a_n,b_1,\cdots,b_n a1,⋯,an,b1,⋯,bn 为实数则 ( ∑ i 1 n a i b i ) 2 ≤ ( ∑ i 1 n a i 2 ) ( ∑ i 1 n b i 2 ) (1.1) \left(\sum_{i1}^na_ib_i\right)^2\le\left(\sum_{i1}^na_i^2\right)\left(\sum_{i1}^nb_i^2\right) \tag{1.1} (i1∑naibi)2≤(i1∑nai2)(i1∑nbi2)(1.1)
等式成立的成分必要条件是 a i λ b i , ( i 1 , ⋯ , n ) a_i\lambda b_i,(i1,\cdots,n) aiλbi,(i1,⋯,n) 。
这是比较常见的柯西不等式形式。
1.2 定理 2
已知 a 1 , ⋯ , a n , b 1 , ⋯ , b n a_1,\cdots,a_n,b_1,\cdots,b_n a1,⋯,an,b1,⋯,bn 为复数则 ∣ ∑ i 1 n a i b i ∣ 2 ≤ ( ∑ i 1 n ∣ a i ∣ 2 ) ( ∑ i 1 n ∣ b i ∣ 2 ) (1.2) \left|\sum_{i1}^na_ib_i\right|^2\le\left(\sum_{i1}^n|a_i|^2\right)\left(\sum_{i1}^n|b_i|^2\right) \tag{1.2} i1∑naibi 2≤(i1∑n∣ai∣2)(i1∑n∣bi∣2)(1.2)
等式成立的成分必要条件是 a i λ b i , ( i 1 , ⋯ , n ) a_i\lambda b_i,(i1,\cdots,n) aiλbi,(i1,⋯,n) λ \lambda λ 为一复数。
若令 a [ a 1 ⋯ a n ] , b [ b 1 ⋯ b n ] \pmb{a}\begin{bmatrix}a_1\cdotsa_n\end{bmatrix},\pmb{b}\begin{bmatrix}b_1\cdotsb_n\end{bmatrix} a[a1⋯an],b[b1⋯bn] 则柯西不等式可表示为 ∣ a ⋅ b ∣ ≤ ∥ a ∥ ∥ b ∥ (1.3) |\pmb{a}\cdot\pmb{b}|\le\begin{Vmatrix}\pmb{a}\end{Vmatrix}\begin{Vmatrix}\pmb{b}\end{Vmatrix}\tag{1.3} ∣a⋅b∣≤ a b (1.3)
1.3 定理 3
已知 A ( a i j ) \pmb{A}(a_{ij}) A(aij) 是正定对称矩阵 x 1 , ⋯ , x n ; y 1 , ⋯ , y n x_1,\cdots,x_n;y_1,\cdots,y_n x1,⋯,xn;y1,⋯,yn 为任意实数或复数则 ∣ ∑ i , j 1 n a i j x i y j ∣ ≤ ∑ i , j 1 n a i j x i x j ∑ i , j 1 n a i j y i y j (1.4) \left|\sum_{i,j1}^na_{ij}x_iy_j\right|\le\sqrt{\sum_{i,j1}^na_{ij}x_ix_j}\sqrt{\sum_{i,j1}^na_{ij}y_iy_j}\tag{1.4} i,j1∑naijxiyj ≤i,j1∑naijxixj i,j1∑naijyiyj (1.4)
对1.4式可以用向量表示 ζ ⋅ η x A y ∑ i , j 1 n a i j x i y j \pmb{\zeta}\cdot\pmb{\eta}\pmb{xAy}\sum_{i,j1}^na_{ij}x_iy_j ζ⋅ηxAy∑i,j1naijxiyj ∥ ζ ∥ 2 ζ ⋅ ζ x A x T ∑ i , j 1 n a i j x i x j \begin{Vmatrix}\zeta\end{Vmatrix}^2\pmb{\zeta\cdot\zeta}\pmb{xAx}^T\sum_{i,j1}^na_{ij}x_ix_j ζ 2ζ⋅ζxAxT∑i,j1naijxixj ∥ η ∥ 2 η ⋅ η y A y T ∑ i , j 1 n a i j y i y j \begin{Vmatrix}\eta\end{Vmatrix}^2\pmb{\eta\cdot\eta}\pmb{yAy}^T\sum_{i,j1}^na_{ij}y_iy_j η 2η⋅ηyAyT∑i,j1naijyiyj
1.4 定理 4
已知 a i , b i ∈ C a_i,b_i\in\mathbb{C} ai,bi∈C 则 ∣ ∑ i , j 1 ∞ a i b j ∣ ≤ ( ∑ i 1 ∞ ∣ a i ∣ 2 ) 1 2 ( ∑ i 1 ∞ ∣ b i ∣ 2 ) 1 2 (1.5) |\sum_{i,j1}^{\infty}a_ib_j|\le\left(\sum_{i1}^{\infty}|a_i|^2\right)^{\frac{1}{2}}\left(\sum_{i1}^{\infty}|b_i|^2\right)^{\frac{1}{2}} \tag{1.5} ∣i,j1∑∞aibj∣≤(i1∑∞∣ai∣2)21(i1∑∞∣bi∣2)21(1.5)
等式成立的充分必要条件是 a i λ b i , ( i 1 , ⋯ , λ ∈ C ) a_i\lambda b_i,(i1,\cdots,\lambda\in\mathbb{C}) aiλbi,(i1,⋯,λ∈C) 。
将定理 4 推广到积分形式即为柯西—施瓦茨不等式。
1.5 定理 5
已知 f , g f,g f,g 是区间 [ a , b ] [a,b] [a,b] 上的连续函数 f , g ∈ C [ a , b ] f,g\in\mathbb{C}[a,b] f,g∈C[a,b] 则 ∣ ∫ a b f ( x ) g ( x ) d x ∣ ≤ ∫ a b ∣ f ( x ) ∣ 2 d x ∫ a b ∣ g ( x ) ∣ 2 d x (1.7) \begin{vmatrix}\int_a^bf(x)g(x)dx\end{vmatrix}\le\int_a^b|f(x)|^2dx\int_a^b|g(x)|^2dx\tag{1.7} ∫abf(x)g(x)dx ≤∫ab∣f(x)∣2dx∫ab∣g(x)∣2dx(1.7)
1.7式称为柯西-施瓦茨不等式Cauchy–Schwarz inequality、施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式Cauchy–Bunyakovsky–Schwarz inequality。此不等式是乌克兰数学家 Viktor Yakovlerich Bunyakovsky1804-1889与德国数学家原籍波兰KarlHerman Amandus Schwarz (1843-1921)分别于1861年和1885年发现。虽然布尼亚克夫斯基比施瓦茨先发现了这个不等式而在很多数学教材中常常把他的名字忽略——恐怕不是因为他名字太长更可能的原因是 19 世纪数学研究的中心在德国、法国不在这个中心的人所作出的发现就很难引起重视。这种现象在当今也难免。
1.6 定理 6
已知 a 1 , ⋯ , a n ; b 1 , ⋯ , b n a_1,\cdots,a_n;b_1,\cdots,b_n a1,⋯,an;b1,⋯,bn 为任意复数且 p , q ≥ 1 1 p 1 q 1 p,q\ge1\frac{1}{p}\frac{1}{q}1 p,q≥1p1q11 则 ∣ ∑ i 1 n a i b i ∣ ≤ ( ∑ i 1 n ∣ a i ∣ p ) 1 p ( ∑ i 1 n ∣ b i ∣ q ) 1 q (1.9) |\sum_{i1}^{n}a_ib_i|\le\left(\sum_{i1}^{n}|a_i|^p\right)^{\frac{1}{p}}\left(\sum_{i1}^{n}|b_i|^q\right)^{\frac{1}{q}} \tag{1.9} ∣i1∑naibi∣≤(i1∑n∣ai∣p)p1(i1∑n∣bi∣q)q1(1.9)
1.9式称为赫尔德不等式 H ̈older不等式如果推广到积分形式就是下面的定理7。
1.7 定理 7
已知 f , g ∈ C [ a , b ] p , q ≥ 1 1 p 1 q 1 f,g\in\mathbb{C}[a,b]p,q\ge1\frac{1}{p}\frac{1}{q}1 f,g∈C[a,b]p,q≥1p1q11 则 ∣ ∫ a b f ( x ) g ( x ) d x ∣ ≤ ( ∫ a b ∣ f ( x ) ∣ p d x ) 1 p ( ∫ a b ∣ g ( x ) ∣ q d x ) 1 q (1.10) \begin{vmatrix}\int_a^bf(x)g(x)dx\end{vmatrix}\le\left(\int_a^b|f(x)|^pdx\right)^{\frac{1}{p}}\left(\int_a^b|g(x)|^qdx\right)^{\frac{1}{q}}\tag{1.10} ∫abf(x)g(x)dx ≤(∫ab∣f(x)∣pdx)p1(∫ab∣g(x)∣qdx)q1(1.10)
还可以写成更一般的形式定理8所示。
1.8 定理 8
已知 f 1 , ⋯ , f n ∈ C [ a , b ] f_1,\cdots,f_n\in\mathbb{C}[a,b] f1,⋯,fn∈C[a,b] 且 1 p 1 1 p 2 ⋯ 1 p n 1 , p i ≥ 1 \frac{1}{p_1}\frac{1}{p_2}\cdots\frac{1}{p_n}1,p_i\ge1 p11p21⋯pn11,pi≥1 则 ∣ ∫ a b f 1 ( x ) f 2 ( x ) ⋯ f n ( x ) d x ∣ ≤ ( ∫ a b ∣ f 1 ( x ) ∣ p 1 d x ) 1 p 1 ⋯ ( ∫ a b ∣ f n ( x ) ∣ p n d x ) 1 p n (1.11) \begin{vmatrix}\int_a^bf_1(x)f_2(x)\cdots f_n(x)dx\end{vmatrix}\le\left(\int_a^b|f_1(x)|^{p_1}dx\right)^{\frac{1}{p_1}}\cdots\left(\int_a^b|f_n(x)|^{p_n}dx\right)^{\frac{1}{p_n}}\tag{1.11} ∫abf1(x)f2(x)⋯fn(x)dx ≤(∫ab∣f1(x)∣p1dx)p11⋯(∫ab∣fn(x)∣pndx)pn1(1.11)
德国数学家赫尔德Otto Lud-wig H ̈older (1859-1937)在1885年研究傅里叶技术收敛性问题时发现了上述不等式。
赫尔德不等式也称为赫尔德—里斯不等式H ̈older-Riesz。
当 p q 2 pq2 pq2 赫尔德不等式就退化为柯西—施瓦茨不等式。
2. 余弦定理
对柯西—施瓦茨不等式的最直接理解可以通过余弦定理如图所示
由余弦定理得 ∣ a ∣ 2 ∣ b ∣ 2 − ∣ a − b ∣ 2 2 ∣ a ∣ ∣ b ∣ cos θ (2.1) |\pmb{a}|^2|\pmb{b}|^2-|\pmb{a}-\pmb{b}|^22|\pmb{a}||\pmb{b}|\cos\theta \tag{2.1} ∣a∣2∣b∣2−∣a−b∣22∣a∣∣b∣cosθ(2.1)
所以 a ⋅ b ∣ a ∣ ∣ b ∣ cos θ \pmb{a}\cdot\pmb{b}|\pmb{a}||\pmb{b}|\cos\theta a⋅b∣a∣∣b∣cosθ
因为 ∣ cos θ ∣ ≤ 1 |\cos\theta|\le1 ∣cosθ∣≤1 可得 ∣ a ⋅ b ∣ ≤ ∣ a ∣ ∣ b ∣ (2.2) |\pmb{a}\cdot\pmb{b}|\le|\pmb{a}||\pmb{b}|\tag{2.2} ∣a⋅b∣≤∣a∣∣b∣(2.2)
亦即得到了1.3式。
3. 柯西—施瓦茨不等式的证明
3.1 判别式
这是一种最常见的证明方法。
向量 a , b \pmb{a},\pmb{b} a,b 不平行所以 c b − λ a , λ ∈ R \pmb{c}\pmb{b}-\lambda\pmb{a},\lambda\in\mathbb{R} cb−λa,λ∈R 。
计算 c \pmb{c} c 的长度 ∣ c ∣ 2 c ⋅ c ( b − λ a ) ⋅ ( b − λ a ) b ⋅ b − 2 a ⋅ b λ a ⋅ a λ 2 ∣ a ∣ 2 λ 2 − 2 a ⋅ b λ ∣ b ∣ 2 (3.1) \begin{split}|\pmb{c}|^2\pmb{c\cdot c}(\pmb{b}-\lambda\pmb{a})\cdot(\pmb{b}-\lambda\pmb{a})\\\pmb{b\cdot b}-2\pmb{a\cdot b}\lambda\pmb{a\cdot a}\lambda^2\\|\pmb{a}|^2\lambda^2-2\pmb{a}\cdot\pmb{b}\lambda|\pmb{b}|^2\end{split} \tag{3.1} ∣c∣2c⋅c(b−λa)⋅(b−λa)b⋅b−2a⋅bλa⋅aλ2∣a∣2λ2−2a⋅bλ∣b∣2(3.1)
将3.1式视为 λ \lambda λ 的一元二次方程。由于 ∣ c ∣ 2 ≥ 0 |\pmb{c}|^2\ge0 ∣c∣2≥0 且 ∣ a ∣ 2 ≥ 0 |\pmb{a}|^2\ge0 ∣a∣2≥0 。所以3.1式中的二次函数是开口向上的抛物线且与横轴无交点 ∣ c ∣ 2 0 |\pmb{c}|^20 ∣c∣20 是极限即 λ \lambda λ 没有实根所以判别式小于等于 0 0 0 。 Δ ( 2 a ⋅ b ) 2 − 4 ∣ a ∣ 2 ∣ b ∣ 2 ≤ 0 \Delta(2\pmb{a\cdot b})^2-4|\pmb{a}|^2|\pmb{b}|^2\le0 Δ(2a⋅b)2−4∣a∣2∣b∣2≤0
所以 ∣ a ⋅ b ∣ ≤ ∣ a ∣ ∣ b ∣ |\pmb{a}\cdot\pmb{b}|\le|\pmb{a}||\pmb{b}| ∣a⋅b∣≤∣a∣∣b∣
3.2 投影——最短距离
前述证明中避免了余弦定理中的角度使用了向量的点积对任意维的向量都适用。
由前述假设可得 λ \lambda λ λ a ⋅ b ∣ a ∣ 2 , c b − λ a b − a ⋅ b ∣ a ∣ 2 a (3.2) \lambda\frac{\pmb{a\cdot b}}{|\pmb{a}|^2}, \quad\pmb{c}\pmb{b}-\lambda\pmb{a}\pmb{b}-\frac{\pmb{a\cdot b}}{|\pmb{a}|^2}\pmb{a} \tag{3.2} λ∣a∣2a⋅b,cb−λab−∣a∣2a⋅ba(3.2)
将3.2式代入到3.1式则 0 ≤ ∣ c ∣ 2 ∣ a ∣ 2 ( a ⋅ b ∣ a ∣ 2 ) 2 − 2 a ⋅ b ( a ⋅ b ∣ a ∣ 2 ) ∣ b ∣ 2 (3.3) 0\le|\pmb{c}|^2|\pmb{a}|^2\left(\frac{\pmb{a\cdot b}}{|\pmb{a}|^2}\right)^2-2\pmb{a\cdot b}\left(\frac{\pmb{a\cdot b}}{|\pmb{a}|^2}\right)|\pmb{b}|^2 \tag{3.3} 0≤∣c∣2∣a∣2(∣a∣2a⋅b)2−2a⋅b(∣a∣2a⋅b)∣b∣2(3.3)
整理得 ( a ⋅ b ) 2 ≤ ∣ a ∣ 2 ∣ b ∣ 2 (\pmb{a\cdot b})^2\le|\pmb{a}|^2|\pmb{b}|^2 (a⋅b)2≤∣a∣2∣b∣2
即得到1.3式。
如何理解3.2式中的 λ \lambda λ a ⋅ c a ⋅ ( b − λ a ) a ⋅ b − λ ∣ a ∣ 2 \pmb{a\cdot c} \pmb{a}\cdot(\pmb{b}-\lambda\pmb{a})\pmb{a\cdot b}-\lambda|\pmb{a}|^2 a⋅ca⋅(b−λa)a⋅b−λ∣a∣2
因此可以有如下关系 a ⋅ c 0 ⟺ a ⊥ c ⟺ λ a ⋅ b ∣ a ∣ 2 \pmb{a\cdot c}0\quad\Longleftrightarrow\quad \pmb{a}\bot\pmb{c} \quad\Longleftrightarrow\quad \lambda\frac{\pmb{a\cdot b}}{|\pmb{a}|^2} a⋅c0⟺a⊥c⟺λ∣a∣2a⋅b
由此可知 λ \lambda λ 的选择恰好是能够让 λ a \lambda\pmb{a} λa 是 b \pmb{b} b 在 a \pmb{a} a 上的投影 ∣ c ∣ |\pmb{c}| ∣c∣ 则是 b \pmb{b} b 至 a \pmb{a} a 的最短距离。其关系如下图所示 λ \lambda λ 还称为拉格朗日乘子Largrange multiplier。
参考文献
[1]. Wikipedia: Cauchy-Schwarz inequality
[2]. 齐伟. 机器学习数学基础[M]. 北京电子工业出版社2023. 文章转载自： http://www.morning.tjqcfw.cn.gov.cn.tjqcfw.cn http://www.morning.znpyw.cn.gov.cn.znpyw.cn http://www.morning.kbfzp.cn.gov.cn.kbfzp.cn http://www.morning.jgnst.cn.gov.cn.jgnst.cn http://www.morning.iqcge.com.gov.cn.iqcge.com http://www.morning.kzbpx.cn.gov.cn.kzbpx.cn http://www.morning.drcnn.cn.gov.cn.drcnn.cn http://www.morning.hbtarq.com.gov.cn.hbtarq.com http://www.morning.dnqliv.cn.gov.cn.dnqliv.cn http://www.morning.fhbhr.cn.gov.cn.fhbhr.cn http://www.morning.lxyyp.cn.gov.cn.lxyyp.cn http://www.morning.epeij.cn.gov.cn.epeij.cn http://www.morning.ktlxk.cn.gov.cn.ktlxk.cn http://www.morning.bmpjp.cn.gov.cn.bmpjp.cn http://www.morning.ktpzb.cn.gov.cn.ktpzb.cn http://www.morning.knlbg.cn.gov.cn.knlbg.cn http://www.morning.lfqtp.cn.gov.cn.lfqtp.cn http://www.morning.llxns.cn.gov.cn.llxns.cn http://www.morning.xtdtt.cn.gov.cn.xtdtt.cn http://www.morning.ftgwj.cn.gov.cn.ftgwj.cn http://www.morning.splkk.cn.gov.cn.splkk.cn http://www.morning.bfgpn.cn.gov.cn.bfgpn.cn http://www.morning.tgnwt.cn.gov.cn.tgnwt.cn http://www.morning.ysgnb.cn.gov.cn.ysgnb.cn http://www.morning.txgjx.cn.gov.cn.txgjx.cn http://www.morning.fmqw.cn.gov.cn.fmqw.cn http://www.morning.rfwgg.cn.gov.cn.rfwgg.cn http://www.morning.kdhrf.cn.gov.cn.kdhrf.cn http://www.morning.glnmm.cn.gov.cn.glnmm.cn http://www.morning.ckhyj.cn.gov.cn.ckhyj.cn http://www.morning.qlxgc.cn.gov.cn.qlxgc.cn http://www.morning.lsyk.cn.gov.cn.lsyk.cn http://www.morning.bjjrtcsl.com.gov.cn.bjjrtcsl.com http://www.morning.hhxkl.cn.gov.cn.hhxkl.cn http://www.morning.nytpt.cn.gov.cn.nytpt.cn http://www.morning.hxxyp.cn.gov.cn.hxxyp.cn http://www.morning.nypsz.cn.gov.cn.nypsz.cn http://www.morning.hrydl.cn.gov.cn.hrydl.cn http://www.morning.sbdqy.cn.gov.cn.sbdqy.cn http://www.morning.jhtrb.cn.gov.cn.jhtrb.cn http://www.morning.dnpft.cn.gov.cn.dnpft.cn http://www.morning.npkrm.cn.gov.cn.npkrm.cn http://www.morning.nqmkr.cn.gov.cn.nqmkr.cn http://www.morning.ywzqk.cn.gov.cn.ywzqk.cn http://www.morning.c7624.cn.gov.cn.c7624.cn http://www.morning.gmplp.cn.gov.cn.gmplp.cn http://www.morning.gcxfh.cn.gov.cn.gcxfh.cn http://www.morning.znqmh.cn.gov.cn.znqmh.cn http://www.morning.jbshh.cn.gov.cn.jbshh.cn http://www.morning.mgmqf.cn.gov.cn.mgmqf.cn http://www.morning.ygpdm.cn.gov.cn.ygpdm.cn http://www.morning.qkzdc.cn.gov.cn.qkzdc.cn http://www.morning.trmpj.cn.gov.cn.trmpj.cn http://www.morning.lwzpp.cn.gov.cn.lwzpp.cn http://www.morning.wkqrp.cn.gov.cn.wkqrp.cn http://www.morning.qtyfb.cn.gov.cn.qtyfb.cn http://www.morning.zdzgf.cn.gov.cn.zdzgf.cn http://www.morning.rtryr.cn.gov.cn.rtryr.cn http://www.morning.grfhd.cn.gov.cn.grfhd.cn http://www.morning.hnpkr.cn.gov.cn.hnpkr.cn http://www.morning.c-ae.cn.gov.cn.c-ae.cn http://www.morning.sqdjn.cn.gov.cn.sqdjn.cn http://www.morning.kpwcx.cn.gov.cn.kpwcx.cn http://www.morning.bttph.cn.gov.cn.bttph.cn http://www.morning.ktfbl.cn.gov.cn.ktfbl.cn http://www.morning.ljbpk.cn.gov.cn.ljbpk.cn http://www.morning.xyhql.cn.gov.cn.xyhql.cn http://www.morning.lbfgq.cn.gov.cn.lbfgq.cn http://www.morning.btgxf.cn.gov.cn.btgxf.cn http://www.morning.kmldm.cn.gov.cn.kmldm.cn http://www.morning.rhqn.cn.gov.cn.rhqn.cn http://www.morning.mpngp.cn.gov.cn.mpngp.cn http://www.morning.ttdxn.cn.gov.cn.ttdxn.cn http://www.morning.ngzkt.cn.gov.cn.ngzkt.cn http://www.morning.bxyzr.cn.gov.cn.bxyzr.cn http://www.morning.slnz.cn.gov.cn.slnz.cn http://www.morning.wbxbj.cn.gov.cn.wbxbj.cn http://www.morning.gmwqd.cn.gov.cn.gmwqd.cn http://www.morning.cwjsz.cn.gov.cn.cwjsz.cn http://www.morning.stwxr.cn.gov.cn.stwxr.cn
