載入中...
相關課程
登入觀看
⇐ Use this menu to view and help create subtitles for this video in many different languages.
You'll probably want to hide YouTube's captions if using these subtitles.
Linear Algebra: Least Squares Approximation : The least squares approximation for otherwise unsolvable equations
相關課程
0 / 750
- 假設已知矩陣A
- 它是一個n×k矩陣
- 已知方程Ax=b
- 這樣的話 x就屬於Rk
- 因爲這裡有k列
- 並且b屬於Rn
- 我們假設
- Ax=b沒有解
- 這意味著什麽？
- 我們把A展開
- 我想你應該知道了
- 如果把A寫成這種形式 a1 a2
- 我把它寫成行向量的形式
- 直到ak
- 然後將它乘以
- 向量[x1,x2,...,xk]'
- 這與這個方程式等價的
- 我只是把兩個矩陣具體寫了出來
- 這就等價於
- x1<i>a1加上x2<i>a2</i></i>
- 一直加到xk<i>ak 等於向量b</i>
- 如果這個式子沒有解
- 就說明A的行向量
- 關於結果b
- 是沒有權重的
- 換句話說
- 不存在向量a的線性組合
- 使得其結果等於b
- 一種更加深刻的說法是
- b不在A的列空間中
- 這些項的線性組合不可能等於它
- 我們來從直觀上來考慮
- 我先畫出A的列空間
- A的列空間
- 就像這樣
- 我假設它是Rn中的一個平面
- 它不必須是平面
- 可以是非常一般的空間
- 這是一個列空間
- 這是A的列空間
- 如果這是列空間
- 並且b不在這個列空間中
- 我們可以把b畫成這樣
- 假設這裡是原點
- b由這裡出發
- 這個是0向量
- 這是向量b
- 它不在列空間中
- 不在這個平面中
- 到現在爲止 我們已經得到了這個方程
- 我們構建一個增廣矩陣
- 把它化成行簡化階梯形
- 並且得到一條直線0=1
- 從而我們知道它沒有解 什麽也做不了
- 但是我們能否做得更好呢？
- 顯然我們找不到它的解
- 但我們能否求得
- 與其接近的一個解呢？
- 假如要找出某個x
- 我稱它爲x 其中――
- 我要找到某個x
- 其中A<i>x<i>是―― 這是個向量――</i></i>
- 盡可能近地―― 我寫出來――
- 與b盡可能地近
- 換種方式來看 當我提到“近”時
- 其實討論的是長度
- 所以就是要求長度的最小值――
- 我寫下來
- 求b-Ax<i>的長度的最小值</i>
- 也許你們已經知道
- 會得到什麽
- 當你取二者之差
- 並取其長度時
- 結果是什麽？
- 對於Ax
- Ax屬於列空間
- 我稱之爲v
- 就是用Rk中的任意向量乘以矩陣A
- 得到的結果屬於列空間
- 所以任何Ax都在列空間中
- 也許這個是向量v
- 它等於Ax
- 我們希望這個向量距離這個向量
- 盡可能地近 只要它滿足――
- 它必須是在列空間中
- 我們希望這兩個向量之差
- 最小化
- 現在我想說明
- 這個術語的由來
- 我還沒有給它一個合適的名字
- 如果取這個向量
- 爲了簡便就取這個向量v――
- 它等於這個向量的長度
- 對每一個分量作差
- 就是b1-v1 b2-v2 直到bn-vn
- 如果取這個向量的長度
- 這與這項是相同的
- 於是就等於根號下
- 我對這個長度取平方
- 其長度的平方就是
- (b1-v1)?加上(b2-v2)?
- 加到(bn-vn)?
- 我要求其最小值
- 即要取某個值
- 使這項達到最小
- 或者說我要求出最小平方估計
- 這就是爲什麽……
- 這是我最後對其做解釋了
- 我要告訴大家
- 這爲什麽叫做
- 最小平方估計
- 或者說最小平方解
- 或者最小平方逼近
- 對於方程Ax=b
- 這個方程沒有解
- 但我們可以找到某個x
- 使得如果用A乘以x
- 則其結果在列空間中
- 並且使得得到的向量
- 與b盡可能地接近
- 我們在很多節課上都學過
- 任何空間中距離空間外的一個向量
- 最近的向量是什麽？
- 距離其最近的向量就是它的投影
- 次空間中距離b最近的向量
- 就是b在列空間中的投影
- 這是距離最近的向量
- 如果要求其最小值
- 就需要求出x
- 其中x<i>等於 向量b在次空間</i>
- 即A的列空間中的投影
- 要記住我們現在在做什麽
- 已知Ax=b沒有解
- 但我們可以求出某個x
- 使結果與b盡可能地近
- 所以稱之爲最小平方解
- 或者最小平方逼近
- 這一項
- 顯然在列空間中
- 因爲用某個向量v乘以A
- 得到的是這些行向量的
- 線性組合
- 所以它屬於列空間
- 我想要這個向量
- 盡可能地接近這個向量
- 列空間中距離這個向量最近的
- 就是它的投影
- 所以Ax等於
- b在列空間中的投影
- 它需要等於它
- 但是它是很難求出來的
- 你知道怎麽做
- 取矩陣A乘以
- A'A的逆 再乘以A'
- 求出變換矩陣有些困難
- 所以我們尋找一下
- 是否有求最小平方解或者最佳解的
- 簡單方法
- 它不是真正意義上的解
- 它是一個最佳解
- 這就是我們爲什麽稱之爲
- 最小平方解或者最小平方估計
- 我們將兩邊同時減去b
- 會得到一些有趣的東西
- 如果兩邊同時減去b
- 會怎麽樣？
- 我在右邊做
- 方程左邊得到Ax
- 把x和<i>寫在一起有些困難</i>
- 因爲它們很相似
- 如果將它減去b
- 減去向量b
- 它就就等於
- b在列空間中的投影減去b
- 我做的就是
- 在方程兩邊同時減去b
- 那麽b的投影減去b是多少呢？
- 我畫在這裡
- 它就是這個向量――
- 我用橘黃色的來寫
- 它就是這個向量
- 它就是這個向量 對嗎？
- 如果取b的投影
- 就是這個項 再減去b
- 就得到和這個向量
- 從而有b加上這個向量
- 等於b在次空間上的投影
- 這個向量是垂直的
- 事實上由投影的定義可知
- 這一項正交於
- 次空間或者說是列空間
- 所以這一項就正交於列空間
- 我可以寫出Ax<i>-b</i>
- 它正交於列空間
- 或者說它屬於
- 列空間的正交補
- 所謂的正交補就是
- 正交於該次空間的
- 所有的列空間中的
- 向量的集合
- 所以這裡的
- 這個垂直於平面的向量
- 顯然屬於
- 列空間的正交補
- 你也許對其感到熟悉
- 列空間的正交補是多少呢？
- 列空間的正交補
- 就等於A'的零核空間
- 或者說A的左零核空間
- 我們在很多課上都做過
- 從而有A乘以
- Ax=b的最小平方估計―― 我寫出來
- x<i>就是Ax=b的</i>
- 最小平方解
- 所以說Ax<i>-b就屬於</i>
- A'的零核空間
- 這意味著什麽？
- 這表明如果用A'
- 乘以這一項 乘以Ax<i>――</i>
- 我不想省略
- x上面的向量符號
- 這是一個向量
- 這一點不能忘
- 於是有Ax<i>-b</i>
- 如果用A'乘以這一項
- 二者是相同的
- 會得到什麽？
- 這一項屬於A'的零核空間
- 所以這一項乘以A'就等於0
- 這一項是方程A'x=0的
- 一個解
- 現在我們看看是否能夠將其化簡
- 我們已知
- 方程A'Ax<i>-A'b=0</i>
- 如果在等式兩邊
- 加上這一項
- 就得到A'A
- 乘以Ax=b的最小平方解
- 等於A'b
- 這就是得到的結果
- 我們爲什麽要做這些工作？
- 注意我們的起點
- 我說過我們要求出
- Ax=b的一個解
- 但是它沒有解
- 我說過
- 我們至少要求出x<i>使得b達到最小</i>
- 使得b與x<i>的距離達到最小</i>
- 我們稱其爲最小平方解
- 我們稱其爲最小平方解是因爲
- 當取長度時
- 或者說求最小的長度時
- 就是在求
- 這個差的平方的最小值
- 所以稱其爲最小平方解
- 要求出這個最小值
- 我們知道它是次空間中距離b最近的向量
- 並且次空間中距離b最近的向量
- 就是b在次空間中的投影
- 也就是在A的列空間中的投影
- 我們知道對於A―― 我換一種顏色
- 我們知道A乘以最小平方解
- 應該等於
- b在A的列空間中的投影
- 如果能求出Rk中滿足這個條件的x
- 那麽它就是最小平方解
- 我們以前學過
- 求出b的投影說著簡單做起來難
- 要做很多的工作
- 我們可以以簡單一些的方式來做
- 而這就是一種簡單的方法
- 如果我們求出這項
- 就可以得出方程的解
- 已知方程Ax=b沒有解
- 我要做的是
- 將方程兩邊
- 同時乘以A'
- 如果將方程兩邊同時乘以A'
- 就有A'Ax=A'――
- 我還用藍色來寫―― A――
- 不對 這不是一種藍色―― A'b
- 我所做的就是兩邊同時乘以這項
- 於是這個方程的解
- 就等於這個方程的解
- 這個方程總有解
- 而這一項就是最小平方解
- 這項就是最小平方解
- 注意 這是一個矩陣
- 這是一個向量
- 這是一個向量
- 只要能求出一個解
- 我們就求出了
- 方程Ax=b的一個解
- 我們使得誤差達到最小
- 我們要求出Ax
- 並且使Ax<i>與b之差</i>
- 達到最小
- 這就是最小平方解
- 這有些抽象
- 但希望在下次課中
- 我們能夠意識到
- 這是一個有用的概念