我們在這一篇《模式識別、推薦系統中常用的兩種矩陣分解-----奇異值分解和非負矩陣分解 》中詳細介紹了矩陣奇異值分解的數學證明,我們沿用這一篇的博文的符號,繼續討論這一章的內容。
矩陣的奇異值分解定理:
設矩陣,秩為,,則該矩陣可以分解為:
也可以表示為:
。
其中:為矩陣(或者)的非零向量,為的對應特征向量,為的對應特征向量,。
SVD的第一個作用之低秩近似(Low Rank Approximation):
,,
即用矩陣近似。
SVD的第二個作用之特征降維(Dimensionality Reduction):
假設特征是按列存儲的,即:
,
其中,。
我們在低秩近似中已經用近似表示了。
則根據分塊矩陣的乘法,我們很容易得到:
,。
令:
。
因為,是相互正交的,所以根據
,
顯然可以得出,可以近似由,張成,所以我們得出結論:
m維的,可以降到維的,。