Pseudo Inverse

Prerequisites: SVD

어떤 matrix $A\in R^{m\times n}$에 대해 SVD를 사용하면 다음과 같은 orthonormal matrix $U,V$를 얻을 수 있다.

$$A=U\Sigma V^T$$

이때 만약 $\Sigma$가 어떤 diagonal matrix $D\in R^{r\times r}$에 대해 다음과 같다고 하면,

$$\Sigma =\left(\begin{array}{c}D0\\ 00\end{array}\right)$$

다음과 같이 계산할 수 있다.

$$A=(U_r{U}_{m-r})\left(\begin{array}{c}D0\\ 00\end{array}\right)\left(\begin{array}{c}{V}_r^T\\ V_{n-r}^T\end{array}\right)=U_{r}D{V}_r^T$$

이때 $r=rankA$이다. 그러면 $A$의 pseudo inverse $A^{+}$는 다음과 같이 정의된다.

$$A^{+}=V_r{D}^{-1}{U}_r^T$$

이때 $A^{+}b$는 $Ax=b$의 least square solution $x$ 중 최소의 길이를 가지는 solution이다.