[Proof] Normal Equation

https://kgwcredit.tistory.com/13

Normal Equation - 증명

 

간혹 Normal Equation을 이용해서 수행하다가 non-invertible이라는 문제가 발생할 수 있습니다, 이것은 inverse가 되지 않아 발생하는 문제인데 X matrix가 singular이거나 degenerate일 경우에 발생한다고 합니다. 하지만 Octave에서 제공하는 pinv라는 함수는 inverse를 수행하다가 같은 문제가 발생하여도 항상 올바른 값을 주도록 해주는 함수라고 합니다. 비슷한 함수로 inv가 있는데 이것을 사용하면 같은 케이스에서 오류가 발생합니다.

이런 문제는 정상적인 계산이 되지 않으므로 학습을 할 수 없게 될 것입니다.

 

 

만약 이와 같은 문제가 발생을 한다면 2가지 대응 방안이 있습니다.

첫번째는 중복된 features가 존재하는 경우에 발생을 합니다. 같의 의미(아래 그림의 예제에서는 단위만 다른 같은 사이즈 정보)를 가진 데이터를 사용하는 경우에 이런 문제가 발생할 수 있으며 이것이 발견되면 중복된 feature를 찾아 하나를 삭제하면 해결이 된다고 합니다.

 

두번째는 dataset의 크기에 비해서 너무 큰 features를 사용하는 경우에 발생을 합니다. m보다 n이 큰 경우로 데이터의 항목은 많은데 보유한 데이터 사이즈가 너무 작아서 발생하는 것입니다. 이런 경우에는 일부 features를 삭제하여 줄이는 방법이 있고, regularization(정규화)를 사용하는 방법이 있습니다. 정규화는 다음에 다루게 될 내용이 되겠습니다.

 

출처: https://daeson.tistory.com/172 [대소니]