https://kgwcredit.tistory.com/13 Normal Equation - 증명 크리에이티브 커먼즈 라이선스 이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다. 이번 포스팅에선 Andrew Ng 강의의 Normal Equa.. kgwcredit.tistory.com 간혹 Normal Equation을 이용해서 수행하다가 non-invertible이라는 문제가 발생할 수 있습니다, 이것은 inverse가 되지 않아 발생하는 문제인데 X matrix가 singular이거나 degenerate일 경우에 발생한다고 합니다. 하지만 Octave에서 제공하는 pinv라는 함수는 inverse를 수행하다가 같은 문제가 발생하..

https://medium.com/@omicro03/linear-regression-63164cd2e51 Linear Regression 선형회귀 알고리즘 medium.com

https://destrudo.tistory.com/15 공분산(Covariance)과 상관계수(Correlation) 확률변수X가 있을때 우리가 흔히 이 분포를 나타낼때 쓰는것이 첫번째로 평균이고 두번째로 분산이다. 평균으로써 분포의 중간부분을 알아내고 분산으로써 분포가 얼마나 퍼져있는지 알아낸다. 더 알고싶으면 Skew.. destrudo.tistory.com

https://eehoeskrap.tistory.com/286 P문제와 NP문제(NP-hard) 답이 YES 아니면 NO로 반환되는 문제를 결정 문제라고 한다. 예를 들어, 'a는 b의 배수인가?'와 같은 질문은 결정 문제이다. P와 NP 모두 결정 문제의 분류에 해당한다. P 문제는 결정 문제들 중에서 쉽게 풀리는.. eehoeskrap.tistory.com https://ko.wikipedia.org/wiki/NP-%EB%82%9C%ED%95%B4 NP-난해 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. NP-난해, NP-hard는 NP에 속하는 모든 판정 문제를 다항 시간에 다대일 환산할 수 있는 문제들의 집합이다. 다시 말하면, NP-난해는 적어도 모든 NP 문제만큼은 어려..

Softmax 에서 밑을 exp로 쓰는 이유는? 그냥 일반 정규화로 해도 합이 1이되게 출력을 할 수 있고, 높은 확률은 더 높게 가중치를 주기 위한이유/ 미분했을때 편리한 이유라면 반대로 e^e^e^e^e^x로 하는것이 더 유리한것 아닌가?

1) Entropy (2진수) 2) About KL-Divergence 3) Cross-Entropy 공식유도 - Why?) Gradient Descent가 0으로 수렴해버릴 경우 학습이 거의 이루어지지 않기때문 - But, Batch Normalization써서 Sigmoid 미분 값이 0에 수렴하지 않는다면 rmse써도 상관없는 것 아닌가? --> rmse로 했을떈 다중분류에서 문제가 될 수있음 - 추가로, Sigmoid로 Activation 하지 않는다면 마찬가지로 Cross-Entropy로 안하고, 그냥 Softmax하고 rmse로 cost 구해도 되는거 아닌가? - 이 모든 전제가 Gradient Descent때문에 하는걸까? 추가로 이유가 또 있을까? - 결과 Label 값이 어느정도 선형적인..