https://eehoeskrap.tistory.com/286 P문제와 NP문제(NP-hard) 답이 YES 아니면 NO로 반환되는 문제를 결정 문제라고 한다. 예를 들어, 'a는 b의 배수인가?'와 같은 질문은 결정 문제이다. P와 NP 모두 결정 문제의 분류에 해당한다. P 문제는 결정 문제들 중에서 쉽게 풀리는.. eehoeskrap.tistory.com https://ko.wikipedia.org/wiki/NP-%EB%82%9C%ED%95%B4 NP-난해 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. NP-난해, NP-hard는 NP에 속하는 모든 판정 문제를 다항 시간에 다대일 환산할 수 있는 문제들의 집합이다. 다시 말하면, NP-난해는 적어도 모든 NP 문제만큼은 어려..

Softmax 에서 밑을 exp로 쓰는 이유는? 그냥 일반 정규화로 해도 합이 1이되게 출력을 할 수 있고, 높은 확률은 더 높게 가중치를 주기 위한이유/ 미분했을때 편리한 이유라면 반대로 e^e^e^e^e^x로 하는것이 더 유리한것 아닌가?

1) Entropy (2진수) 2) About KL-Divergence 3) Cross-Entropy 공식유도 - Why?) Gradient Descent가 0으로 수렴해버릴 경우 학습이 거의 이루어지지 않기때문 - But, Batch Normalization써서 Sigmoid 미분 값이 0에 수렴하지 않는다면 rmse써도 상관없는 것 아닌가? --> rmse로 했을떈 다중분류에서 문제가 될 수있음 - 추가로, Sigmoid로 Activation 하지 않는다면 마찬가지로 Cross-Entropy로 안하고, 그냥 Softmax하고 rmse로 cost 구해도 되는거 아닌가? - 이 모든 전제가 Gradient Descent때문에 하는걸까? 추가로 이유가 또 있을까? - 결과 Label 값이 어느정도 선형적인..