Cross-Entropy에 관한 의문점

1) Entropy (2진수)

2) About KL-Divergence

3) Cross-Entropy 공식유도

    - Why?) Gradient Descent가 0으로 수렴해버릴 경우 학습이 거의 이루어지지 않기때문

        - But, Batch Normalization써서 Sigmoid 미분 값이 0에 수렴하지 않는다면 rmse써도 상관없는 것 아닌가? --> rmse로 했을떈 다중분류에서 문제가 될 수있음

        - 추가로, Sigmoid로 Activation 하지 않는다면 마찬가지로 Cross-Entropy로 안하고, 그냥 Softmax하고 rmse로 cost 구해도 되는거 아닌가?

        - 이 모든 전제가 Gradient Descent때문에 하는걸까? 추가로 이유가 또 있을까?

 

- 결과 Label 값이 어느정도 선형적인 관계가 있을경우.. (신용등급 0~9등급 분류)

가까운 거에대한 오차가 먼것보다 더 적게 주는게 유의미할 경우도 있을텐데.. 그때는 어케할까

 

 

https://sevity.tistory.com/41

크로스엔트로피 손실함수