[머신러닝기초] Cross Entropy 크로스 엔트로피

엔트로피(Entropy의 개념)

• 엔트로피는 불확실성(Uncertainty)를 설명하는 수학적 아이디어
• 조금 더 자세히 설명하면, 확률분포가 갖는 정보의 확신도 혹은 정보량을 수치로 표현한 것
• 만약에 우리가 동전을 던진다고 할때, 앞면이 나올 확률100%, 뒷면이 나올 확률이 100%입니다. 이 경우 불확실성은 0 

크로스엔트로피(Cross Entropy)

• 크로스 엔트로피는 실제 분포 qq에 대하여 알지 못하는 상태에서, 모델링을 통하여 구한 분포인 pp를 통하여 qq 를 예측하는 것입니다. qq와 pp가 모두 들어가서 크로스 엔트로피라고 한다고 합니다.
• 머신러닝을 하는 경우에 실제 환경의 값과 qq를, 예측값(관찰값) pp를 모두 알고 있는 경우가 있습니다. 머신러닝의 모델은 몇%의 확률로 예측했는데, 실제 확률은 몇%야!라는 사실을 알고 있을 때 사용합니다.
• 크로스 엔트로피에서는 실제값과 예측값이 맞는 경우에는 0으로 수렴하고, 값이 틀릴경우에는 값이 커지기 때문에, 실제 값과 예측 값의 차이에 더 예민하게 반응하는 함수!

 

 

 

 

 

 

Reference

• [1] https://melonicedlatte.com/machinelearning/2019/12/20/204900.html
• [2] http://dmqm.korea.ac.kr/activity/seminar/326

엔트로피(Entropy)와 크로스 엔트로피(Cross-Entropy)의 쉬운 개념 설명 - Easy is Perfect

 

고려대학교 DMQA 연구실