AI/AI 이론5 [머신러닝기초] Cross Entropy 크로스 엔트로피 엔트로피(Entropy의 개념)엔트로피는 불확실성(Uncertainty)를 설명하는 수학적 아이디어조금 더 자세히 설명하면, 확률분포가 갖는 정보의 확신도 혹은 정보량을 수치로 표현한 것만약에 우리가 동전을 던진다고 할때, 앞면이 나올 확률100%, 뒷면이 나올 확률이 100%입니다. 이 경우 불확실성은 0 크로스엔트로피(Cross Entropy)크로스 엔트로피는 실제 분포 qq에 대하여 알지 못하는 상태에서, 모델링을 통하여 구한 분포인 pp를 통하여 qq 를 예측하는 것입니다. qq와 pp가 모두 들어가서 크로스 엔트로피라고 한다고 합니다.머신러닝을 하는 경우에 실제 환경의 값과 qq를, 예측값(관찰값) pp를 모두 알고 있는 경우가 있습니다. 머신러닝의 모델은 몇%의 확률로 예측했는데, 실제 확률은.. 2024. 12. 2. 이전 1 2 다음
