Basic! 인공지능 수학 part 12: 교차엔트로피

Basic! 인공지능 수학 열 두 번째 시간으로 가설검정에 대해 알아보도록 합시다.

 

 

엔트로피

 

자기정보

 

엔트로피

 
엔트로피는 자기정보의 평균을 의미합니다.

엔트로피는 데이터 압축에 많이 활용됩니다.
자주 사용되는 아이템을 허프만 tree와 같이
찾아내어 코드를 적게 사용하도록 만듭니다.

 

교차 엔트로피

 
인공지능 학습에 필요한 손실함수에 교차 엔트로피를 사용합니다.

• 확률분포 P와 Q

  

 

• 교차 엔트로피 $H(P, Q)$

  실제는 P, 실험으로 얻은 확률은 Q

  

  

  실제와 얻은 확률이 다르면 사용되는 정보량도 차이가 납니다.

 

분류 문제의 손실 함수

 

 
차이를 확인하는 방법은 다음과 같습니다.
기계학습에서 제곱합은 학습속도가 느린 문제가 있어
교차 엔트로피를 사용합니다.

 

 
분류에서의 교차 엔트로피 예시는 다음과 같습니다.

 

원하는 방향일수록 교차 엔트로피는 0에 가까워집니다.