[TIL] 21/01/21

오늘의 TIL

 

 

함수와 분포

데이터를 집어넣었을 때 반복시행을 해도 같은 결과를 도출하면 함수라 부릅니다.
반면 다른 결과를 도출하는 경우가 생길경우 분포(distribution)이라 부릅니다.

input 만 보고 input distribution을 추정하면 unsupervised 문제라 부릅니다.
training example이 추가적으로 존재해서 error를 추정할 수 있으면 supervised 문제라 할 수 있습니다. 전자는 P(x)를 추정하는 것이고, 후자는 P(y|X)를 추정합니다.

 

extractive summarization

문서를 보고 관련 내용을 요약하는 모델을 만들어보려고 하고 있습니다. 현재 관련 논문들을 읽어보면서 정리중입니다.

가장 보편적으로 쓰이고 있는 BERT 모델에 대해 학습할 것입니다. 이를 이해하기 위해 RNN구조와 attention을 활용한 transfomer구조의 모델을 학습할 예정입니다. 이 방식은 인코더-디코더 방식으로 학습되기에 먼저 관련 실습을 한번 진행해볼 것입니다.