오늘의 TIL
표현 문제와 표현 학습
선형으로 표현할 수 없는 문제들을
좌표계를 변형함으로써 선형문제로 치환시킬 수 있습니다.
예를 들어 x,y 좌표계에서 반지름이 2인 원이 있을 때
원의 내부와 외부를 선형으로는 표현할 수 없지만
이 좌표계를 $\Theta$와 $r$로 나타내면
선형으로 구분지을 수 있게 됩니다.
이런 특징들을 학습하고자 하는 것이 표현학습이며
이를 신경망으로 처리하는 것을 심층학습(deep learning)이라 합니다.
모델의 용량 (자유도)
모델의 파라미터가 각각 모두 모델에 영향을 크게 준다면
변동성이 아주 커지게 됩니다.
모델의 overfitting을 줄여주기 위해서 모델의 자유도를 규제합니다.
모델의 자유도가 크면 변동성이 크므로 훈련집합의 양상이 많이 다릅니다.
편향은 적지만 변동성이 커집니다.
모델의 자유도가 적으면 변동성은 적지만 편향에 의한 오차율이 커집니다.
bias와 variance는 서로 상충되는 관계입니다.
bias와 variance를 둘다 줄여주는 것은 모델의 성능을 높이는 방법 중 하나입니다.
편향과 분산이 낮은 모델을 선택하는 것은 중요합니다.
다음과 같은 방법으로 모델의 성능을 측정하고 선택할 수 있습니다.
- 검증집합을 이용합니다.
test 데이터 안에서 validation 셋을 더 만들어 내서
모델을 학습시키도 모델의 학습을 검증합니다.
가장 높은 성능을 가진 모델을 선택합니다. - 교차검증
데이터 양이 적을 경우 사용합니다.
데이터를 부분으로 나눠 교차해가며 validation set으로 활용합니다. - 부트스트랩
임의의 복원추출 샘플링을 반복합니다.
주어진 data에서 훈련집합을 계속 추출해가며 활용합니다.
적은 데이터를 지닌 클래스를 반복적으로 계속 뽑아내면서 사용합니다.
이상 탐지나 보안 관련 분야 처럼 케이스가 적은 경우 활용합니다.
모델을 일반화하는 대표적인 방법은 다음과 같습니다.
- 데이터를 많이 수집하기
- 데이터를 인위적으로 약간 변동시키면 데이터를 더 많이 활용할 수 있습니다. (단, 고유특성을 변화 X)
- 규제항이 추가된 개선된 목적함수를 활용해 가중치(파라미터)의 값을 작게 조절해줍니다.
가중치를 목적함수에 넣으면 가중치를 적게 만들기 위한 학습을 동시에 진행하게 됩니다. 이밖에도 앙상블, 드롭아웃, 조기 멈춤등으로 규제화를 진행할 수 있습니다.
댓글남기기