softmax

기존의 argmax에서는[1,2,3]이면 [0,0,1]인데, softmax에서는[0.0900,0.2447,0.6652]로 부드럽게 뽑아줌. sum은 1이다.

crossentropy

두 개의 확률분포가 주어졌을 때, 두 개가 얼마나 비슷한지 나타내는 것

low-level의 크로스엔트로피 train

1. 모델 초기화:
   • 모델의 가중치 W와 편향 b를 모두 0으로 초기화합니다. W의 크기는 (4, 3)으로, 입력 특성이 4개이고 결과로 나오는 클래스가 3개임을 나타냅니다. requires_grad=True는 이 변수들에 대해 자동으로 기울기를 계산할 수 있도록 설정합니다.
2. Optimizer 설정:
   • 모델의 파라미터를 업데이트하는 방법으로 확률적 경사 하강법(Stochastic Gradient Descent, SGD)를 사용합니다. 학습률(learning rate, lr)은 0.1로 설정합니다.
3. 학습 과정:
   • 주어진 에포크(전체 데이터셋을 몇 번 반복할 것인지 지정하는 횟수) 동안 다음 과정을 반복합니다:
     1. 가설 설정: 입력 데이터 x_train에 대해 모델의 가설을 계산합니다. 이는 입력 데이터에 가중치를 곱하고 편향을 더한 후, 결과로 나온 로짓(logit)에 소프트맥스 함수를 적용하여, 각 클래스에 대한 확률을 얻습니다.
     2. 원-핫 인코딩: 실제 레이블 y_train을 원-핫 인코딩 형식으로 변환합니다.
     3. 비용 함수 계산: 모델의 출력(hypothesis)과 원-핫 인코딩된 실제 레이블(y_one_hot)을 이용해 크로스 엔트로피 오차(Cross Entropy Loss)를 계산합니다. 이는 모델의 예측이 실제 레이블에서 얼마나 떨어져 있는지를 나타냅니다.
     4. 기울기 업데이트: 계산된 비용 함수를 기반으로 모델의 가중치와 편향에 대한 기울기를 계산하고, 이를 사용해 파라미터를 업데이트합니다.
4. 로깅:
   • 매 100 에포크마다 현재 에포크 번호와 그때의 비용 함수 값을 출력합니다. 이를 통해 학습 과정을 모니터링할 수 있습니다.

하이레벨 크로스앤트로피

F.cross_entropy 함수를 사용합니다. 이로 인해 원-핫 인코딩 과정이 필요 없어지고, 코드가 더 간결

Maximun Likelihood Estimation

1. 100번던졌을때 27번 나오는 사건에서, 이 상황을 가장 잘 설명하는 확률분포함수의 파라미터를 찾는 과정이 MLE라는 것
2. TOP이 0.27인 분포를 찾으려면, 기울기를 보면 됨
3. Gradient Ascent/Decent
4. 최적화 : 세타는 세타 마이너스 러닝레이트세타변량로스함수

오버피팅