이론문제 1

1. LSTM에는 셀의 입력에만 Dropout를 적용할 수 있다.
   1. X. 순환되는 은닉상태에도 드롭아웃을 적용할 수 있음
2. SimpleRNN 셀에서 $x_{t}$가 입력될때와 $x_{t+1}$입력될 때 곱해주는 가중치는 동일하다.
   1. O.
3. RNN에서는 은닉상태의 활성화 함수로 ReLU를 주로 사용한다.
   1. X. tanh함수를 주로 사용함
4. 단어 임베딩을 사용하면 원 핫 인코딩을 사용했을때보다 높은 성능을 기대할 수 있지만 메모리 더 많은 메모리가 사용된다.
   1. X, 메모리를 좀더 효율적으로 사용이 가능하다.
5. LSTM 구조에는 총 3개의 셀이 있다.
   1. X, 총 4개의 셀이 있음

이론문제 2

파라미터 개수 계산하기

model.keras.Sequential()
model.add(keras.layers.Embedding(500, 20, input_length=100)) #1
model.add(keras.layers.SimpleRNN(4)) # 2
model.add(keras.layers.Dense(1, activation='sigmoid')) #3

각층에 몇개의 파라미터가 있는지 계산해주세요

1. 500 x 20 = 10000
2. 20 x 4 + 4 x 4 + 4 = 100
3. 4 + 1 = 5

실습문제

주가 예측 문제

Google Colaboratory