RNN

: Sequential data를 잘 다루기 위함 : 데이터의 값 뿐만 아니라, 각 요소의 순서도 중요한 데이터

→ positional data 대신 위치정보를 삽입하는 방법의 고안

출력되지않고 안에서 그대로 전달되는 것들이 hidden state

복잡한 셀에서는 trainablity가 높아짐

복잡도가 높으면, 학습 수준에서는 더 높은 성능을 내지만 도달하기까지 어려움

복잡성은 RNN이 가장 낮고, LSTM이 가장 높음

하나하나 이미지캡셔닝 감정레이블 번역 비디오분

• 1-hot인코딩 과정을 통해 단어들을 4차원의 벡터로 구분할 수 있음 → inputdata는 (-,-,4)
• sequence length를 자동으로 계산하여 input data의 길이가 5임을 앎 → inputdata는 (-,5,4)

• 여러 개의 data를 하나의 batch로 묶어서 학습 → 3개의 데이터(단어)를 하나의 배치로 입력함

Cross Entropy Loss