728x90
Time RNN 계층을 Time LSTM 계층으로 대체한 Rnnlm 클라스를 사용하여 PTB 데이터세트 전체에 대해 학습시켜보자. LSTM계층으로 변경함에 따라 하이퍼 파라메터 설정에 변동이 큼에 유의하자.
Rnnlm 클라스는 SimpleRnnlm 클라스와 거의 동일하지만 몇가지 메서드들이 추가되었다. save_params, load_params 메서드들은 가중치와 기울기 데이터를 피클링하여 저장하거나 부를 때 사용된다. 아우러 predict 메서드는 다음 절의 text generation에서 사용된다.
참조: 밑바닥부터 시작하는 딥러닝 2, 6장
perplexity 계산 결과
첨부된 Colab 파일을 다운받아 반드시 GPU 사용 설정 후에 실행해보자. (실행시간 27분)
'인공지능 응용 공학' 카테고리의 다른 글
| seq2seq RNN (0) | 2023.02.03 |
|---|---|
| 텍스트 생성(text generation) 알고리듬 (0) | 2023.02.03 |
| Simple Rnnlm 클라스를 사용한 학습에 관해서 살펴보자 (0) | 2023.02.03 |
| word2vec 알고리듬 CBOW 모델의 PTB(Pen Treebank) 데이터 세트 적용 (0) | 2023.02.03 |
| negative sampling 알고리듬 (0) | 2023.02.03 |