데이터 한 그릇

저번 장에서 사전 학습된 BERT 모델을 사용하는 방법을 살펴봤다. 다운 스트림 태스크에서 사전 학습된 BERT를 파인 튜닝할 수 있었다. Issue: 다만, 사전 학습된 BERT 는 계산 비용이 많이 들고, **매개변수가 많고** 추론에 시간이 오래 걸린다. solution : 사전 학습된 대형 BERT (large BERT) 를 소형 BERT(small BERT) 로 지식을 이전하는 **지식 증류**를 사용할 수 있다. (대형 BERT => 소형 BERT) 지식 증류 소개 DistilBERT : BERT의 증류 버전 TinyBERT 소개 BERT 에서 신경망으로 지식 전달 지식 증류 소개 지식 증류(Knowledge distillation) 대형 모델의 동작을 재현하기 위해서 소형 모델을 학습시키는 ..