목록구글 BERT의 정석 (4)

데이터 한 그릇

텍스트 요약을 위한 BERTSUM 탐색

텍스트 요약 태스크를 수행하기 위해서 사전 학습된 BERT 모델을 활용해 파인 튜닝을 진행하는 법을 알아본다. 텍스트 요약에 맞춰 파인 튜닝된 BERT 모델을 BERTSUM 모델이라고 한다. (텍스트 요약에 맞춘 파인 튜닝 BERT 모델 : BERTSUM) 먼저 다양한 텍스트 요약 방식을 이해 (추출 요약, 생성 요약) 그리고 밑의 세 가지 추출 요약 수행 법을 배운다. 분류기가 있는 BERTSUM 트랜스포머를 활용한 BERTSUM LSTM을 활용한 BERTSUM 그 다음으로는 추출 요약을 수행하기 위해 BERTSUM을 어떻게 활용하는지 알아본다. 그 다음으로 ROUGE 메트릭 : 텍스트 요약 평가 지표를 알아본다. (ROUGE - N, ROUGE - L) 그 다음으로 BERTSUM 모델의 성능을 확인한..
NLP/구글 BERT의 정석 2022. 2. 17. 10:44
BERT 파생 모델 2 : 지식 증류 기반

저번 장에서 사전 학습된 BERT 모델을 사용하는 방법을 살펴봤다. 다운 스트림 태스크에서 사전 학습된 BERT를 파인 튜닝할 수 있었다. Issue: 다만, 사전 학습된 BERT 는 계산 비용이 많이 들고, **매개변수가 많고** 추론에 시간이 오래 걸린다. solution : 사전 학습된 대형 BERT (large BERT) 를 소형 BERT(small BERT) 로 지식을 이전하는 **지식 증류**를 사용할 수 있다. (대형 BERT => 소형 BERT) 지식 증류 소개 DistilBERT : BERT의 증류 버전 TinyBERT 소개 BERT 에서 신경망으로 지식 전달 지식 증류 소개 지식 증류(Knowledge distillation) 대형 모델의 동작을 재현하기 위해서 소형 모델을 학습시키는 ..
NLP/구글 BERT의 정석 2022. 2. 16. 15:04
Prev 1 2 Next