데이터 한 그릇

BERT 를 영어가 아닌 다른 언어에 적용할 수 있을까? M-BERT(multilingual - BERT) 는 영어 이외의 다른 언어에서도 표현을 계산한다. multilingual - BERT 이해하기 multilingual - BERT 의 다국어 특징 XLM XLM - R 이해하기 언어별 BERT M-BERT 이해하기 BERT는 본래 영어 텍스트만 사용 가능하다. 프랑스어나 스페인어는 어떻게 해야할까? M-BERT 사용한다. M-BERT 로 영어를 포함한 다른 언어들의 표현을 얻을 수 있다. 본래의 BERT 는 영어 위키피디아와 토론토 책 말뭉치를 가지고 MSM, NSP 로 학습되었다. M-BERT 는 영어 위키피디아뿐 아니라 104개 언어의 위키피디아 텍스트로 학습되었다. 어떤 언어는 특정 언어보다 ..

텍스트 요약 태스크를 수행하기 위해서 사전 학습된 BERT 모델을 활용해 파인 튜닝을 진행하는 법을 알아본다. 텍스트 요약에 맞춰 파인 튜닝된 BERT 모델을 BERTSUM 모델이라고 한다. (텍스트 요약에 맞춘 파인 튜닝 BERT 모델 : BERTSUM) 먼저 다양한 텍스트 요약 방식을 이해 (추출 요약, 생성 요약) 그리고 밑의 세 가지 추출 요약 수행 법을 배운다. 분류기가 있는 BERTSUM 트랜스포머를 활용한 BERTSUM LSTM을 활용한 BERTSUM 그 다음으로는 추출 요약을 수행하기 위해 BERTSUM을 어떻게 활용하는지 알아본다. 그 다음으로 ROUGE 메트릭 : 텍스트 요약 평가 지표를 알아본다. (ROUGE - N, ROUGE - L) 그 다음으로 BERTSUM 모델의 성능을 확인한..