데이터 한 그릇

BERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT ALBERT : BERT 의 라이트 버전 (BERT 아키텍처의 변화가 거의 없는 편) RoBERT : BERT 파생 버전 중에 가장 많이 쓰이는 방법 중 하나. 사전 학습 단계에서 몇 가지 차이가 존재. ELECTRA : 다른 파생 모델들과 달리 생성기(generator) 와 판별기(discriminator) 를 사용한다. 또한 사전 학습 과정에 교체된 토큰 판별 태스크(replaced token detection task) 라는 태스크를 사용한다. SpanBERT : SpanBERT는 질문-응답, 관계 추출 등과 같은 태스크에 널리 사용되고 있다. ALBERT RoBERT ELECTRA SpanBERT ALBERT..