목록NLP (21)

데이터 한 그릇

BERT 활용하기

이 장에서는 사전 학습된 BERT 를 사용하는 방법을 알아볼 것. 구글에서 오픈 소스로 제공한 사전 학습된 BERT 모델의 다양한 구성을 살펴본다. (구성) 사전 학습된 BERT 모델을 특징 추출기로 사용하는 방법 확인. 허깅페이스의 트랜스포머 라이브러리, 이를 활용해 사전 학습된 BERT에서 임베딩 추출 방법 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법 다운스트림 태스크를 위한 BERT 파인 튜닝 방법 "텍스트 분류 작업"을 위해 사전 학습된 BERT를 **파인튜닝**하는 방법 "감정 분석 작업''을 위해 BERT를 **파인튜닝**하는 방법 *파인튜닝 : 사전 학습된 가중치 값을 원하는 태스크에 적용하고, 가중치를 그 태스크에 맞게 조정하는 작업 사전 학습된 BERT 모델 탐색 우리는 앞선..
NLP/구글 BERT의 정석 2022. 2. 10. 14:04
BERT 이해하기

두 가지 태스크 기반 BERT 모델이 사전 학습을 어떻게 진행하는지 살펴볼 것. 마스크 언어 모델링(Masked language modeling) : (MLM) 다음 문장 예측 (Next sentence prediction) : (NSP) 마지막장 바이트 쌍 인코딩 바이트 수준 바이트 쌍 인코딩 워드피스 하위 단어 토큰화 알고리즘들 알아볼 것. 이번 장에서 알아볼 것들 BERT의 기본 개념 BERT의 동작 방식 BERT의 구조 BERT 사전 학습 사전 학습 절차 하위 단어 토큰화 알고리즘 BERT 의 기본 개념 BERT는 word2vec 과 같은 다른 인기 있는 임베딩 모델이 고려하지 못한 문맥(context) 에 대해서 고려한다. 문맥 기반 임베딩 모델과 문맥 독립 임베딩 모델의 차이를 살펴보자. A ..
NLP/구글 BERT의 정석 2022. 2. 9. 12:44
Prev 1 2 3 4 5 6 ··· 11 Next