Skip-gram

Skip-gram이란?

Skip-gram는 Word2Vec의 방식 중 하나이다.

CBOW는 중심에 있는 단어를 가지고, 주변에 있는 단어들을 예측하는 방법이다.

출처 : https://wikidocs.net/60854

앞서 언급한 동일한 예문에 대해서 인공 신경망을 도식화해보면 위와 같다.

이제 중심 단어에 대해서 주변 단어를 예측하기 때문에, 투사층에서 벡터들의 평균을 구하는 과정은 없다.

 

여러 논문에서 성능 비교를 진행했을 때, 전반적으로 Skip-gram이 CBOW보다 성능이 좋다고 알려져 있다.