bbakyun 님의 블로그

Feed Forward Neural Network Language Model기계가 자연어를 표현하도록 규칙으로 명세하기 어려운 상황에서 규칙 기반 접근이 아닌 기계가 주어진 자연어 데이터를 학습하게 하는 것 ⇒ 인공 신경망 이용신경망 언어 모델의 시초. 간단히 줄여 NNLMN-gram 언어 모델의 한계언어 모델은 문장에 확률을 할당하는 모델즉, 주어진 문맥으로부터 아직 모르는 단어를 예측하는 것을 언어 모델링이라고 한다고 N-gram에서 배웠다.※ 다음 단어 예측하기An adorable little boy is spreading __위 문장을 가지고 N-gram 언어 모델이 언어 모델링을 하는 방법은 n-1개의 단어를 참고하여 확률에 기반하여 예측한다.$$ P(w|boy\; is \; spreading)..

Introductioncount에 기반한 통계적 접근을 사용한 SLM의 일종앞서 다룬 SLM 모델과 달리 이전에 등장한 모든 단어를 고려하는 것이 아니라 일부 단어만 고려하는 접근 방식이전에 등장한 모든 단어를 고려한다면 무엇이 문제일까? 생각하고 넘어가보도록 하자!일부 단어를 몇 개 보느냐를 결정하는 것이 n-gram에서 n!Corpus에서 카운트하지 못하는 경우의 감소SLM의 한계는 훈련 코퍼스에 확률을 계산하고 싶은 문장이나 단어가 없을 수 있다는 점또한, 확률을 계산하고 싶은 문장이 길어질수록 갖고 있는 코퍼스에서 그 문장이 존재하지 않을 가능성이 높다. 즉, 카운트할 수 없을 가능성이 높다따라서 참고하는 단어들을 줄이면 카운트를 할 수 있을 가능성을 높일 수 있다. $$ P(is|An\;Ador..