CBOW2 [밑시딥2] Chapter 5~6. 순환신경망(RNN)& 게이트가 추가된 RNN 언어 모델단어 나열에 확률 부여특정한 단어의 시퀀스에 대해서, 그 시퀀스가 일어날 가능성이 어느 정도인지를 확률로 평가기계 번역과 음성 인식에 언어 모델 응용음성 인식 시스템의 경우, 사람의 음성으로부터 몇 개의 문장 후보 생성그런 다음 언어 모델을 사용하여 후보 문장이 '문장으로써 자연스러운지'를 기준으로 순서를 매김또한 언어 모델은 새로운 문장을 생성하는 용도로도 이용단어 순서의 자연스러움을 확률적으로 평가하여 그 확률분포에 따라 다음으로 적합한 단어를 '자아낼' 수 있음P(w1,...,wm): w1,...,wm이라는 순서로 출현할 확률(동시확률)동시 확률은 사후 확률의 총곱으로 나타낼 수 있음주목할 점은 이 사후 확률은 타킷 단어보다 왼쪽에 있는 모든 단어를 맥락으로 했을 때의 확률위 결과는 확률의.. 2024. 1. 25. [밑시딥2] Chapter 3~4. word2vec & 속도 개선 word2vec 통계 기반 기법의 문제점말뭉치 어휘의 수는 100만개 이상통계 기반 기법에서는 '100만개x100만개' 거대한 행렬 생성 -> SVD 적용 현실적 어려움통계 기반 기법은 단 1회의 처리만에 단어의 분산 표현을 얻음한편, 추런 기반 기법에서는, 예컨대 신경망을 이용하는 경우는 미니배치로 학습하는 것이 일반적 추론 기반 기법주변 단어(맥락)이 주어졌을 때 "?"에 무슨 단어가 들어가는지를 추측하는 작업모델(신경망)은 맥락 정보를 입력 받아 각 단어의 출현 확률을 출력학습 결과로 단어의 분산 표현을 얻음 신경망에서의 단어 처리단어를 '고정 길이의 벡터'로 변환하여 뉴런의 수 '고정' (원핫 벡터)먼저 총 어휘 수만큼의 원소를 갖는 벡터 준비인덱스가 단어ID와 같은 원소를 1로, 나머지는 모두 .. 2024. 1. 24. 이전 1 다음
