[딥러닝] 자연어처리 (토큰화, 차원의저주, 불용어, 어간추출, 표제어추출, 벡터화, TF - IDF, bag of words)
NLP(Natural Language Processing) 자연어는 세부분야로 나누면 자연어 이해(NLU)와 자연어 생성(NLG) 두가지로 나눌수 있다 자연어처리 관련 용어 말뭉치(Corpus) : 특정한 목적을 가지고 수집한 텍스트 데이터 문서(Document) : 문장(Sentence)들의 집합 문장(Sentence) : 여러 토큰(단어, 형태소 등)으로 구성된 문자열. 마침표, 느낌표 등의 기호로 구분 어휘집합(Vocabulary) : 코퍼스에 있는 모든 문서, 문장을 토큰화한 후 중복을 제거한 토큰의 집합 (1,apple),(2,mango) 토큰화(Tokenization) - 문장을 토큰(의미를 가진 가장 작은 단위)로 나눔. 한국어는 형태소로 나눈다. 차원의 저주(Curse of Dimensio..
카테고리 없음
2021. 8. 17. 02:58
