自然言語処理で出現する単語の解説を書いていきます
NLP（Natural Language Processing）
自然言語処理のこと
かっこよく英語にした感じ
自然言語
人間がコミュニケーションで使用する言語のこと
形態素解析
入力された文を形態素まで分解する技術
形態素とは、何らかの意味を持つ最小限の文字の集まりのこと
形態素解析で使用するツール
係り受け解析
文の中の単語や語句の構文的な関係を特定することで、文法的な構造を理解し、文中の単語やフレーズがどのように相互に関連しているかを示す依存関係を特定することを目的とする
係り受け解析で使用するツール
- KNP
- GiNZA
感情解析
テキストの感情的な色彩を判断するための手法で、テキストがポジティブ（肯定的）か、ネガティブ（否定的）か、または中立の感情を表しているかを判断する。
感情解析で使用するツール
- TextBlob
- VADER
固有表現抽出
テキストの固有表現を判定して取り出す手法
固有表現とは、固有名詞（人名・地名・組織名）や数値表現（時間や日付など）のこと
固有値表現で使用されるツール
- Stanford NER
- spaCy
ストップワード
出現頻度の少ない単語や、タスクに関係のない単語のこと
ステミング
言い回しが変化する単語の語幹部分を取りだすこと
レンマ化
単語をその基本形に変換すること
トークン化
テキストを処理できる単位に分割すること
