形態素解析

Elasticsearchの概要

■Elastic Stack Elastic Stackは、Kibana, Elasticsearch, beats, logstashのオープンソースをベースとするプロダクト群の総称。 (1)Kibana : データを可視化 Node.jsで作られている。JavaScriptの c3.js を使ってグラフを描いている。Elasticsearchが持つア…

MeCab(めかぶ)の概要

MeCabは、京都大学情報学研究科、および日本電信電話株式会社コミュニケーション科学基礎研究所の共同研究ユニットプロジェクトを通じて開発された、形態素解析器のひとつ。パラメータの推定にCRF(Conditional Random Fields)を採用し、品詞体系, 単語長, 辞…

JUMAN++の概要

JUMAN++は、京都大学の黒橋・河原研究室で開発された、形態素解析システムだ。 <デモページ> JUMANの改良版で、RNNLM(Recurrent Neural Network Language Model)という意味的に汎化された言語モデルを利用する。RNNLMは、単語を意味的に汎化したベクトルとし…

ChaSen(茶筌)の概要

ChaSen(茶筌)は、奈良先端科学技術大学院大学の松本研究室で開発された、入力文を単語単位に分割し品詞を付与するツールである。JUMANをベースに開発された。JUMANでは、形態素の連接コストを人手で定義していたが、茶筌では統計処理(HMM)によって自動的に連…

JUMANの概要

JUMANは、京都大学の黒橋・河原研究室で開発された、形態素解析システムだ。 UNIX系や、Windows(試験版。一部機能に制限あり)で動作するC言語で書かれたプログラムだ。2019年4月時点の最新バージョンは7.0だ。 解析に使用する辞書は、基本的な単語については…

Apache Solrの概要

Apache Solr (アパッチ ソーラー)について調査する。 ■概要 フリーの全文検索エンジン。全文検索ライブラリであるApache Lucene(ルシーン)を使用している。 ■ライセンス Apache License 2.0 ■特徴 SolrにHTTPリクエストとして検索キーワードを投げ、検索結果…

形態素解析とかの目次

・Apache Solrの概要 ・JUMANの概要 ・JUMAN++の概要 ・ChaSen(茶筌)の概要 ・MeCabの概要 --------------------------------------- ■ITとことんのトップページ┗■本ページ

ITとことん の目次

IT関連技術について、とことん調査するブログです。 目次 ■言語系 Rubyについて調べたこと PHPについて調べたこと Javaについて調べたこと Pythonについて調べたこと ■OS系 Androidについて調べたこと Linuxについて調べたこと ■DB系 DBについて調べたこと ■…