2019-04-28

ChaSen(茶筌)の概要

ChaSen(茶筌)は、奈良先端科学技術大学院大学の松本研究室で開発された、入力文を単語単位に分割し品詞を付与するツールである。JUMANをベースに開発された。JUMANでは、形態素の連接コストを人手で定義していたが、茶筌では統計処理(HMM)によって自動的に連接コストを推定するように改善された。解析ミスデータを蓄積して精度を高める工夫もされている。

■前提プログラム

・iconv ・・・・・文字コード変換プログラム

・Darts-031 ・・・ Double-Arrayを構築するためのシンプルな C++ Template Library。

Double-Array は Trie を表現するためのデータ構造。ChaSenやMeCabに採用されている。LGPLライセンスのフリーソフト。

■ダウンロード

・chasen ・・・・茶筌の本体

・ipadic ・・・・・日本語辞書

・UniDic　・・・・日本語辞書

■ライセンス

　特になし!? 「ソフトウェアの使用，改変，再配布については，特に制限を課すことはしない。2.3.0 より、広告条項がなくなりました。」とあるので、ご自由に!ってことかな。

---------------------------------------
■ITとことんのトップページ

┗■形態素解析とかのトップページ

　┗■本ページ

2019-04-28

JUMANの概要

形態素解析 JUMAN

JUMANは、京都大学の黒橋・河原研究室で開発された、形態素解析システムだ。

UNIX系や、Windows(試験版。一部機能に制限あり)で動作するC言語で書かれたプログラムだ。2019年4月時点の最新バージョンは7.0だ。

　解析に使用する辞書は、基本的な単語については人手で入力した。その後Webをクローリングし自動獲得した単語を追加した。

　JUMAN以前の商用形態素解析器は、辞書は固定で単語を増やす事はできなかったが、JUMANは上記のようにあとから追加できる。しかし、連接コストについては人手であらかじめ定義していた。

■スタンドアロンモード

　juman と入力すると、標準入力(STDIN)から文章を入力し、形態素に分割し、標準出力(STDOUT)に分割結果を出力する。

■サーバモード

　juman -S と入力すると、サーバとして起動する。別のマシンにもJUMANをインストールし、juman -C <サーバのhostname> と入力することで、JUMANサーバに接続される。でも・・・Windows版では同時に1人しか接続できない模様。残念な作りだ! しかも、最初の1人がサーバとの接続を切ると、サーバも一緒に終了してしまう。これまた残念な仕様だ。Windows版は実験版だからかもしれない。　ヘルプには、「ネットワーク環境での複数ユーザによる利用などに適したモードである」と書かれているので、UNIX版ではきっと複数人同時接続、同時利用ができるのかも!?

■Perlモジュールもあるよ

　UNIX版にはPerlのモジュールも提供されている。こんな感じで使える。

-----------------------------------------------------------------------

use Juman;

$juman = new Juman;

$result = $juman->analysis( "この文を形態素解析してください．" );

print $result->all();

-------------------------------------------------------------------------

■動作例

動作させてみた。「ドラえもん」の解析結果に注目すると「自動獲得」となっている。クローリングによって機械的に集めた語句であると思われる。

f:id:ittokoton:20190428023136p:plain

---------------------------------------
■ITとことんのトップページ

┗■形態素解析とかのトップページ

　┗■本ページ

2019-04-19

systemd関連

Linux

■service のRHEL 7版

systemctl start サービス名

systemctl stop サービス名

systemctl daemon-reload

systemctl -n 100 status サービス名

systemctl enable サービス名

systemctl is-enabled サービス名

systemctl disable サービス名

■systemdのログレベル

・現在のログレベル表示

　systemctl -pLogLevel show

・ログレベルの一時的変更

　systemd-analyze set-log-level ログレベル

　※ログレベル={emerg | alert | crit | err | warning | notice | info | debug}

・ログレベルの恒久的変更

vi /etc/systemd/system.conf
#LogLevel=info
LogLevel=notice

■サービスの起動順序を図で描画

systemd-analyze plot > result.svg

このsvgをブラウザへドラッグ&ドロップ。

■Unitファイルの書き方

[Unit]

After=network.target

[Service]

Type=forking

TimeoutSec=30

ExecStart=aaaaaaaa

ExecStop=bbbbbbbb

KillMode=SIGCONT

PrivateTmp=false

[Install]

WantedBy=multi-user.target

※マシンをShutdownすると・・・

(1)まずは、メインプロセスに対してKillModeに指定したシグナルが投げられる。省略時はSIGTERM。

(2)その後ExecStopが実行される。ExecStopに停止用のコマンドを書く場合は、KillModeで指定したシグナルが邪魔な時がある。そんなときは、KillModeに無意味なシグナル(通常SIGCONT)を書いてダミー化すると良い。

(3)メインプロセス(systemdがどれをメインプロセスと認識するかは、Typeの指定値によって変わってくる)の終了をTimeoutに指定した秒数待つ。それでも終了しない場合は、SIGKILL(9)で殺される。

---------------------------------------

■ITとことんのトップページ
┗■Linux関連のトップページ
　┗■本ページ

2019-04-14

Apache Solrの基本的な構成

Solr

Apache Solr の基本的な使い方をまとめる。

■Solrで検索ができるまでの作業順番 (DB操作と対比させてみよう)

(1)コアの登録 (データベースを作るみたいなイメージ)

(2)スキーマの登録 (データベース中にテーブルを作るみたいなイメージ)

(3)ドキュメントの登録 (テーブル中にレコードを登録するみたいなイメージ)

(4)インデックスの作成 (テーブルにIndexを作成するみたいなイメージ)

(5)検索実行 (SELECT文を発行するイメージ)

(1)コアの登録

何はともあれ、Solrでは、コアを作ることから始める。DB操作に例えるなら、「データベースを作る」みたいな意味合いです。一番の基礎になる入れ物のことです。

・コマンドで「コア」を作る場合

　参考にしている市販本(技術評論社改定第3版 Apache Solr入門)ではSolr 6.3.0を使っており、

「configsetsディレクトリにプレインストールされている3つのコアの中から雛形とするコアを一つ選び、solr create_coreコマンドの -d オプションで指定する」

と書いてあるんだけど、Solr 8.0.0には、"_default" と "sample_techproducts_configs"の2つのコアしかないぞ!!!

"_default" を指定して、とりあえず作ってみる。

　solr create_core -c solrbook -d _default

solr.cmdの中のコメントを見たところ、-d を省略すると "_default" が仮定されるって書いてあったw。この場合だと、-d 以降は指定しなくていいね。

あと、この市販本(Apache Solr入門)には、schema.xmlについて、多くのページを割いて説明しているんだけど、残念ながらSolr 8.0.0には、schema.xmlは無いし、solrconfig.xml中にschemaFactoryの設定も無いね。Solr 6.3.0の頃は、まだschema.xmlからmanaged-schemaに変わった直後で過渡期だったのでschema.xmlをメインに書いたんだと思うけど、Solr8.0.0が出ている今となっては、schema.xmlの影も形も見当たらないので、ぜひ改定第4版出して!! (初版、2版、3版と、すべて購入した私w　2版に至っては紙とオンライン書籍と両方買ったぞw) 正誤表もかなり溜まって来てるしw ちなみに正誤表自体に1か所誤りがありますよ! ("P231 L15"は、"P236 L15"の間違いじゃないかな)ここで言ってもだめかw

(2)スキーマの登録

・スキーマには、複数のフィールドがある。

・フィールドには、フィールド名とフィールドタイプがある。

・フィールドタイプには、テキスト系と非テキスト系がある。

　・テキスト系は、「単語分割」をして部分一致など高度な検索ができる文字。

　・非テキスト系は、完全一致検索しかできない単純な文字。

　なので、"文字"と言ってもテキスト系の文字と、非テキスト系の文字がある。

・テキスト系は、高度な検索を実現するためにアナライザを持つ。

スキーマ

　　┣━フィールド1

　　┃　　┣━フィールド名

　　┃　　┗━フィールドタイプ