Debian Codegraph @

doc/soft.html

raw
1 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
2 "http://www.w3.org/TR/html4/strict.dtd">
3 <html>
4 <head>
5 <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
6 <title>MeCab: ソフトわかち書き</title>
7 <link type="text/css" rel="stylesheet" href="mecab.css">
8 </head>
9 <body>
10
11 <h1>ソフトわかち書き</h1>
12
13 <h2>概要</h2>
14 <p>MeCab 0.90 よりソフトわかち書きの機能が付きました. ソフトわかち書きは
15 入力文に対して可能なすべての形態素列を周辺確率付きで出力する機能です.
16 全文検索のインデキシングに使うことで,複合語の単語分割の曖昧性等を
17 解決することができます.
18 </p>
19
20 <p>ソフトわかち書きの詳細については<a
21 href="http://chasen.org/~taku/publications/nlp2005.pdf">論文</a>をご参照下さい.</p>
22
23 <h2>全形態素の出力</h2>
24 <p>MeCab はデフォルトで最適解のみを出力します. -a オプションを指定すると
25 最適解ではなく, ラティス中の全形態素を出力します.</p>
26
27 <pre>
28 % mecab -a
29 東京都庁
30 東京 名詞,固有名詞,地域,一般,*,*,東京,トウキョウ,トーキョー
31 東 名詞,固有名詞,一般,*,*,*,東,ヒガシ,ヒガシ
32 東 名詞,固有名詞,地域,一般,*,*,東,ヒガシ,ヒガシ
33 東 名詞,固有名詞,人名,名,*,*,東,ヒガシ,ヒガシ
34 東 名詞,固有名詞,人名,姓,*,*,東,アズマ,アズマ
35 東 名詞,一般,*,*,*,*,東,ヒガシ,ヒガシ
36 京都 名詞,固有名詞,一般,*,*,*,京都,キョウト,キョート
37 京都 名詞,固有名詞,地域,一般,*,*,京都,キョウト,キョート
38 京 名詞,固有名詞,地域,一般,*,*,京,キョウ,キョー
39 京 名詞,固有名詞,人名,名,*,*,京,ミヤコ,ミヤコ
40 京 名詞,固有名詞,人名,姓,*,*,京,キョウ,キョー
41 都庁 名詞,一般,*,*,*,*,都庁,トチョウ,トチョー
42 都 名詞,接尾,地域,*,*,*,都,ト,ト
43 都 名詞,固有名詞,地域,一般,*,*,都,ミヤコ,ミヤコ
44 都 名詞,固有名詞,人名,姓,*,*,都,ミヤコ,ミヤコ
45 都 名詞,固有名詞,人名,名,*,*,都,ミヤコ,ミヤコ
46 都 名詞,一般,*,*,*,*,都,ト,ト
47 庁 名詞,接尾,一般,*,*,*,庁,チョウ,チョー
48 庁 名詞,固有名詞,地域,一般,*,*,庁,チョウ,チョー
49 庁 名詞,一般,*,*,*,*,庁,チョウ,チョー
50 EOS
51 </pre>
52
53 <h2>周辺確率の計算と出力</h2>
54 <p>各形態素の周辺確率(その形態素が入力文の中でどのくらいの確率で出現する
55 のか)の計算を行うには, -a と -m オプションを同時に使います.
56 </p>
57
58 <p>-m オプションを使うと浮動小数点演算が入るためデフォルトに比べて 8倍程度遅くなります.</p>
59
60 <p>各形態素の周辺確率を出力するには, -F オプションを使って出力フォーマットを個別に出力す
61 る必要があります. 通常 %pP %pb を使います. 出力フォーマットの指定方法は
62 <a href="format.html">こちら</a>をご覧下ざい.</p>
63
64 <ul>
65 <li>%pP: 周辺確率
66 <li>%pb: 最適解のとき * それ以外は空白文字
67 </ul>
68
69 <pre>
70 % mecab -m -a -F"%m %H %pP %pb\n" -E"EOS\n"
71 京都大学
72 京都大学 名詞,固有名詞,組織,*,*,*,京都大学,キョウトダイガク,キョートダイガク 0.559944 *
73 京都大 名詞,固有名詞,組織,*,*,*,京都大,キョウトダイ,キョートダイ 0.073824
74 京都 名詞,固有名詞,一般,*,*,*,京都,キョウト,キョート 0.004990
75 京都 名詞,固有名詞,地域,一般,*,*,京都,キョウト,キョート 0.360982
76 京 名詞,固有名詞,地域,一般,*,*,京,キョウ,キョー 0.000161
77 京 名詞,固有名詞,人名,名,*,*,京,ミヤコ,ミヤコ 0.000003
78 京 名詞,固有名詞,人名,姓,*,*,京,キョウ,キョー 0.000096
79 都 名詞,接尾,地域,*,*,*,都,ト,ト 0.000166
80 都 名詞,固有名詞,地域,一般,*,*,都,ミヤコ,ミヤコ 0.000001
81 都 名詞,固有名詞,人名,姓,*,*,都,ミヤコ,ミヤコ 0.000006
82 都 名詞,固有名詞,人名,名,*,*,都,ミヤコ,ミヤコ 0.000072
83 都 名詞,一般,*,*,*,*,都,ト,ト 0.000015
84 大学 名詞,固有名詞,地域,一般,*,*,大学,ダイガク,ダイガク 0.004919
85 大学 名詞,固有名詞,人名,名,*,*,大学,ダイガク,ダイガク 0.004441
86 大学 名詞,一般,*,*,*,*,大学,ダイガク,ダイガク 0.350523
87 大 名詞,接尾,一般,*,*,*,大,ダイ,ダイ 0.003603
88 大 接頭詞,名詞接続,*,*,*,*,大,ダイ,ダイ 0.001123
89 大 接頭詞,動詞接続,*,*,*,*,大,オオ,オー 0.000011
90 大 名詞,固有名詞,地域,一般,*,*,大,オオ,オー 0.000171
91 大 名詞,固有名詞,人名,名,*,*,大,マサル,マサル 0.000016
92 大 名詞,一般,*,*,*,*,大,ダイ,ダイ 0.001424
93 学 名詞,接尾,一般,*,*,*,学,ガク,ガク 0.067828
94 学 名詞,固有名詞,地域,一般,*,*,学,ガク,ガク 0.001092
95 学 名詞,固有名詞,人名,名,*,*,学,マナブ,マナブ 0.004203
96 学 名詞,一般,*,*,*,*,学,ガク,ガク 0.007051
97 EOS
98 </pre>
99
100 <p>-t 数値 オプションを使って確率値の「なめらかさ」を変更することができます.
101 数値を小さくると, 確率値がなめらかになり, 短かい形態素が大きな確率値を
102 持つようになります. 数値を大きくすると最適解の確率が大きくなります.デフォルトは 0.75 です.</p>
103
104 <pre>
105 % mecab -m -a -F"%m %H %pP %pb\n" -t0.1 -E"EOS\n"
106 京都大学
107 京都大学 名詞,固有名詞,組織,*,*,*,京都大学,キョウトダイガク,キョートダイガク 0.023617 *
108 京都大 名詞,固有名詞,組織,*,*,*,京都大,キョウトダイ,キョートダイ 0.052790
109 京都 名詞,固有名詞,一般,*,*,*,京都,キョウト,キョート 0.113576
110 京都 名詞,固有名詞,地域,一般,*,*,京都,キョウト,キョート 0.200919
111 京 名詞,固有名詞,地域,一般,*,*,京,キョウ,キョー 0.206514
112 京 名詞,固有名詞,人名,名,*,*,京,ミヤコ,ミヤコ 0.157030
113 京 名詞,固有名詞,人名,姓,*,*,京,キョウ,キョー 0.245554
114 都 名詞,接尾,地域,*,*,*,都,ト,ト 0.168921
115 都 名詞,固有名詞,地域,一般,*,*,都,ミヤコ,ミヤコ 0.090030
116 都 名詞,固有名詞,人名,姓,*,*,都,ミヤコ,ミヤコ 0.098721
117 都 名詞,固有名詞,人名,名,*,*,都,ミヤコ,ミヤコ 0.120077
118 都 名詞,一般,*,*,*,*,都,ト,ト 0.131348
119 大学 名詞,固有名詞,地域,一般,*,*,大学,ダイガク,ダイガク 0.056029
120 大学 名詞,固有名詞,人名,名,*,*,大学,ダイガク,ダイガク 0.063926
121 大学 名詞,一般,*,*,*,*,大学,ダイガク,ダイガク 0.097919
122 大 名詞,接尾,一般,*,*,*,大,ダイ,ダイ 0.150510
123 大 接頭詞,名詞接続,*,*,*,*,大,ダイ,ダイ 0.151888
124 大 接頭詞,動詞接続,*,*,*,*,大,オオ,オー 0.083163
125 大 名詞,固有名詞,地域,一般,*,*,大,オオ,オー 0.101090
126 大 名詞,固有名詞,人名,名,*,*,大,マサル,マサル 0.090363
127 大 名詞,一般,*,*,*,*,大,ダイ,ダイ 0.128706
128 学 名詞,接尾,一般,*,*,*,学,ガク,ガク 0.233658
129 学 名詞,固有名詞,地域,一般,*,*,学,ガク,ガク 0.150100
130 学 名詞,固有名詞,人名,名,*,*,学,マナブ,マナブ 0.174424
131 学 名詞,一般,*,*,*,*,学,ガク,ガク 0.200327
132 EOS
133 </pre>
134
135 <h2>ライブラリからの利用</h2>
136 <p>
137 -a オプションを指定した場合, mecab_sparse_tonode が返す node は
138 全形態素を辿ることができる双方向リストとなります.
139 -m を指定すると mecab_node_t::prob に周辺確率が代入されます.</p>
140
141 <pre>
142 mecab_t *mecab;
143 mecab_node_t *node;
144
145 mecab = mecab_new2("-m -a");
146
147 node = mecab_sparse_tonode(mecab, input);
148 for (; node; node = node->next) {
149 /* 最適解もしくは確率が 0.05 以上のとき出力 */
150 if (node->isbest || node->prob >= 0.05) {
151 fwrite (node->surface, sizeof(char), node->length, stdout);
152 printf("\t%s\t%f\n", node->feature, node->prob);
153 }
154 }
155 </pre>
156 </body>
157 </html>
158