Debian Codegraph @

doc/format.html

raw
1 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
2 "http://www.w3.org/TR/html4/strict.dtd">
3 <html>
4 <head>
5 <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
6 <title>MeCab: Yet Another Japanese Dependency Structure
7 Analyzer</title>
8 <link type="text/css" rel="stylesheet" href="mecab.css">
9 </head>
10 <body>
11 <h1>出力フォーマット</h1>
12
13 <h2>概要</h2>
14 <p>MeCab は, ChaSen と同様,
15 出力のフォーマットを比較的自由に再定義することができます.
16 また, 設定ファイルにフォーマットを複数記述しておき,
17 実行時にそれらを 切り変えることが可能です.
18 これは, MeCab 独自の機能です.</p>
19
20 <h2>出力フォーマットの指定</h2>
21
22 <p>以下の
23 3つ出力フォーマットを変更することができます.</p>
24
25 <ul>
26 <li>node: 1つの形態素を出力, デフォルトは空文字</li>
27 <li>unk: 1つの未知語形態素を出力, デフォルトは node と同一フォーマット</li>
28 <li>bos: 形態素解析の結果に先だって出力 (header 的役割), デフォルトは空文字</li>
29 <li>eos: 形態素解析の結果の後に出力 (footer 的役割), デフォルトは "EOS\n"</li>
30 <li>eon: N-best出力で, N-Bestの出力が終了したときに出力, デフォルトは空文字列</li>
31 </ul>
32
33 <p>明示的に指定されない場合,
34 それぞれのデフォルト文字列が使用されます.</p>
35
36 <p>これらは, 以下の 2つの方法で指定します.</p>
37
38 <ul>
39 <li>コマンドラインから
40
41 <pre>
42 % mecab --node-format=STR --bos-format=STR --eos-format=STR --unk-format=STR --eon-format=STR
43 </pre>
44 </li>
45
46 <li>mecabrc に記述する場合
47
48 <p>任意の文字列 KEY を使い, mecabrc
49 に以下のように定義.</p>
50
51 <pre>
52 node-format-KEY = STR
53 unk-format-KEY = STR
54 eos-format-KEY = STR
55 bos-format-KEY = STR
56 eon-format-KEY = STR
57 </pre>
58
59 <p>この KEY をコマンドラインから呼び出す.</p>
60
61 <pre>
62 % mecab -Okey
63 </pre>
64 </li>
65 </ul>
66
67 <h2>出力フォーマット</h2>
68
69 <table>
70 <tr class="odd">
71 <td>%s</td>
72 <td>形態素種類 (0: 通常, 1: 未知語, 2:文頭, 3:文末)
73 </td>
74 </tr>
75
76 <tr class="even">
77 <td>%S</td>
78 <td>入力文</td>
79 </tr>
80
81 <tr class="odd">
82 <td>%L</td>
83 <td>入力文の長さ</td>
84 </tr>
85
86 <tr class="even">
87 <td>%m</td>
88 <td>形態素の表層文字列</td>
89 </tr>
90
91 <tr class="odd">
92 <td>%M</td>
93 <td>形態素の表層文字列, ただし空白文字も含めて出力 (%pS を参照のこと)</td>
94 </tr>
95
96 <tr class="even">
97 <td>%h</td>
98 <td>素性の内部 ID</td>
99 </tr>
100
101 <tr class="odd">
102 <td>%%</td>
103 <td>% そのもの</td>
104 </tr>
105
106 <tr class="even">
107 <td>%c</td>
108 <td>単語生起コスト</td>
109 </tr>
110
111 <tr class="odd">
112 <td>%H</td>
113 <td>素性 (品詞, 活用, 読み) 等を CSV
114 で表現したもの</td>
115 </tr>
116
117 <tr class="even">
118 <td>%t</td>
119 <td>文字種 id </td>
120 </tr>
121
122 <tr class="odd">
123 <td>%P</td>
124 <td>周辺確率 (-l2 オプションを指定したときのみ有効)</td>
125 </tr>
126
127 <tr class="even">
128 <td>%pi</td>
129 <td>形態素に付与されるユニークなID</td>
130 </tr>
131
132 <tr class="odd">
133 <td>%pS</td>
134 <td>もし形態素が空白文字列で始まる場合は, その空白文字列を表示 %pS%m と %M は同一</td>
135 </tr>
136
137 <tr class="even">
138 <td>%ps</td>
139 <td>開始位置</td>
140 </tr>
141
142 <tr class="odd">
143 <td>%pe</td>
144 <td>終了位置</td>
145 </tr>
146
147 <tr class="even">
148 <td>%pC</td>
149 <td>1つ前の形態素との連接コスト</td>
150 </tr>
151
152 <tr class="odd">
153 <td>%pw</td>
154 <td>%c と同じ</td>
155 </tr>
156
157 <tr class="even">
158 <td>%pc</td>
159 <td>連接コスト + 単語生起コスト (文頭から累積)</td>
160 </tr>
161
162 <tr class="odd">
163 <td>%pn</td>
164 <td>連接コスト + 単語生起コスト (その形態素単独, %pw + %pC)</td>
165 </tr>
166
167 <tr class="even">
168 <td>%pb</td>
169 <td>最適パスの場合 *, それ以外は ' '</td>
170 </tr>
171
172 <tr class="odd">
173 <td>%pP</td>
174 <td>周辺確率 (-l2 オプションを指定したときのみ有効)</td>
175 </tr>
176
177 <tr class="even">
178 <td>%pA</td>
179 <td>blpha, forward log 確率 (-l2 オプションを指定したときのみ有効)</td>
180 </tr>
181
182 <tr class="odd">
183 <td>%pB</td>
184 <td>beta, backward log 確率 (-l2 オプションを指定したときのみ有効)</td>
185 </tr>
186
187 <tr class="even">
188 <td>%pl</td>
189 <td>形態素の表層文字列としての長さ, strlen (%m) と同一</td>
190 </tr>
191
192 <tr class="odd">
193 <td>%pL</td>
194 <td>形態素の表層文字列としての長さ, ただし空白文字列も含む, strlen(%M) と同一</td>
195 </tr>
196
197 <tr class="even">
198 <td>%phl</td>
199 <td>左文脈 id</td>
200 </tr>
201
202 <tr class="odd">
203 <td>%phr</td>
204 <td>右文脈 id</td>
205 </tr>
206
207 <tr class="even">
208 <td>%f[N]</td>
209 <td>csv で表記された素性の N番目の要素</td>
210 </tr>
211
212 <tr class="odd">
213 <td>%f[N1,N2,N3...]</td>
214 <td>N1,N2,N3番目の素性を, "," を
215 デリミタとして表示</td>
216 </tr>
217
218 <tr class="even">
219 <td>%FC[N1,N2,N3...]</td>
220 <td>N1,N2,N3番目の素性を, C を
221 デリミタとして表示.<br>
222 ただし, 要素が 空の場合は以降表示が省略される.
223 (例)F-[0,1,2]</td>
224 </tr>
225
226 <tr class="odd">
227 <td>\0 \a \b \t \n \v \f \r \\</td>
228 <td>通常の エスケープ文字列</td>
229 </tr>
230
231 <tr class="even">
232 <td>\s</td>
233 <td>' ' (半角スペース)<br>
234 設定ファイルに記述するときに使用</td>
235 </tr>
236 </table>
237
238 <h2>例</h2>
239 <p>
240 dicrc より抜粋した例
241 </p>
242 <pre>
243 ; yomi
244 node-format-yomi = %pS%f[7]
245 unk-format-yomi = %M
246 eos-format-yomi = \n
247
248 ; simple
249 node-format-simple = %m\t%F-[0,1,2,3]\n
250 eos-format-simple = EOS\n
251
252 ; csv
253 node-format-csv = %m,%f[7],%f[8],%f[6],%F-[0,1,2,3],%f[4],%f[5]\n
254 unk-format-csv = %m,%m,%m,%f[6],%F-[0,1,2,3],,\n
255 eos-format-csv = EOS,,,,,,\n
256
257 ; ChaSen
258 node-format-chasen = %m\t%f[7]\t%f[6]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\n
259 unk-format-chasen = %m\t%m\t%m\t%F-[0,1,2,3]\t\t\n
260 eos-format-chasen = EOS\n
261 </pre>
262
263 <h2>注意事項</h2>
264
265 <p>わかち書き出力 (-Owakati),
266 デフォルトの出力, 出力ダンプ (-Odump) は
267 高速性を犠牲にしたく ないために, ハードコーディングされています.</p>
268 </body>
269 </html>
270