Debian Codegraph @

doc/learn.html

raw
1 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
2 "http://www.w3.org/TR/html4/strict.dtd">
3 <html>
4 <head>
5 <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
6 <title>MeCab: オリジナル辞書/コーパスからのパラメータ推定</title>
7 <link type="text/css" rel="stylesheet" href="mecab.css">
8 </head>
9 <body>
10 <h1>オリジナル辞書/コーパスからのパラメータ推定</h1>
11
12 <h2>概要</h2>
13
14 <p>学習用コーパスからパラメータ(コスト値)を推定することができます.
15 MeCab 自身は品詞体系に非依存な設計になっているため,
16 独自の品詞体系, 辞書, コーパスに基づく解析器を作成することができます.
17 パラメータ推定には Conditinoal Random Fields (<a href="http://www.cis.upenn.edu/~pereira/papers/crf.pdf">CRF</a>) を使っています. </p>
18 <p>
19
20 <h2>処理の流れ</h2>
21 <p>データフロー図は次のようになります. </p>
22 <img src="flow.png">
23
24 <p>パラメータ推定には以下のサブタスクがあります. </p>
25 <ul>
26 <li><a href="#seed">Seed辞書の準備</a>
27 <li><a href="#config">設定ファイルの準備</a>
28 <ul>
29 <li>dicrc
30 <li>char.def
31 <li>unk.def
32 <li>rewrite.def
33 <li>feature.def
34 </ul>
35 <li><a href="#corpus">学習用コーパスの準備</a>
36 <li><a href="#binary">学習用バイナリ辞書の作成</a>
37 <li><a href="#crf"><a href="http://www.cis.upenn.edu/~pereira/papers/crf.pdf">CRF</a> パラメータの学習</a>
38 <li><a href="#dist">配布用辞書の作成</a>
39 <li><a href="#test">解析用バイナリ辞書の作成</a>
40 <li><a href="#eval">評価</a>
41 <li><a href="#retrain">再学習</a>
42 </ul>
43
44 <p>それぞれ順に説明していきます. </p>
45
46 <h2><a name="seed">Seed辞書の準備</a></h2>
47 <p>MeCabの辞書は CSV で記述されます. Seed 辞書と配布辞書のフォーマッ
48 トは基本的に同一です. </p>
49
50 <p>以下が辞書のエントリの例です. </p>
51
52 <pre>
53 進学校,0,0,0,名詞,一般,*,*,*,*,進学校,シンガクコウ,シンガクコー
54 梅暦,0,0,0,名詞,一般,*,*,*,*,梅暦,ウメゴヨミ,ウメゴヨミ
55 気圧,0,0,0,名詞,一般,*,*,*,*,気圧,キアツ,キアツ
56 水中翼船,0,0,0,名詞,一般,*,*,*,*,水中翼船,スイチュウヨクセン,スイチューヨクセン
57 </pre>
58
59 <p>最初の4カラム目までは, 必須項目で, </p>
60 <ul>
61 <li>表層形 (単語そのもの)
62 <li>左連接状態番号
63 <li>右連接状態番号
64 <li>コスト
65 </ul>
66 <p>となっています. 左連接状態番号, 右連接状態番号, コストは, Seed 辞書では
67 使われないので 0 としておきます.</p>
68
69 <p>5カラム目以降は「素性」と呼ばれる項目です. MeCab は, システムの汎用性
70 を高めるために, 「品詞」「活用」「読み」「発音」といった「単語に付与され
71 る情報」をシステムは区別せず「素性」として扱っています. ユーザは CSV が
72 許す限り何個でも素性を付与することができます. ただし, 各カラムの素性の
73 定義はそろえておく必要があります. (5カラム目は品詞, 6カラム目は品詞再分
74 類等) 通常, 素性番号の若いものから順に一般的な素性を列挙していきます.
75 (例: 品詞, 品詞細分類, 活用型, 活用形, 原形, 読み, 発音)
76 </p>
77
78 <p>素性は内部的には配列として扱われます. 0番目の素性, 1番目の素性.. と
79 いう呼び方で素性を参照することがあります. 素性の番号と内部表現(品詞, 読
80 み等)は, ユーザ自身が管理してください. </p>
81
82 <p>上記の例は, ipadic の例です. 素性列として</p>
83 <ul>
84 <li>品詞
85 <li>品詞細分類1
86 <li>品詞細分類2
87 <li>品詞細分類3
88 <li>活用型
89 <li>活用形
90 <li>基本形
91 <li>読み
92 <li>発音
93 </ul>
94 <p>が定義されています. </p>
95
96 <p>MeCab は活用処理を行いません. 活用する語の場合は, ユーザが事前に活用
97 を展開する必要があります.
98 <pre>
99 連れ出す,0,0,0,動詞,自立,*,*,五段・サ行,基本形,連れ出す,ツレダス,ツレダス
100 連れ出さ,0,0,0,動詞,自立,*,*,五段・サ行,未然形,連れ出す,ツレダサ,ツレダサ
101 連れ出そ,0,0,0,動詞,自立,*,*,五段・サ行,未然ウ接続,連れ出す,ツレダソ,ツレダソ
102 連れ出し,0,0,0,動詞,自立,*,*,五段・サ行,連用形,連れ出す,ツレダシ,ツレダシ
103 連れ出せ,0,0,0,動詞,自立,*,*,五段・サ行,仮定形,連れ出す,ツレダセ,ツレダセ
104 連れ出せ,0,0,0,動詞,自立,*,*,五段・サ行,命令e,連れ出す,ツレダセ,ツレダセ
105 連れ出しゃ,0,0,0,動詞,自立,*,*,五段・サ行,仮定縮約1,連れ出す,ツレダシャ,ツレダシャ
106 </pre></p>
107
108 <h2><a name="config">設定ファイルの準備</a></h2>
109 <h3>dicrc</h3>
110 <p>
111 辞書のさまざまな動作を指定するファイルです. 以下が最低限の設定です. <p>
112
113 <pre>
114 cost-factor = 800
115 bos-feature = BOS/EOS,*,*,*,*,*,*,*,*
116 eval-size = 6
117 unk-eval-size = 4
118 config-charset = EUC-JP
119 </pre>
120
121 <ul>
122 <li>cost-factor: コスト値に変換するときのスケーリングファクターです.
123 700 から 800 で問題ありません.
124 <li>bos-feature: 文頭, 文末の素性です. CSV で表現します.
125 <li>eval-size: 既知語の時, 素性の先頭から何個合致すれば正解と認定するか
126 を指定します. 通常, 既知語は品詞, 活用といった情報のみが正解すればよいので, 「読み」「発音」といった素性は無
127 視するようにします. 上記の例では 6 となっているので, IPA品詞体系の
128 品詞, 品詞細分類1, 2, 3, 活用型, 活用形 の 6つが評価されます.
129 <li>unk-eval-size: 未知語の時, 素性の先頭から何個合致すれば正解と認定
130 するかを指定します.
131 <li>config-charset: dicrc, char.def, unk.def, pos-id.defファイルの文字コードです.
132 </ul>
133
134 <h3>char.def</h3>
135 <p>
136 未知語処理の定義ファイルです. 通常日本語の形態素解析では字種に基づく未知
137 語処理が行われます. MeCab では, どの文字をどの字種として定義するかといった設
138 定を細かく指定することができます. さらに, 各字種に対し, どのような未知語
139 処理を行うか細かく指定することができます.
140 </p>
141
142 <p>
143 ファイルの最初には, カテゴリ名の定義と, 各カテゴリの未知語処理の動作
144 を定義します.
145
146 <pre>
147 カテゴリ名 動作タイミング(0/1) グルーピング(0/1) 長さ(0,1, 2... n)
148 </pre>
149
150 <ul>
151 <li>カテゴリ名: カテゴリの名前です. <br>
152 HIRANA, KATAKANA.. といったカテゴリを定義します.DEFAULT と SPACE は必須のカテゴリです.
153 <li>動作タイミング: <br>
154 そのカテゴリにおいて, いつ未知語処理を動かすかを定義します.
155 <ul>
156 <li>0: 既知語がある場合は, 未知語処理を動作させません
157 <li>1: 常に未知語処理を動かします
158 </ul>
159 <li>グルーピング: 未知語の候補生成方法です.
160 <ul>
161 <li>0: 同じ字種でまとめません.
162 <li>1: 同じ字種でまとめます.
163 </ul>
164 <li>長さ: 未知語の候補生成方法です.
165 <ul>
166 <li>1: 1文字までの文字列を未知語とします.
167 <li>2: 2文字までの文字列を未知語とします. <br>
168 ...
169 <li>n: n文字までの文字列を未知語とします. <br>
170 </ul>
171 グルーピングと長さは同時に指定することができます.
172 </ul>
173
174 <p>例</p>
175 <pre>
176 KANJI 0 0 2
177 SYMBOL 1 1 0
178 NUMERIC 1 1 0
179 ALPHA 1 1 0
180 HIRAGANA 0 1 2 </pre>
181 </p>
182
183 <p>次に, 各カテゴリがUCS2のコードポイントのどこに該当するか定義します. </p>
184 <pre>
185 codepoint デフォルトカテゴリ名 互換カテゴリ名1 互換カテゴリ名2 ..
186 </pre>
187 <p>もしくは,</p>
188 <pre>
189 low_codepoint..high_codepoint デフォルトカテゴリ名 互換カテゴリ名1 互換カテゴリ名2 ..
190 </pre>
191
192 <p>例</p>
193 <pre>
194 0x0009 SPACE
195 0x30A1..0x30FF KATAKANA
196 0x30FC KATAKANA HIRAGANA # ー
197 </pre>
198 <p>コードポイントは UCS2(Unicode)を 0x から始まる16進数で記述します.</p>
199
200 <p>
201 最初のカテゴリは, そのコードポイントのデフォルトカテゴリです.
202 さらに, 互換カテゴリを列挙することができます. 上記の例では, 長音記号「ー」
203 は, デフォルトではカタカナですが, 平仮名を互換カテゴリとして持ちます.
204 グルーピング動作の時に互換カテゴリは同じグループとしてみなされます.
205 </p>
206
207 <p>以下が char.def の具体例です.</p>
208 <pre>
209 DEFAULT 0 1 0 # DEFAULT is a mandatory category!
210 SPACE 0 1 0
211 KANJI 0 0 2
212 SYMBOL 1 1 0
213 NUMERIC 1 1 0
214 ALPHA 1 1 0
215 HIRAGANA 0 1 2
216 KATAKANA 1 1 0
217 KANJINUMERIC 1 1 0
218 GREEK 1 1 0
219 CYRILLIC 1 1 0
220
221 # SPACE
222 0x0020 SPACE # DO NOT REMOVE THIS LINE, 0x0020 is reserved for SPACE
223 0x00D0 SPACE
224 0x0009 SPACE
225 0x000B SPACE
226 0x000A SPACE
227
228 # ASCII
229 0x0021..0x002F SYMBOL
230 0x0030..0x0039 NUMERIC
231
232 ...
233
234 # KATAKANA
235 0x30A1..0x30FF KATAKANA
236 0x31F0..0x31FF KATAKANA # Small KU .. Small RO
237 0x30FC KATAKANA HIRAGANA # ー
238 </pre>
239
240 <h3>unk.def</h3>
241 <p>
242 未知語用の辞書です. </p>
243 <pre>
244 DEFAULT,0,0,0,記号,一般,*,*,*,*,*
245 SPACE,0,0,0,記号,空白,*,*,*,*,*
246 KANJI,0,0,0,名詞,一般,*,*,*,*,*
247 KANJI,0,0,0,名詞,サ変接続,*,*,*,*,*
248 HIRAGANA,0,0,名詞,一般,*,*,*,*,*
249 HIRAGANA,0,0,0,名詞,サ変接続,*,*,*,*,*
250 HIRAGANA,0,0,0,名詞,固有名詞,地域,一般,*,*,*
251 ...
252 </pre>
253
254 <p>
255 表層の部分を char.def で定義したカテゴリ名とした辞書ファイルです.
256 各カテゴリに対してどのような素生列を付与するかを定義します.
257 1つのカテゴリに複数の素性を定義してもかまいません. 学習後, 適切なコスト値が
258 自動的に与えられます.
259 </p>
260
261 <h3>rewrite.def</h3>
262 <p>
263 素性列から内部状態素生列に変換するマッピングを定義します.
264 </p>
265
266 <p>
267 <a href="http://www.cis.upenn.edu/~pereira/papers/crf.pdf">CRF</a>は, unigram, 左文脈 bigram, 右文脈 bigram の3情報を使って統計情報を計
268 算します. 例えば以下の「美しい川」という以下の例では, 辞書に定義されている素性から unigram素性,
269 左文脈素性(その形態素を左側から見た時の素性),
270 右文脈素性(その形態素を左側から見た時の素性)の3つが使われます.
271 rewrite.def は, 辞書の素性からそれぞれの内部素性へのマッピングを定義します.
272 <img src="feature.png">
273 </p>
274 <p>具体的に以下のようなことがマッピング関数を適切に定義することで実現できます. </p>
275 <ul>
276 <li>「来る」「くる」という二つの表記を「来る」にまとめて統計値を計算する.
277 <li>連接コストの計算の際, 品詞のみを使う/語彙化する.... 等々素性のどの部
278 分を使うかを細かく定義する.
279 </ul>
280 </p>
281
282 <p>
283 rewrite.def には 3 つのセクションがあります.
284 <ul>
285 <li>[unigram rewrite]: Unigram 内部状態へのマッピング
286 <li>[left rewrite]: 左文脈 bigram へのマッピング
287 <li>[right rewrite]: 右文脈 bigram へのマッピング
288 </ul>
289
290 <p>
291 それぞれのセクションの後に, 1行に1つのマッピングルールが続きます.
292 マッピングルールは
293 <pre>
294 マッチパターン 変換先
295 </pre>
296 という形式で記述します. マッピングルールは先頭から順に走査されて最初に
297 マッチしたものが使われます.
298 <p>
299 マッチパターンでは簡単な正規表現がを使うことができます.
300 <ul>
301 <li>*: すべての文字列にマッチ
302 <li>(AB|CD|EF): AB もしくは CD もしくは EF にマッチ
303 <li>AB: 文字列 AB のみに完全マッチ
304 </ul>
305 </p>
306 <p>
307 変換先は $1 $2, $3.. というマクロを使い 素性の各要素 (CSVで記された要素)
308 の内容を参照することができます.
309 </p>
310
311 <p>
312 例
313 <pre>
314 [unigram rewrite]
315 # 読み,発音をとりのぞいて, 品詞1,2,3,4,活用形,活用型,原形,よみ を使う
316 *,*,*,*,*,*,*,* $1,$2,$3,$4,$5,$6,$7,$8
317 # 読みがない場合は無視
318 *,*,*,*,*,*,* $1,$2,$3,$4,$5,$6,$7,*
319
320 [left rewrite]
321 (助詞|助動詞),*,*,*,*,*,(ない|無い) $1,$2,$3,$4,$5,$6,無い
322 (助詞|助動詞),終助詞,*,*,*,*,(よ|ヨ) $1,$2,$3,$4,$5,$6,よ
323 ...
324
325 [right rewrite]
326 (助詞|助動詞),*,*,*,*,*,(ない|無い) $1,$2,$3,$4,$5,$6,無い
327 (助詞|助動詞),終助詞,*,*,*,*,(よ|ヨ) $1,$2,$3,$4,$5,$6,よ
328 ..
329 </pre>
330 </p>
331
332 <h3>feature.def</h3>
333 <p>
334 内部状態の素生列から <a href="http://www.cis.upenn.edu/~pereira/papers/crf.pdf">CRF</a>の素生列を抽出するためのテンプレートを定義したファイルです
335 </p>
336
337 <p>各行が一テンプレートに対応します. UNIGRAM ではじまるものは UNIGRAM 用
338 のテンプレート, BIGRAM ではじまるものは連接用のテンプレートです. </p>
339
340 <p>
341 各テンプレートでは, 以下のマクロを使うことができます
342 <ul>
343 <li>%F[n]: ユニグラムの n番目の素性に展開されます.
344 <li>%F?[n] :ユニグラムの n番目の素性に展開されます. ただし, 未定義の場合そのテンプレー
345 トそのものは使われません.
346 <li>%t: 文字種情報に展開されます. 文字種は char.def で定義された
347 ものが使われます. (%t は ユニグラム素性の時のみ有効です)
348 <li>%L[n]: 左文脈の n番目の素性に展開されます.
349 <li>%L?[n]: 左文脈の n番目の素性に展開されます. ただし, 未定義の場合そのテンプレー
350 トそのものは使われません.
351 <li>%R[n]: 右文脈の n番目の素性に展開されます.
352 <li>%R?[n]: 左文脈の n番目の素性に展開されます. ただし, 未定義の場合そのテンプレー
353 トそのものは使われません.
354 </ul>
355 </p>
356
357 <p>
358 例
359 <pre>
360 UNIGRAM W0:%F[6]
361 UNIGRAM W1:%F[0]/%F[6]
362 UNIGRAM W2:%F[0],%F?[1]/%F[6]
363 UNIGRAM W3:%F[0],%F[1],%F?[2]/%F[6]
364 UNIGRAM W4:%F[0],%F[1],%F[2],%F?[3]/%F[6]
365
366 UNIGRAM T0:%t
367 UNIGRAM T1:%F[0]/%t
368 UNIGRAM T2:%F[0],%F?[1]/%t
369 UNIGRAM T3:%F[0],%F[1],%F?[2]/%t
370 UNIGRAM T4:%F[0],%F[1],%F[2],%F?[3]/%t
371
372 BIGRAM B00:%L[0]/%R[0]
373 BIGRAM B01:%L[0],%L?[1]/%R[0]
374 BIGRAM B02:%L[0]/%R[0],%R?[1]
375 BIGRAM B03:%L[0]/%R[0],%R[1],%R?[2]
376 BIGRAM B04:%L[0],%L?[1]/%R[0],%R[1],%R?[2]
377 BIGRAM B05:%L[0]/%R[0],%R[1],%R[2],%R?[3]
378 BIGRAM B06:%L[0],%L?[1]/%R[0],%R[1],%R[2],%R?[3]
379 ...
380 </pre>
381
382 <h2><a name="corpus">学習用コーパスの準備</a></h2>
383 <p>学習データは, MeCab のデフォルト出力と同一フォーマットで記述します.
384 </p>
385
386 <pre>
387 太郎 名詞,固有名詞,人名,名,*,*,太郎,タロウ,タロー
388 は 助詞,係助詞,*,*,*,*,は,ハ,ワ
389 花子 名詞,固有名詞,人名,名,*,*,花子,ハナコ,ハナコ
390 が 助詞,格助詞,一般,*,*,*, が,ガ,ガ
391 好き 名詞,形容動詞語幹,*,*,*,*, 好き,スキ,スキ
392 だ 助動詞,*,*,*, 特殊・ダ,基本形,だ,ダ,ダ
393 . 記号,句点,*,*,*,*, . , . , .
394 EOS
395 焼酎 名詞,一般,*,*,*,*,焼酎,ショウチュウ,ショーチュー
396 好き 名詞,形容動詞語幹,*,*,*,*,好き,スキ,スキ
397 の 助詞,連体化,*,*,*,*, の,ノ,ノ
398 親父 名詞,一般,*,*,*,*,親父,オヤジ,オヤジ
399 . 記号,句点,*,*,*,*, . , . , .
400 EOS
401 ...
402 </pre>
403
404 <p>
405 タブで区切られた最初の部分が表層文字です. 次に素性配列を CSVで表現した文
406 字列が続きます. 文の区切りには EOS のみの行を置きます.</p>
407
408 <h2><a name="binary">学習用バイナリ辞書の作成</a></h2>
409
410 <p>現在の作業ディレクトリを WORK とします. WORK 以下に seed と final と
411 いう二つのディレクトリを作ってください. </p>
412
413 <pre>
414 cd $WORK
415 mkdir seed final
416 </pre>
417
418 <p>seed ディレクトリにさきほど説明した以下のファイルをコピーします.
419 <ul>
420 <li>seed 辞書 (CSV のファイル集合)
421 <li>全設定ファイル (char.def, unk.def, rewrite.def, feature.def)
422 <li>学習用データ (ファイル名: corpus)
423 </ul>
424
425 <p>
426 例
427 <pre>
428 % cd $WORK/seed
429 % ls
430 Adj.csv Interjection.csv Noun.name.csv Noun.verbal.csv Symbol.csv rewrite.def
431 Adnominal.csv Noun.adjv.csv Noun.number.csv Others.csv Verb.csv unk.def
432 Adverb.csv Noun.adverbal.csv Noun.org.csv Postp-col.csv char.def
433 Auxil.csv Noun.csv Noun.others.csv Postp.csv corpus
434 Conjunction.csv Noun.demonst.csv Noun.place.csv Prefix.csv dicrc
435 Filler.csv Noun.nai.csv Noun.proper.csv Suffix.csv feature.def
436 </pre>
437 </p>
438
439 <p>以下のコマンドを実行して, 学習用バイナリ辞書を作成します.
440 <pre>
441 % cd $WORK/seed
442 % /usr/local/libexec/mecab/mecab-dict-index
443
444 以下のように -d, -o を使うこともできます.
445 % /usr/local/libexec/mecab/mecab-dict-index -d $WORK/seed -o $WORK/seed
446 </pre>
447
448 <ul>
449 <li>-d: seed 辞書, 設定ファイルがあるディレクトリ (デフォルトはカレント)
450 <li>-o: 学習用バイナリ辞書が出力されるディレクトリ (デフォルトはカレント)
451 </ul>
452 </p>
453
454 <h2><a name="crf"><a href="http://www.cis.upenn.edu/~pereira/papers/crf.pdf">CRF</a> パラメータの学習</a></h2>
455 <p>
456 <pre>
457 % cd $WORK/seed
458 % /usr/local/libexec/mecab/mecab-cost-train -c 1.0 corpus model
459
460 以下のように -d を使って辞書を指定することもできます<
461 % /usr/local/libexec/mecab/mecab-cost-train -d $WORK/seed -c 1.0 $WORK/seed/corpus $WORK/seed/model
462 </pre>
463 </p>
464
465 <ul>
466 <li>-d: 学習用バイナリ辞書があるディレクトリ (デフォルトはカレント)
467 <li>-c: <a href="http://www.cis.upenn.edu/~pereira/papers/crf.pdf">CRF</a>のハイパーパラメータ
468 <li>-f: 素性頻度の閾値
469 <li>-p NUM: NUM 並列で学習を実行 (デフォルトは1)
470 <li>corpus: 学習データのファイル名
471 <li>model: 出力される<a href="http://www.cis.upenn.edu/~pereira/papers/crf.pdf">CRF</a>パラメータのファイル名
472 </ul>
473
474 <p>
475 ハイパーパラメータCは, 学習の「強さ」を決めます.
476 C を大きくすると, 学習データにできるだけフィットしようとしますが,
477 過学習する可能性があります. 小さくすると, 過学習を避けようとしますが, 十分な学習ができない可能性があります.
478 適切な C は, 交差検定等のモデル選択手法で発見的に見つけるしかありません.
479 デフォルトの値は 1. 0 となっています. </p>
480
481 <p>
482 -f オプションによって素性頻度の閾値を指定することができます. 例えば, -f
483 3 とすると, 学習データ中に3回以上出現した素性のみを使います. 適切な
484 素性閾値は, 交差検定等のモデル選択手法で発見的に見つけるしかありません.
485 </p>
486
487 <p>
488 学習中, 以下のような情報が出力されます.
489 <pre>
490 reading corpus ... adding virtual node: 名詞,固有名詞,地域,一般,*,*,東日,トウニチ,トウニチ
491 adding virtual node: 副詞,助詞類接続,*,*,*,*,かなり,カナリ,カナリ
492
493 Number of sentences: 32
494 Number of features: 47547
495 eta: 0.00010
496 freq: 1
497 C(sigma^2): 1.00000
498
499 iter=0 err=1.00000 F=0.41186 target=1691.68869 diff=1.00000
500 iter=1 err=1.00000 F=0.68727 target=1077.14848 diff=0.36327
501 iter=2 err=0.87500 F=0.81904 target=621.20311 diff=0.42329
502 iter=3 err=0.81250 F=0.86354 target=384.72432 diff=0.38068
503 iter=4 err=0.68750 F=0.93685 target=233.72722 diff=0.39248
504 ..
505 </pre>
506 <ul>
507 <li>adding virtual node: 未知語処理を行なっても処理できなかった
508 形態素で, 学習の際便宜的に追加される形態素です.
509 <li>iter: 学習回数
510 <li>err: 文レベルのエラー率
511 <li>F: F値(精度と再現率の調和平均)
512 <li>target: 目的関数の値. この値が収束すると学習が終了します.
513 <li>diff: 目的関数の相対的な差分. この値が 0. 0001 になると学習が終了しま
514 す.
515 </ul>
516 </p>
517
518 <p>
519 <h2><a name="dist">配布用辞書の作成</a></h2>
520 <pre>
521 % cd $WORK/seed
522 % /usr/local/libexec/mecab/mecab-dict-gen -o ../final -m model
523
524 以下のように -d, -o を使って辞書を指定することもできます
525 % /usr/local/libexec/mecab/mecab-dict-gen -o $WORK/final -d $WORK/seed -m $WORK/seed/model
526 </pre>
527
528 <ul>
529 <li>-d: seed 辞書があるディレクトリ (デフォルトはカレント)
530 <li>-o: 配布用辞書の出力先ディレクトリ
531 <li>-m: <a href="http://www.cis.upenn.edu/~pereira/papers/crf.pdf">CRF</a> のパラメータファイル
532 </ul>
533
534 <p>配布用辞書は, seed 辞書と別のディレクトリに出力しなければなりません.
535 通常, 配布辞書ディレクトリ final をアーカイブしてユーザに配布します. </p>
536
537 <h2><a name="test">解析用バイナリ辞書の作成</a></h2>
538
539 <pre>
540 % cd $WORK/final
541 % /usr/local/libexec/mecab/mecab-dict-index
542
543 以下のように -d, -o を使うこともできます.
544 % /usr/local/libexec/mecab/mecab-dict-index -d $WORK/final -o $WORK/final
545 </pre>
546
547 <p>
548 <ul>
549 <li>-d: seed 辞書, 設定ファイルがあるディレクトリ (デフォルトはカレント)
550 <li>-o: 学習用バイナリ辞書が出力されるディレクトリ (デフォルトはカレント)
551 </ul>
552
553 <p>今作った辞書を使って実際に解析してみます. </p>
554 <pre>
555 % mecab -d $WORK/final
556 焼酎好きの親父.
557 焼酎 名詞,一般,*,*,*,*,焼酎,ショウチュウ,ショーチュー
558 好き 名詞,形容動詞語幹,*,*,*,*,好き, スキ, スキ
559 の 助詞,連体化,*,*,*,*,の,ノ,ノ
560 親父 名詞,一般,*,*,*,*,親父, オヤジ, オヤジ
561 . 記号,句点,*,*,*,*,.,.,.
562 EOS
563 </pre>
564 </p>
565
566 <h2><a name="eval">評価</a></h2>
567 <p>
568 テストデータを用意します. テストデータは MeCab の
569 デフォルト出力と同一フォーマットで記述します.
570 </p>
571
572 <p>
573 まず, mecab-test-gen を使ってテストコーパス(test)から, 文のみ(test.sen)を抽出します.
574 <pre>
575 % /usr/local/libexec/mecab/mecab-test-gen < test > test.sen
576 </pre>
577 </p>
578
579 <p>test.sen をさきほど作った辞書で解析します. </p>
580 <pre>
581 % mecab -d $WORK/final test.sen > test.result
582 </pre>
583 </p>
584
585 <p>
586 評価スクリプト mecab-system-eval を実行します.
587 第一引数がシステムの結果, 第二引数が正解のファイルです.
588 <pre>
589 % /usr/local/libexec/mecab/mecab-system-eval test.result test
590 precision recall F
591 LEVEL 0: 98.6887(647112/655710) 98.9793(647112/653785) 98.8338
592 LEVEL 1: 98.2163(644014/655710) 98.5055(644014/653785) 98.3607
593 LEVEL 2: 97.2230(637501/655710) 97.5093(637501/653785) 97.3659
594 LEVEL 4: 96.8367(634968/655710) 97.1218(634968/653785) 96.9791
595 </pre>
596 </p>
597
598 <p>-l オプションによって, どの素性のレベルを使って評価するか指定できます.
599 <ul>
600 <li>-l 0: 0 番目の素性のみを使って評価します.
601 <li>-l 4: 0〜4 番目の素性を使って評価します
602 <li>-l -1: 全レベルの素性を使って評価します
603 <li>-l "0 1 2" 0番目, 0〜1番目, 0〜4番目の3つの評価を表示します.
604 <li>-l "0 1 -1" 0番目, 0〜1番目, 全レベルの3つの評価を表示します.
605 </ul>
606
607 <h2><a name="retrain">再学習</a></h2>
608 <p>
609 再学習とは, 現在の学習済みモデルと少量の追加学習データからモデルを再構築する仕組みです.
610 <b>元の学習データは必要ありません.</b> mecab-ipadic についてはモデルファイルを配布する予定です.
611 同モデルファイルと, お手元の少量の学習データや追加辞書を用いることで, 簡単なドメイン適応が可能となります.
612 </p>
613
614 <p>
615 再学習は, 以下のように -M オプションを用いて以前のモデルファイルを指定します.
616 初期学習時に用いた seed 辞書に新規語彙を追加しても構いません. corpus は再学習用の新規コーパスです.
617 </p>
618 <pre>
619 % cd $WORK/seed
620 % /usr/local/libexec/mecab/mecab-cost-train -c 1.0 -M old_model corpus model
621
622 以下のように -d を使って辞書を指定することもできます<
623 % /usr/local/libexec/mecab/mecab-cost-train -M old_model -d $WORK/seed -c 1.0 $WORK/seed/corpus $WORK/seed/model
624 </pre>
625
626 <p>
627 再学習は, 現在のパラメータをできるだけ変更せずに新しい学習データにできるだけ適応するような学習が行われます.
628 適応先のコーパスの性質が元のコーパスのそれと大きく変わる場合は、元の学習データに対する精度が低下する恐れがあります.
629 ご了承下さい
630 </p>
631 </p>
632 </body>
633 </html>
634