Debian Codegraph @

doc/unk.html

raw
1 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
2 "http://www.w3.org/TR/html4/strict.dtd">
3 <html>
4 <head>
5 <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
6 <title>MeCab: 未知語処理</title>
7 <link type="text/css" rel="stylesheet" href="mecab.css">
8 </head>
9 <body>
10 <h1>未知語処理の定義</h1>
11
12 <h2>概要</h2>
13 <p>未知語処理(辞書に載っていない単語の形態素解析の処理)についてユーザが再定義できます。</p>
14
15 <h2>設定ファイル</h2>
16
17 <p>配布辞書のディレクトリにある char.def と unk.def という2つのファイル
18 を変更します.</p>
19
20 <h3>char.def</h3>
21 <p>未知語処理のルールです. <a href="learn.html">こちら</a>を御覧ください.
22 </p>
23
24 <h3>unk.def</h3>
25 <p>未知語に対する品詞列のテーブルです. <a href="learn.html">こちら</a>を
26 御覧ください. </p>
27
28 <h2>ケーススタディ</h2>
29 <h3>数字の連続を1つの形態素とする</h2>
30 <ul>
31 <li>辞書 (*.csv ファイル)から数字のエントリを削除します。
32 ipadic の場合は、Noun.number.csv の中から、アラビア数字のエントリを消去します。
33 <li>char.def を修正し、数字の連続が未知語になるようにします。
34 <pre>
35 ..
36 NUMERIC 1 1 0
37 ..
38 </pre>
39
40 <li>unk.def を修正し、数字のコストを小さくします。
41
42 4カラム目のコスト値を 0以下の小さい値に設定します。
43 <pre>
44 NUMERIC,1204,1204,0,名詞,数,*,*,*,*,*
45 </pre>
46
47 <li>辞書をコンパイルします。
48 <pre>
49 % /usr/local/libexec/mecab/mecab-dict-index
50 </pre>
51 </ul>
52
53 <h3>ASCII 文字列は、スペース/タブのみで分割する (kakasiと同一動作)</h3>
54 <ul>
55 <li>辞書 (*.csv ファイル)からアスキー文字列を含むのエントリを削除します。
56 <li>char.def を修正し、スペース、記号を除く文字を同一字種(ASCII)にマッピ
57 ングします。他のエントリも同時にチェックし、0x0021..0x007E の領域を
58 他の字種にマッピングしないようにしてください。
59 <pre>
60 ASCII 1 1 0
61
62 0x0021..0x007E ASCII
63 </pre>
64
65 <li>unk.def を修正し、ASCIIのコストを小さくします。
66 4カラム目のコスト値を 0以下の小さい値に設定します。
67 <pre>
68 ASCII,1192,1192,0,名詞,サ変接続,*,*,*,*,*
69 </pre>
70
71 <li>辞書をコンパイルします。
72 <pre>
73 % /usr/local/libexec/mecab/mecab-dict-index
74 </pre>
75 </ul>
76 </body>
77 </html>