| 1 |
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" |
| 2 |
"http://www.w3.org/TR/html4/strict.dtd"> |
| 3 |
<html> |
| 4 |
<head> |
| 5 |
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> |
| 6 |
<title>MeCab: 未知語処理</title> |
| 7 |
<link type="text/css" rel="stylesheet" href="mecab.css"> |
| 8 |
</head> |
| 9 |
<body> |
| 10 |
<h1>未知語処理の定義</h1> |
| 11 |
|
| 12 |
<h2>概要</h2> |
| 13 |
<p>未知語処理(辞書に載っていない単語の形態素解析の処理)についてユーザが再定義できます。</p> |
| 14 |
|
| 15 |
<h2>設定ファイル</h2> |
| 16 |
|
| 17 |
<p>配布辞書のディレクトリにある char.def と unk.def という2つのファイル |
| 18 |
を変更します.</p> |
| 19 |
|
| 20 |
<h3>char.def</h3> |
| 21 |
<p>未知語処理のルールです. <a href="learn.html">こちら</a>を御覧ください. |
| 22 |
</p> |
| 23 |
|
| 24 |
<h3>unk.def</h3> |
| 25 |
<p>未知語に対する品詞列のテーブルです. <a href="learn.html">こちら</a>を |
| 26 |
御覧ください. </p> |
| 27 |
|
| 28 |
<h2>ケーススタディ</h2> |
| 29 |
<h3>数字の連続を1つの形態素とする</h2> |
| 30 |
<ul> |
| 31 |
<li>辞書 (*.csv ファイル)から数字のエントリを削除します。 |
| 32 |
ipadic の場合は、Noun.number.csv の中から、アラビア数字のエントリを消去します。 |
| 33 |
<li>char.def を修正し、数字の連続が未知語になるようにします。 |
| 34 |
<pre> |
| 35 |
.. |
| 36 |
NUMERIC 1 1 0 |
| 37 |
.. |
| 38 |
</pre> |
| 39 |
|
| 40 |
<li>unk.def を修正し、数字のコストを小さくします。 |
| 41 |
|
| 42 |
4カラム目のコスト値を 0以下の小さい値に設定します。 |
| 43 |
<pre> |
| 44 |
NUMERIC,1204,1204,0,名詞,数,*,*,*,*,* |
| 45 |
</pre> |
| 46 |
|
| 47 |
<li>辞書をコンパイルします。 |
| 48 |
<pre> |
| 49 |
% /usr/local/libexec/mecab/mecab-dict-index |
| 50 |
</pre> |
| 51 |
</ul> |
| 52 |
|
| 53 |
<h3>ASCII 文字列は、スペース/タブのみで分割する (kakasiと同一動作)</h3> |
| 54 |
<ul> |
| 55 |
<li>辞書 (*.csv ファイル)からアスキー文字列を含むのエントリを削除します。 |
| 56 |
<li>char.def を修正し、スペース、記号を除く文字を同一字種(ASCII)にマッピ |
| 57 |
ングします。他のエントリも同時にチェックし、0x0021..0x007E の領域を |
| 58 |
他の字種にマッピングしないようにしてください。 |
| 59 |
<pre> |
| 60 |
ASCII 1 1 0 |
| 61 |
|
| 62 |
0x0021..0x007E ASCII |
| 63 |
</pre> |
| 64 |
|
| 65 |
<li>unk.def を修正し、ASCIIのコストを小さくします。 |
| 66 |
4カラム目のコスト値を 0以下の小さい値に設定します。 |
| 67 |
<pre> |
| 68 |
ASCII,1192,1192,0,名詞,サ変接続,*,*,*,*,* |
| 69 |
</pre> |
| 70 |
|
| 71 |
<li>辞書をコンパイルします。 |
| 72 |
<pre> |
| 73 |
% /usr/local/libexec/mecab/mecab-dict-index |
| 74 |
</pre> |
| 75 |
</ul> |
| 76 |
</body> |
| 77 |
</html> |