| 1 |
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" |
| 2 |
"http://www.w3.org/TR/html4/strict.dtd"> |
| 3 |
<html> |
| 4 |
<head> |
| 5 |
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> |
| 6 |
<title>スクリプト言語のバインディング</title> |
| 7 |
<link rel=stylesheet href="mecab.css"> |
| 8 |
</head> |
| 9 |
<body> |
| 10 |
|
| 11 |
<h1>スクリプト言語のバインディング</h1> |
| 12 |
|
| 13 |
<h2>概要</h2> |
| 14 |
<p> |
| 15 |
各種スクリプト言語 |
| 16 |
(<a href="http://www.perl.com">perl</a>, |
| 17 |
<a href="http://www.ruby-lang.org">ruby</a>, |
| 18 |
<a href="http://www.python.org">python</a>, |
| 19 |
<a href="http://java.sun.com">Java</a>) |
| 20 |
から, MeCab が提供する形態素解析の機能を利用可能です. |
| 21 |
各バインディングは <a href="http://www.swig.org">SWIG</a> というプログラ |
| 22 |
ムを用いて, 自動生成されています. <a href="http://www.swig.org">SWIG</a> がサポートする他の言語も |
| 23 |
生成可能だと思われますが, 現在は, 作者の管理できる範囲内ということで, |
| 24 |
上記の4つの言語のみを提供しております. |
| 25 |
</p> |
| 26 |
|
| 27 |
<h2>インストール</h2> |
| 28 |
<p> |
| 29 |
各言語バイディングのインストール方法は, perl/README, ruby/README, python/README, |
| 30 |
java/README を御覧下さい. |
| 31 |
</p> |
| 32 |
|
| 33 |
<h2>とりあえず解析する</h2> |
| 34 |
<p> |
| 35 |
MeCab::Tagger というクラスのインスタンスを生成し, parse (もしくは |
| 36 |
parseToString) というメソッドを呼ぶことで, 解析結果が文字列として取得できます. |
| 37 |
MeCab::Tagger のコンストラクタの引数は, 基本的に mecab の実行形式に与え |
| 38 |
るパラメータと同一で, それらを文字列として与えます. |
| 39 |
</p> |
| 40 |
|
| 41 |
<h3>perl</h3> |
| 42 |
<pre> |
| 43 |
use MeCab; |
| 44 |
$m = new MeCab::Tagger ("-Ochasen"); |
| 45 |
print $m->parse ("今日もしないとね"); |
| 46 |
</pre> |
| 47 |
|
| 48 |
<h3>ruby</h3> |
| 49 |
<pre> |
| 50 |
require 'MeCab' |
| 51 |
m = MeCab::Tagger.new ("-Ochasen") |
| 52 |
print m.parse ("今日もしないとね") |
| 53 |
</pre> |
| 54 |
|
| 55 |
<h3>python</h3> |
| 56 |
<pre> |
| 57 |
import sys |
| 58 |
import MeCab |
| 59 |
m = MeCab.Tagger ("-Ochasen") |
| 60 |
print m.parse ("今日もしないとね") |
| 61 |
</pre> |
| 62 |
|
| 63 |
<h3>Java</h3> |
| 64 |
<pre> |
| 65 |
import org.chasen.mecab.Tagger; |
| 66 |
import org.chasen.mecab.Node |
| 67 |
public static void main(String[] argv) { |
| 68 |
Tagger tagger = new Tagger ("-Ochasen"); |
| 69 |
System.out.println (tagger.parse ("太郎は二郎にこの本を渡した.")); |
| 70 |
} |
| 71 |
</pre> |
| 72 |
|
| 73 |
<h2>各形態素の詳細情報を取得する</h2> |
| 74 |
<p> |
| 75 |
MeCab::Tagger クラスの, parseToNode という |
| 76 |
メソッドを呼ぶことで, 「文頭」という特別な形態素が MeCab::Node クラスのインスタンスとして |
| 77 |
取得できます. |
| 78 |
</p> |
| 79 |
|
| 80 |
<p> |
| 81 |
MeCab::Node は, 双方向リストとして表現されており, next, prev というメン |
| 82 |
バ変数があります. それぞれ, 次の形態素, 前の形態素を MeCab::Node クラスのインスタンスとして |
| 83 |
返します. 全形態素には, next を順次呼ぶことでアクセスできます. |
| 84 |
</p> |
| 85 |
|
| 86 |
<p>MeCab::Node は C 言語のインタフェイスで提供している mecab_node_t をラッ |
| 87 |
プしたクラスです. mecab_node_t が持つほぼすべてのメンバ変数にアクセスす |
| 88 |
ることができます. ただし, surface のみ, 単語そのものが返るように変更して |
| 89 |
います.</p> |
| 90 |
|
| 91 |
<p> |
| 92 |
以下に <a href="http://www.perl.com">perl</a> の例を示します. この例では, |
| 93 |
各形態素を順次にアクセスし,形態素の表層文字列, 品詞, その形態素までのコストを表示します. |
| 94 |
</p> |
| 95 |
|
| 96 |
<pre> |
| 97 |
use MeCab; |
| 98 |
my $m = new MeCab::Tagger (""); |
| 99 |
|
| 100 |
for (my $n = $m->parseToNode ("今日もしないとね"); $n ; $n = $n->{next}) { |
| 101 |
printf ("%s\t%s\t%d\n", |
| 102 |
$n->{surface}, # 表層 |
| 103 |
$n->{feature}, # 現在の品詞 |
| 104 |
$n->{cost} # その形態素までのコスト |
| 105 |
); |
| 106 |
} |
| 107 |
</pre> |
| 108 |
|
| 109 |
<h2>エラー処理</h2> |
| 110 |
<p> |
| 111 |
もし, コンストラクタや, 解析途中でエラーが起きた場合は, |
| 112 |
RuntimeError 例外が発生します. |
| 113 |
例外のハンドリングの方法は, 各言語のリファレンスマニュアルを |
| 114 |
ごらんください. 以下は, <a href="http://www.python.org">python</a> の例です |
| 115 |
</p> |
| 116 |
|
| 117 |
<pre> |
| 118 |
try: |
| 119 |
m = MeCab.Tagger ("-d .") |
| 120 |
print m.parse ("今日もしないとね") |
| 121 |
except RuntimeError, e: |
| 122 |
print "RuntimeError:", e; |
| 123 |
</pre> |
| 124 |
|
| 125 |
|
| 126 |
<h2>注意事項</h2> |
| 127 |
<h3>文頭,文末形態素</h3> |
| 128 |
<p> |
| 129 |
parseToNode の返り値は, 「文頭」という特別な形態素を示す MeCab::Node |
| 130 |
インタンスです. さらに, 「文末」という特別な形態素も存在いたしますので, |
| 131 |
注意してください. もし, これらを無視したい場合は, 以下のように |
| 132 |
next でそれぞれを読み飛ばしてください. |
| 133 |
<pre> |
| 134 |
my $n = $m->parseToNode ("今日もしないとね"); |
| 135 |
$n = $n->{next}; # 「文頭」を無視 |
| 136 |
|
| 137 |
while ($n->{next}) { # next を調べる |
| 138 |
printf ("%s\n", $n->{surface}); |
| 139 |
$n = $n->{next}; # 次に移動 |
| 140 |
} |
| 141 |
</pre> |
| 142 |
|
| 143 |
</p> |
| 144 |
|
| 145 |
<h3>MeCab::Node の振舞い</h3> |
| 146 |
<p> |
| 147 |
MeCab::Node の実体(メモリ上にある形態素情報)は, |
| 148 |
MeCab::Tagger インスタンスが管理しています. MeCab::Node は, |
| 149 |
Node の実体を指している<b>参照</b>にすぎせん. そのために, parseToNode が |
| 150 |
呼ばれる度に, 実体そのものが, 上書きされていきます. 以下のような例はソースの意図する通りには動きません. |
| 151 |
</p> |
| 152 |
|
| 153 |
<pre> |
| 154 |
m = MeCab.Tagger ("") |
| 155 |
n1 = m.parseToNode ("今日もしないとね") |
| 156 |
n2 = m.parseToNode ("さくさくさくら") |
| 157 |
|
| 158 |
# n1 の内容は無効になっている |
| 159 |
while (n1.hasNode () != 0): |
| 160 |
print n1.getSurface () |
| 161 |
n1 = n1.next () |
| 162 |
</pre> |
| 163 |
|
| 164 |
<p> |
| 165 |
上記の例では, n1 の指す中身が, 「さくさくさくら」を解析した時点で |
| 166 |
上書きされており, 使用できなくなっています. |
| 167 |
</p> |
| 168 |
|
| 169 |
<p> |
| 170 |
複数の Node を同時にアクセスしたい場合は, 複数の MeCab::Tagger インスタンスを生成してください. |
| 171 |
</p> |
| 172 |
|
| 173 |
<h2>全メソッド</h2> |
| 174 |
<p> |
| 175 |
以下に, <a href="http://www.swig.org">SWIG</a>用のインタフェースファイル |
| 176 |
の一部を示します. バイディングの実装言語の都合上, C++ のシンタックスで |
| 177 |
表記されていますが, 適宜読みかえてください. また, 各メソッドの動作も添え |
| 178 |
ていますので参考にしてください. |
| 179 |
</p> |
| 180 |
|
| 181 |
<pre> |
| 182 |
namespace MeCab { |
| 183 |
|
| 184 |
class Tagger { |
| 185 |
|
| 186 |
// str を解析して文字列として結果を得ます. len は str の長さ(省略可能) |
| 187 |
string parse(string str, int len); |
| 188 |
|
| 189 |
// parse と同じ |
| 190 |
string parseToString(string str, int len); |
| 191 |
|
| 192 |
// str を解析して MeCab::Node 型の形態素を返します. |
| 193 |
// この形態素は文頭を示すもので, next を順に辿ることで全形態素にアクセスできます |
| 194 |
Node parseToNode(string str, int len); |
| 195 |
|
| 196 |
// parse の Nbest 版です. N に nbest の個数を指定します. |
| 197 |
// この機能を使う場合は, 起動時オプションとして -l 1 を指定する必要があります |
| 198 |
string parseNBest(int N, string str, int len); |
| 199 |
|
| 200 |
// 解析結果を, 確からしいものから順番に取得する場合にこの関数で初期化を行います. |
| 201 |
bool parseNBestInit(string str, int len); |
| 202 |
|
| 203 |
// parseNbestInit() の後, この関数を順次呼ぶことで, 確からしい解析結果を, 順番に取得できます. |
| 204 |
string next(); |
| 205 |
|
| 206 |
// next() と同じですが, MeCab::Node を返します. |
| 207 |
Node nextNode(); |
| 208 |
}; |
| 209 |
|
| 210 |
#define MECAB_NOR_NODE 0 |
| 211 |
#define MECAB_UNK_NODE 1 |
| 212 |
#define MECAB_BOS_NODE 2 |
| 213 |
#define MECAB_EOS_NODE 3 |
| 214 |
|
| 215 |
struct Node { |
| 216 |
|
| 217 |
struct Node prev; // 一つ前の形態素へのポインタ |
| 218 |
struct Node next; // 一つ先の形態素へのポインタ |
| 219 |
|
| 220 |
struct Node enext; // 同じ位置で終わる形態素へのポインタ |
| 221 |
struct Node bnext; // 同じ開始位置で始まる形態素へのポインタ |
| 222 |
|
| 223 |
string surface; // 形態素の文字列情報 |
| 224 |
|
| 225 |
string feature; // CSV で表記された素性情報 |
| 226 |
unsigned int length; // 形態素の長さ |
| 227 |
unsigned int rlength; // 形態素の長さ(先頭のスペースを含む) |
| 228 |
unsigned int id; // 形態素に付与される ユニークID |
| 229 |
unsigned short rcAttr; // 右文脈 id |
| 230 |
unsigned short lcAttr; // 左文脈 id |
| 231 |
unsigned short posid; // 形態素 ID (未使用) |
| 232 |
unsigned char char_type; // 文字種情報 |
| 233 |
unsigned char stat; // 形態素の種類: 以下のマクロの値 |
| 234 |
// #define MECAB_NOR_NODE 0 |
| 235 |
// #define MECAB_UNK_NODE 1 |
| 236 |
// #define MECAB_BOS_NODE 2 |
| 237 |
// #define MECAB_EOS_NODE 3 |
| 238 |
unsigned char isbest; // ベスト解の場合 1, それ以外 0 |
| 239 |
|
| 240 |
float alpha; // forward backward の foward log 確率 |
| 241 |
float beta; // forward backward の backward log 確率 |
| 242 |
float prob; // 周辺確率 |
| 243 |
// alpha, beta, prob は -l 2 オプションを指定した時に定義されます |
| 244 |
|
| 245 |
short wcost; // 単語生起コスト |
| 246 |
long cost; // 累積コスト |
| 247 |
}; |
| 248 |
} |
| 249 |
</pre> |
| 250 |
<h2>サンプルプログラム</h2> |
| 251 |
<p> |
| 252 |
perl/test.pl, ruby/test.rb, python/test.py, java/test.java |
| 253 |
にそれぞれの言語のサンプルがありますので, 参考にしてください. |
| 254 |
</p> |
| 255 |
</body> |
| 256 |
</html> |