言語非依存の解析エンジンを持つ形態素解析ライブラリです。文例をもとに言語モデルを学習する機能により、モデルデータを入れ替えることで各種の言語、言い回しに対応します。そのほか日本語表記ゆれ(全半角、送り仮名など)の正規化機能、ユーザ辞書に対応しています。言語モデルは日本語と中国語(簡体字)を提供可能です。

特長

あらゆる言語で表現された「知識」を、シームレスに扱うことのできる要素技術として、マルチリンガル形態素解析パッケージ「Enwordio」を提供します。

■国際化

統計に基づく言語モデルを用いた、特定の言語に依存しない解析エンジン

■内部アーキテクチャにUnicode(UCS-4)を使用

Unicodeは世界中の文字の多くを表現することができる体系で、現在も文字の収録が続いています。 Enwordioは内部の文字表現にUCS-4を採用し、将来的な文字数の増加にも対応済みです。

■多言語対応

日本語と中国語(簡体字北京語)の言語モデルをご提供します。他の言語については、ご相談ください。

■ユーザ辞書機能

100万語規模の単語登録が可能なユーザ辞書機能を持ち、専門用語等にも対応可能です。

■単語の表記揺れの正規化機能(日本語)

日本語特有の、「受け付け」「受付け」「受付」といった書き方の違いを、吸収して出力することが可能です。また、文字の全/半角、アルファベットの大/小文字の出力表記も統一できます。

■人名・地名の推定機能(中国語)

多岐にわたる中国の人名、地名に対して、言語モデルの単語辞書に存在しないものについても統計に基づいた推定を行い出力する機能を有しています。