辞書引きは一応片付いたことにして、次は形態素解析だ。
語彙の部分には、品詞の分類というものがある。ただ、
これがなかなかの難物なのだ。
たとえば日本人なら、日本語の動詞をそのまんま
書いて「動詞」と書いておけば辞書として役に立つ。
ただ、外国人やコンピュータ様は動詞の語幹部分を
別々の形態素として辞書登録しておいて、辞書引きが
終わった段階でパーツを組み立てて「これはどういう
品詞のナニナニ形だ」と提示しなければならない。
するってぇと、たとえば「書かされたがらなかった」
はどうなるかというと「動詞・書k+使役・as＋
受動・aれ＋欲求・た＋表出・が＋否定・なk＋
過去または完了・aった」と、別々の品詞として
辞書登録しておかなければならなくなる。
「こんなんやっとれるかぁ！」と怒りだす奴が
いそうだが、これは辞書を「形態素（＝名前のない
形態素）」の辞書と「品詞（＝名前のある形態素）」に
分けて、前者は「開始点の文法属性＋マッチング文字列＋
終点の文法属性」として管理し、後者は「品詞＋辞書登録形」
で辞書かしておいて、適当なツールで「開始点の文法属性＋
マッチング文字列＋終点の文法属性」に変換してやる（もちろん、
マッチングに不必要な活用語尾は取り去る）という操作を
行なうわけだ。
これによって、解析開始点から「解析開始点の属性」→
「開始点属性」→「マッチング文字列」→「終点属性」ときて、
ここから次々と「終点属性」を「開始点属性」とみて
探索を行なってゆけば、自動的に形態素解析が行なえてしまう、
ということになる。
なお、単なる「かな漢字変換」レベルの処理だったら、
これだけで市販の IME が吹っ飛ぶくらいの威力のある
変換システムができあがる。もちろん、候補の優先度とかいった
塩梅は必要ではあるのだが。