>>822
> 形態素解析は目的じゃなくて手段なんだから、
> 後段の応用的な自然言語処理のタスクの性能に
> どれくらい寄与するかを示せって言ってるの。
> そこにあなたのシステムを導入したときに、
> 他のトークナイザより性能が高かったら
> みんな認めるでしょってこと。
他のトーカナイザは出力がシリアルでしょ？
こちらは「かな漢字変換における、候補選択前の、
構造を持ったデータ」が出力なんですよ。
ですから、「入れない」がイレナイなのか
ハイレナイなのかは、「使うほうが選んでね。
選択に重みづけをしたいんだったら、必要なデータは
乗っけてあげるから」という形なんです。
で、JAI-Perser はチャート法を使っているので、
候補探索自体の実行順序も決まっていなくて、
「探索戦略の部分も、そっちの都合に合わせますけど、
どうします？」っていう話があるわけです。
現在のプロダクション・ルールの適用順位はかなり
こなれているので、「最長一致で深さ優先探索で
最初に文末まで解析が成功したものを出力する」で
よければ、とりあえず土俵には上がれると思います。