X

全文検索エンジンNamazu ver2

0001名無しさん＠お腹いっぱい。
垢版 |
2005/04/11(月) 01:31:01
全文検索エンジンNamazuについてアレコレ

http://www.namazu.org
0119名無しさん＠お腹いっぱい。
垢版 |
2006/01/23(月) 03:56:11
大量のファイルを処理するにはindexサイズが大きくなりすぎないように
することが大切だぞ。
処理中になんどか更新するがとても時間が掛かってしまう
あとでマージせよ
0120名無しさん＠お腹いっぱい。
垢版 |
2006/01/23(月) 10:27:28
>>118,119
ありがとうございます。インデックスをいくつかに分けて
作成する事にしました。インデックスのサイズが小さいと
時間の掛かり方も全然違いますね。
全部まとめてやるよりも早く終わりそうです。
0121名無しさん＠お腹いっぱい。
垢版 |
2006/01/24(火) 13:27:51
動的ページ（DBから情報を取得するもの）を検索対象にするために、
wget + Namazu で実際に運用されている方はおられますか？

DBから取得した情報も全て静的ページに吐き出してからそれをインデックスするのか、
wgetで全部ダウンロードしてそれをインデックスするのかで悩んでいます。

後者の方が圧倒的にメンテナンスも構築も容易なのですが
実運用で使うに耐えられるものなのかが不安でして…。

宜しくお願いします。
0122名無しさん＠お腹いっぱい。
垢版 |
2006/01/24(火) 13:30:44
>>121
> 後者の方が圧倒的にメンテナンスも構築も容易なのですが
> 実運用で使うに耐えられるものなのかが不安でして…。

と悩みはじめてすでに5年〜♪
0123121
垢版 |
2006/01/24(火) 14:10:24
>>122

悩むんですよね…。
Namazuのためだけに静的ページ生成を行うというのはどうも。

Namazuだと、ドキュメントルート以下にあるファイルでも
Webに公開されていない（リンクされていない）ものも引っかかってしまうので、
そう考えると wget の方が理にかなってるんですよね。

＃メルマガなんかで直接URLを通知されるページは元も子も無いですが。。
0124名無しさん＠お腹いっぱい。
垢版 |
2006/01/26(木) 05:06:02
>>120
最初は一度にまとめてやった方が速いと思うのだろうけど。
例えば5メガずつindexを書き出す場合、今のindexサイズが200メガだったら
後50メガ追加するのに約1ギガの書き込み、消去を行うことになる。
これはとても大変だ。
0125名無しさん＠お腹いっぱい。
垢版 |
2006/01/26(木) 05:08:29
ただディスクアクセスだけではない。
indexサイズがでかければメモリ、cpuの処理も時間が掛かる。
0127名無しさん＠お腹いっぱい。
垢版 |
2006/01/30(月) 21:45:06
2006-01-29: Namazu 2.0.15 を公開

ISO-8859-* に関する文書の間違いを訂正
RedHat ソフトウェア namazu.spec の不必要なパッチは削除
File::MMagic 1.25 を同梱
MeCab の正式対応
mknmz に -b 及び --use-mecab オプションを追加
mknmz および namazu に --norc オプションを追加
mknmz に --decode-base64 オプションを追加
新しいフィルタ(Gnumeric, Koffice, Mainman/Pipermail, Zip, Visio)を追加
mknmzrc に MECAB, DENY_DDN を追加
ファイル名がDDN である時にスキップ。
日付フィールドによるソート機能の追加
nmzcat, nmzegrep コマンドの追加
フィルタの Windows 対応
(msword.pl, excel.pl, powerpoint.pl, postscript.pl, 等...)
OLE コントロールフィルタ更新
QUERY_STRING の区切りに';' 使用可能
Perl版テストプログラム(pltests) を追加
各種バグフィックス
0131名無しさん＠お腹いっぱい。
垢版 |
2006/02/11(土) 21:10:15
Debian Sarge で namazu 2.0.14 を使っているのですが、教えてください。

mknmz を -U オプションを付けて、Samba 内のインデックスを作成しているの
ですが、職場のパソコンのIEのバージョンにより、動作が異なります。

IE 6.0 では、検索結果の表示、クリックした時にファイルが開けるのですが、
IE 5.5 では、検索結果の表示は正常なものの、クリックしたときにパス名が
文字化けして、うまくファイルを開くことができません。

そこで、両バージョンのIEでファイルが正常に開けるように、検索結果を
.namazurc の Replace コマンドで全体を " " で囲む等ということが可能
でしょうか？それとも、もっとよい方法が存在するのでしょうか？

よろしくお願いします。m(._.)m
0132131
垢版 |
2006/02/12(日) 19:57:31
>>131 です。 自己レス申し訳ないです。

再度、確認したら、自分の設定がおかしかったか、キャッシュが禍したのか原
因は不明でしたが、いずれのバージョンのIEでもまともに表示し、ファイルを
開くことができました。
確認したこと、.mknamazurc で lang=ja.SJIS、 mknmz -U オプション。

すれ汚し、申し訳ありませんでした。m(._.)m

0136名無しさん＠お腹いっぱい。
垢版 |
2006/03/01(水) 16:41:00
>>133
研究者連中、面白いものを作っても、
作って論文にしただけで満足して死蔵するケース多すぎ。

公開しようとするといろいろ面倒なのはわかるが、
なんとかならんものかのう。
0138名無しさん＠お腹いっぱい。
垢版 |
2006/03/01(水) 18:33:17
>133
http://www.spa.is.uec.ac.jp/~takita/CBNS/ を見てくれ。

…と言いたいところだが、電通大情報システム学専攻のネットワークが切れていて今は見れんようです。
復旧したら見てください。

一応、激しく汚いソース(NetBSD 1.6.2 からの差分)も置いてあります。
0139名無しさん＠お腹いっぱい。
垢版 |
2006/03/13(月) 15:38:49
はじめてNmazuに挑戦しまた
nknmzrc実行後
http://〜/namazu.cgiにアクセスするとブラウザが真っ白
・・・
どこで間違っているのでしょう。
ヒントください
OS　FreeBSD　portsから導入
ブラウザ　winXP　IE
0141名無しさん＠お腹いっぱい。
垢版 |
2006/03/14(火) 00:18:47
2006-03-12: Namazu 2.0.16 を公開

* セキュリティフィックスリリース
Directory traversal 問題を修正
* 空白を含むファイル名の文書に対応
* NTFS のアクセス権で読み込み許可がないものは処理をスキップするように変更
0142名無しさん＠お腹いっぱい。
垢版 |
2006/03/15(水) 06:23:14
>>139
インデックスが読み込めていないときにそうなった
まずnamazuで結果が出てくるか確認しろ
次にnamazurcの中身を確認しろ
0143名無しさん＠お腹いっぱい。
垢版 |
2006/03/15(水) 18:26:19
>>142
nknmzrc実行後、沢山ファイルが作成された
取り合えず、動作しなくてもいいから表示してほしい・・・

作成されたファイルの中身を見ようとしたら何も表示されない
もしかしてファイル名だけ作成された？
0144名無しさん＠お腹いっぱい。
垢版 |
2006/03/15(水) 18:45:35
まず"namazu (適当なキーワード)" で検索結果がでる？
出なければ~/.namazurcか/etc/namazurcでのインデックスのパスが違う
0146名無しさん＠お腹いっぱい。
垢版 |
2006/04/05(水) 12:56:41
Emacsでnamazu.elを使用しているのですが、
出力結果をutf-8にしたいのですが、どの辺をいじれば可能でしょうか
0148名無しさん＠お腹いっぱい。
垢版 |
2006/04/25(火) 09:19:38
なまずでサイズの小さく、検索の早く、漏れのないインデックスの作り方。

なまずにすべての作業を任せずに文字コード変換、Kakasiをあらかじめ
自分でやっておく。 フィルタも使わない。
自分で確実にテキストに変換できたことを確認してからなまずに渡す。

インデックスに登録しないような一語の単語や記号などをあらかじめ削除する。

これでOk>
0150名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 02:24:29
>>149
nkfの最新版(それ以前もたぶん)はUTF-8の文字コードを誤認する。
これをすべてNAMAZUに任せると当然、検索できないindexが作成される。
丹誠込めて念入りにindexを作ることが重要だ。ちゃんと変換できてるとか目で見て。
0152名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 05:50:57
ふつうにテキストで固定してindexを作成する。オプションの設定。
なまずは自動判別するからpdfでもhtmlでも中身がテキストなら
そうなるけどテキストに固定した方が早い。
0153名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 06:07:34
>>151
たとえば10000ファイルあったとしたら
構造、拡張子を保ったまますべてのファイルをEUCコードに変換する。
そしてまたすべてのファイルを分かち書きする(-wオプション)。
0154名無しさん＠お腹いっぱい。
垢版 |
2006/04/28(金) 16:43:24
UTF-8を誤認することは間違いないのだがどれがUTF-8かを見つけるのが苦労する。
0155名無しさん＠お腹いっぱい。
垢版 |
2006/05/03(水) 19:52:08
データだけ他サーバーに置くことは出来ますか？
あと複数のindexを検索するにはどうしたらいいですか。
0158名無しさん＠お腹いっぱい。
垢版 |
2006/05/06(土) 23:36:46
>>156
でも動作鈍いんですよね？
無料のとくつーにデータ全部おくことにします。
fc2にデータおいて広告なし無料cgi可のページから検索したかったんですけど。
0161名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 17:13:27
少し困っていることがあるので，教えてください．

Namazuのログで，検索ワードにヒットした文書ごとの
検索ワードの出現回数TFを出力できたりしますでしょうか？
ご教示お願いします．

また，タイトル<title>にその検索ワードが使われていたかどうか
などもログ出力できると助かるので，そういうことができるか
もお教えください．
0162名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 21:00:39
あげ
0163名無しさん＠お腹いっぱい。
垢版 |
2006/06/05(月) 11:05:16
age
0165名無しさん＠お腹いっぱい。
垢版 |
2006/07/25(火) 23:24:19
検索キーワードのログを見たいのですが、設定ファイルを
Logging on にするとどこにログが保存されているのでしょうか？
また、ログの保存場所を指定するにはどのようにしたらよいでしょうか？
0167名無しさん＠お腹いっぱい。
垢版 |
2006/07/26(水) 15:46:23
Estraier、NAMAZU、msearch　でデフォルトの設定で、
インデックスの作成時の負荷がかかる順に並べるとどうなりますか？
0169名無しさん＠お腹いっぱい。
垢版 |
2006/07/26(水) 20:30:41
namazuって重いんですね
0170名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 09:35:53
重い要因は
* Perlで書かれている
* File::Findによるディレクトリ走査
* File::MMagicによるコンテンツの種別確認
* DB書き込み速度がPerlのhashに依存
このへんかなあ。
0171名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 11:08:12
msearchもperlだよ。
NAMAZUよりmsearchのが軽いのかな？

HyperEstraier はよく知らんけど何で書かれてるの？
0174名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 15:41:28
>>172
何で爆笑？
0175名無しさん＠お腹いっぱい。
垢版 |
2006/07/28(金) 17:32:38
namazuって、検索結果を重要度が高い順に並べたりしてくれる
ような機能ってあるっけ？
0176名無しさん＠お腹いっぱい。
垢版 |
2006/07/29(土) 16:43:59
>>175
重要度は分からんが、ポイント機能ならあるぞ
0177名無しさん＠お腹いっぱい。
垢版 |
2006/07/31(月) 12:58:34
最近では、EstraierとNAMAZUどっちが人気？
0178名無しさん＠お腹いっぱい。
垢版 |
2006/08/22(火) 13:39:59
Ｎａｍａｚｕのようにインデクシングの際に形態素解析を用いている
検索エンジンと、その他、形態素解析を用いない検索エンジンとは
インデックス作成の時間以外でどのような違いがあるのでしょうか？
0180名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 13:38:59
namazuでＰＤＦファイルを検索し、概要だけであればhtmlで、
全文を見るのであれば、PDFで見るというふうにしたいのですが、
どうすればよいでしょうか？概要のhtmlは作ってあるのですが、ど
うすれば検索時にhtmlとPDFを選択できるのかなぁと思いまして。
よろしければ、お知恵をお貸しください。

0181名無しさん＠お腹いっぱい。
垢版 |
2006/08/27(日) 14:00:27
NMZ.result.* に概要のHTMLのURIを追加すればOK。
概要のHTMLのURIを${uri].htmlにして、その場所に概要のHTMLを格納するのが
楽そうだ。
0182名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 14:13:20
>181
参考にさせていただきます。ご回答ありがとうございました。
0183名無しさん＠お腹いっぱい。
垢版 |
2006/09/21(木) 16:53:43
NMZ.* ファイルの仕様
http://www.namazu.org/doc/nmz.html.ja

上記を読んでもよく分からなかったのですが、
結局検索エンジン (namazu.exe)はどういう手順で
検索クエリから目的の文書を探し出すの？
NMZ.i には単語情報はないんだよね？

１．まずNMZ.iiで検索文字列から算出したハッシュ値をキーにして
　　NMZ.iのレコード番号を引く
２．NMZ.i の該当レコード番号から文書IDを引っ張ってくる

文書IDと対象ファイルの対応表はどこにあるのかなぁ？（・〜・）ｳｰﾑ
0185名無しさん＠お腹いっぱい。
垢版 |
2006/09/21(木) 23:25:02
バージョン1.xのときはNMZ.f とNMZ.fi というファイルがあって
各ファイルの情報を記録していた。

2.xからは
NMZ.field.{subject,from,date,message-id,...}
NMZ.field.{subject,from,date,message-id,...}.i
の2つのファイルがその代わりをしている。
行番号=文書IDとなっている。
0186名無しさん＠お腹いっぱい。
垢版 |
2006/09/22(金) 08:26:08
NMZ.wが単語表で、NMZ.wiがそのインデックス(各単語の先頭のオフセット値が
入っている)。
NMZ.wはコード順にソートされているので、NMZ.wiとNMZ.wをバイナリサーチ
すれば該当するNMZ.wiのファイルの位置から単語IDが求まる。

まあ最悪mknmzとlibnamazu.cあたりをみればわかるよ。
0187名無しさん＠お腹いっぱい
垢版 |
2006/09/26(火) 09:15:59
Namazu(最新版)をWindows XPで使いたいのですが、カスタマイズを行う
場合は、バイナリではなく、ソースコードからインストールしなければ
ならないでしょうか？
0188名無しさん＠お腹いっぱい。
垢版 |
2006/09/27(水) 07:50:14
カスタマイズする内容によるが、普通いらない。
必要になるのはソースコードレベルで埋め込まれている出力を
いじるときぐらい。
それもほとんどはgettext化されてるので、ja.poだけいじって差し替えれば
済む話だし。
0195(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 05:27:21
インディックス作成時に読み込む文字種を正規表現で指定できますか?
記号は除外するとかです
0196名無しさん＠お腹いっぱい。
垢版 |
2006/10/08(日) 07:47:34
mknmz -K

文字列処理:
-E, --no-edge-symbol 単語の両端の記号は削除する
-G, --no-okurigana 送り仮名を削除する
-H, --no-hiragana 平仮名のみの単語は登録しない
-K, --no-symbol 記号をすべて削除する

あとはソース書き換えかな
0197(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 11:58:48
>>196
どうもありがとう
0198名無しさん＠お腹いっぱい。
垢版 |
2006/10/15(日) 10:14:17
NamazuをCGI(localhost)で利用しているのですが、検索結果と
して表示されたファイルが開けません。よろしければ、お教え
願えないでしょうか？

検索結果のファイルを選択
Forbidden
You don't have permission to access
/C|/a/b/c/d/f/soturon.html on this server.
------------------------------------------------------
Apache/2.0.55 (Win32) PHP/5.0.5 Server at localhost Port　80
という表示になります。

各種設定はNamazu2.014のインストーラのデフォルトです。
.namazurc の Replace で正しい URI に書き換えれば良いという話なのです
がどうにもうまくいかなくて。。。

索対象のファイルのpath
C:/a/b/c/d/1/ファイル
C:/a/b/c/d/2/ファイル
C:/a/b/c/d/3/ファイル
という様にファイルを格納しています。

そして、CGIはローカルホストで動かしているのですが、http://
以下はどのように指定すれば良いのでしょうか？






0199名無しさん＠お腹いっぱい。
垢版 |
2006/10/15(日) 11:42:00
httpd.conf に書いた
<Directory> ディレクティブ
Alias ディレクティブ
ぐらいは示さないとコメントのしようがないよ
0200名無しさん＠お腹いっぱい。
垢版 |
2006/10/15(日) 23:08:08
>>198

>>NamazuをCGI(localhost)で利用(win32)
多分だけど C|このせいだと思う。昔はまった。
<a harf=c|となってると見れないはず

ブラウザによるけど

lynx
では個別にルール指定できてC|/ C:と置換指定。
なんでもlynxが内部で指定置換してくれる。
だからオリジナルは弄ず。w3m あたりも平気

firefox,oprea,IE系は無理だった気が...
なんか慣行らしいけど|。GUIのブラウザだと無理?かも??

namazuの方がC|じゃなくてC:/と吐いてくれないと。パスを。昔
考えたのは適当にsed噛ますとかして置換ちゃえばとか思った
が...namazu -hで吐かせてるからsedでフィルタすれば...と

テキストブラウザで使えるしそのまま...圧縮したまま使えるか
ら。普通のブラウザだと圧縮したまま動かないんで...

公開しないし個人で使う分には書換ちゃっていいと思うけど、セ
キュリティ上よくないのかね?

cgi?どこで吐いてるのかわかんないけど|を/に変えるべく追って
弄らないといけないと思う。winの代表的な各種ブラウザで見た
いなら
0203名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 01:14:49
>198です。
インデックス作成のオプション指定に気をつけ、きちんとドキュメントルート
を確認の上、.namazurcのReplaceを設定したら無事にできました。
ありがとうございました。
0204名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 19:08:09
UNIX板ですが、話題がNamazuなので。。。
以下について、どなたかご教示願えませんか？

Windows XPでNamazuを利用しているのですが、これからPHP(5.0)
でNamazuを使うために、Namazuモジュール(php-namazu-2.3.1)
をインストールしたいと考えています。

調べた限りでは、現在はPECLもCVSも利用できない(Namazuモジュール)
ということでした。Windowsでこのモジュールをインストールするにはど
のような手順を踏めばよいのでしょうか？

それと、塚田卓也さんという方がNamazu関数をWindows版PHPで
も使えるように開発された、モジュール「php4_namazu-3.0.0PHP4.3.x
」があるそうですが、これは5.0でも使えたりするのでしょうか？

0205名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 20:55:13
なんでナマズってこんなに遅いの？
0208名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 23:34:51
>204
マルチよくない
ttp://www.namazu.org/pipermail/namazu-win32-users-ja/2006-October/001443.html

使えたりするかどうかは自分で試してみたの？
0209名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 23:49:19
いや、[PHP4---]というモジュール名から見るに、多分使えないだろう
なぁと思って、試してはいません。ただ、使えるか知っている方がいた
ら、その是非を教えて欲しいなぁと思いまして。
もう１つの、WindowsへのNamazuモジュールのインストールのほうは自分
でもそれなりに調べたりしましたが、どうも分からなかったもので。。。
0212名無しさん＠お腹いっぱい。
垢版 |
2006/11/13(月) 20:52:00
namazurcってmknmzしたときには適用されないんですか？
replace使いたいんですが…
0214名無しさん＠お腹いっぱい。
垢版 |
2006/12/22(金) 16:04:17
namazuの検索結果をEUC-JPで出力させているのですが、Shift_JISで書かれた
ファイルの内容がそのままShift_JISで出力されてしまうため、検索結果が文
字化けしてしまいます。何か設定が必要なんでしょうか。
0216名無しさん＠お腹いっぱい。
垢版 |
2006/12/26(火) 14:20:11
tp://www.ki.nu/software/namazu/tutorial/make.html#PERL_MODULEで
namazu 1.9.12 以降では Chasen2 にだけ対応している。
とありますが、kakasiは使用できないということでしょうか？
0217名無しさん＠お腹いっぱい。
垢版 |
2006/12/26(火) 15:07:33
検索結果にキーワードが最初にファイルの何行目に登場するか、の情報って取得できますか？
google検索エンジンみたいに、キーワードのヒットした前後の文章を結果一覧に出したいのですが・・・
新着レスの表示
レスを投稿する