X

全文検索エンジンNamazu ver2

1名無しさん＠お腹いっぱい。
垢版 |
2005/04/11(月) 01:31:01
全文検索エンジンNamazuについてアレコレ

http://www.namazu.org
119名無しさん＠お腹いっぱい。
垢版 |
2006/01/23(月) 03:56:11
大量のファイルを処理するにはindexサイズが大きくなりすぎないように
することが大切だぞ。
処理中になんどか更新するがとても時間が掛かってしまう
あとでマージせよ
2006/01/23(月) 10:27:28
>>118,119
ありがとうございます。インデックスをいくつかに分けて
作成する事にしました。インデックスのサイズが小さいと
時間の掛かり方も全然違いますね。
全部まとめてやるよりも早く終わりそうです。
121名無しさん＠お腹いっぱい。
垢版 |
2006/01/24(火) 13:27:51
動的ページ（DBから情報を取得するもの）を検索対象にするために、
wget + Namazu で実際に運用されている方はおられますか？

DBから取得した情報も全て静的ページに吐き出してからそれをインデックスするのか、
wgetで全部ダウンロードしてそれをインデックスするのかで悩んでいます。

後者の方が圧倒的にメンテナンスも構築も容易なのですが
実運用で使うに耐えられるものなのかが不安でして…。

宜しくお願いします。
2006/01/24(火) 13:30:44
>>121
> 後者の方が圧倒的にメンテナンスも構築も容易なのですが
> 実運用で使うに耐えられるものなのかが不安でして…。

と悩みはじめてすでに5年〜♪
123121
垢版 |
2006/01/24(火) 14:10:24
>>122

悩むんですよね…。
Namazuのためだけに静的ページ生成を行うというのはどうも。

Namazuだと、ドキュメントルート以下にあるファイルでも
Webに公開されていない（リンクされていない）ものも引っかかってしまうので、
そう考えると wget の方が理にかなってるんですよね。

＃メルマガなんかで直接URLを通知されるページは元も子も無いですが。。
124名無しさん＠お腹いっぱい。
垢版 |
2006/01/26(木) 05:06:02
>>120
最初は一度にまとめてやった方が速いと思うのだろうけど。
例えば5メガずつindexを書き出す場合、今のindexサイズが200メガだったら
後50メガ追加するのに約1ギガの書き込み、消去を行うことになる。
これはとても大変だ。
125名無しさん＠お腹いっぱい。
垢版 |
2006/01/26(木) 05:08:29
ただディスクアクセスだけではない。
indexサイズがでかければメモリ、cpuの処理も時間が掛かる。
2006/01/30(月) 18:47:40
ｷﾀ━━━(ﾟ∀ﾟ)━━━!!!!
2006/01/30(月) 21:45:06
2006-01-29: Namazu 2.0.15 を公開

ISO-8859-* に関する文書の間違いを訂正
RedHat ソフトウェア namazu.spec の不必要なパッチは削除
File::MMagic 1.25 を同梱
MeCab の正式対応
mknmz に -b 及び --use-mecab オプションを追加
mknmz および namazu に --norc オプションを追加
mknmz に --decode-base64 オプションを追加
新しいフィルタ(Gnumeric, Koffice, Mainman/Pipermail, Zip, Visio)を追加
mknmzrc に MECAB, DENY_DDN を追加
ファイル名がDDN である時にスキップ。
日付フィールドによるソート機能の追加
nmzcat, nmzegrep コマンドの追加
フィルタの Windows 対応
(msword.pl, excel.pl, powerpoint.pl, postscript.pl, 等...)
OLE コントロールフィルタ更新
QUERY_STRING の区切りに';' 使用可能
Perl版テストプログラム(pltests) を追加
各種バグフィックス
2006/01/31(火) 01:30:36
cygwin 1.15.19-4でインスコ成功。
2006/01/31(火) 05:28:51
【IT】オープンソース全文検索システム「Namazu」、1年9カ月ぶりの新版 [1/30]
http://news18.2ch.net/test/read.cgi/bizplus/1138613562/
2006/02/05(日) 11:23:19
そろそろ入れ換えるかなぁ
それとも別のに浮気するか...
2006/02/11(土) 21:10:15
Debian Sarge で namazu 2.0.14 を使っているのですが、教えてください。

mknmz を -U オプションを付けて、Samba 内のインデックスを作成しているの
ですが、職場のパソコンのIEのバージョンにより、動作が異なります。

IE 6.0 では、検索結果の表示、クリックした時にファイルが開けるのですが、
IE 5.5 では、検索結果の表示は正常なものの、クリックしたときにパス名が
文字化けして、うまくファイルを開くことができません。

そこで、両バージョンのIEでファイルが正常に開けるように、検索結果を
.namazurc の Replace コマンドで全体を " " で囲む等ということが可能
でしょうか？それとも、もっとよい方法が存在するのでしょうか？

よろしくお願いします。m(._.)m
132131
垢版 |
2006/02/12(日) 19:57:31
>>131 です。 自己レス申し訳ないです。

再度、確認したら、自分の設定がおかしかったか、キャッシュが禍したのか原
因は不明でしたが、いずれのバージョンのIEでもまともに表示し、ファイルを
開くことができました。
確認したこと、.mknamazurc で lang=ja.SJIS、 mknmz -U オプション。

すれ汚し、申し訳ありませんでした。m(._.)m

2006/03/01(水) 03:10:58
な〜
「Namazu を使った検索ファイルシステム」
http://www.ipl.t.u-tokyo.ac.jp/~kaz/ptt/arc/313/313.html

って公開されてないのかの〜
2006/03/01(水) 16:00:46
>>133
作者に聞いてみたら？

Windows は Google、MS、Yahoo! 製があるけど
UNIX にはないよね？
2006/03/01(水) 16:39:35
>>134
たぶん、なにか勘違いしてると思う。
2006/03/01(水) 16:41:00
>>133
研究者連中、面白いものを作っても、
作って論文にしただけで満足して死蔵するケース多すぎ。

公開しようとするといろいろ面倒なのはわかるが、
なんとかならんものかのう。
2006/03/01(水) 16:50:38
>>136
> 公開しようとするといろいろ面倒
を136がなんとかしてくれると。

2006/03/01(水) 18:33:17
>133
http://www.spa.is.uec.ac.jp/~takita/CBNS/ を見てくれ。

…と言いたいところだが、電通大情報システム学専攻のネットワークが切れていて今は見れんようです。
復旧したら見てください。

一応、激しく汚いソース(NetBSD 1.6.2 からの差分)も置いてあります。
2006/03/13(月) 15:38:49
はじめてNmazuに挑戦しまた
nknmzrc実行後
http://〜/namazu.cgiにアクセスするとブラウザが真っ白
・・・
どこで間違っているのでしょう。
ヒントください
OS　FreeBSD　portsから導入
ブラウザ　winXP　IE
2006/03/13(月) 16:40:55
> ヒントください
こっちのセリフだ
2006/03/14(火) 00:18:47
2006-03-12: Namazu 2.0.16 を公開

* セキュリティフィックスリリース
Directory traversal 問題を修正
* 空白を含むファイル名の文書に対応
* NTFS のアクセス権で読み込み許可がないものは処理をスキップするように変更
2006/03/15(水) 06:23:14
>>139
インデックスが読み込めていないときにそうなった
まずnamazuで結果が出てくるか確認しろ
次にnamazurcの中身を確認しろ
2006/03/15(水) 18:26:19
>>142
nknmzrc実行後、沢山ファイルが作成された
取り合えず、動作しなくてもいいから表示してほしい・・・

作成されたファイルの中身を見ようとしたら何も表示されない
もしかしてファイル名だけ作成された？
2006/03/15(水) 18:45:35
まず"namazu (適当なキーワード)" で検索結果がでる？
出なければ~/.namazurcか/etc/namazurcでのインデックスのパスが違う
2006/03/15(水) 20:23:56
ports@FreeBSDのnamazu2が更新そぞろなも。
2006/04/05(水) 12:56:41
Emacsでnamazu.elを使用しているのですが、
出力結果をutf-8にしたいのですが、どの辺をいじれば可能でしょうか
2006/04/05(水) 23:26:44
奈辺
148名無しさん＠お腹いっぱい。
垢版 |
2006/04/25(火) 09:19:38
なまずでサイズの小さく、検索の早く、漏れのないインデックスの作り方。

なまずにすべての作業を任せずに文字コード変換、Kakasiをあらかじめ
自分でやっておく。 フィルタも使わない。
自分で確実にテキストに変換できたことを確認してからなまずに渡す。

インデックスに登録しないような一語の単語や記号などをあらかじめ削除する。

これでOk>
2006/04/27(木) 01:07:07
>>148
専用のスクリプトを用意して cron とかで作成させると
効果的なんだろうか？
150名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 02:24:29
>>149
nkfの最新版(それ以前もたぶん)はUTF-8の文字コードを誤認する。
これをすべてNAMAZUに任せると当然、検索できないindexが作成される。
丹誠込めて念入りにindexを作ることが重要だ。ちゃんと変換できてるとか目で見て。
2006/04/27(木) 05:32:59
>>150
ああ、文字コードはそうかもね。
で、どうやって >>148 みたいなフィルタの結果をなまずに渡すの？

$ フィルタスクリプト | mknmz とか？
152名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 05:50:57
ふつうにテキストで固定してindexを作成する。オプションの設定。
なまずは自動判別するからpdfでもhtmlでも中身がテキストなら
そうなるけどテキストに固定した方が早い。
153名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 06:07:34
>>151
たとえば10000ファイルあったとしたら
構造、拡張子を保ったまますべてのファイルをEUCコードに変換する。
そしてまたすべてのファイルを分かち書きする(-wオプション)。
154名無しさん＠お腹いっぱい。
垢版 |
2006/04/28(金) 16:43:24
UTF-8を誤認することは間違いないのだがどれがUTF-8かを見つけるのが苦労する。
155名無しさん＠お腹いっぱい。
垢版 |
2006/05/03(水) 19:52:08
データだけ他サーバーに置くことは出来ますか？
あと複数のindexを検索するにはどうしたらいいですか。
2006/05/06(土) 17:54:36
データだけ他サーバー =>できる。
複数のindexを検索する =>マニュアル夜目。
2006/05/06(土) 19:04:08
マニュアル夜目 =>断る。
158名無しさん＠お腹いっぱい。
垢版 |
2006/05/06(土) 23:36:46
>>156
でも動作鈍いんですよね？
無料のとくつーにデータ全部おくことにします。
fc2にデータおいて広告なし無料cgi可のページから検索したかったんですけど。
2006/05/07(日) 18:51:41
nfsdとか動いてないとダメなんじゃないのか？
2006/05/08(月) 08:11:15
いや、『データ』だけ他のサーバにおくのはかんたんでしょ。読み出せないけど。
161名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 17:13:27
少し困っていることがあるので，教えてください．

Namazuのログで，検索ワードにヒットした文書ごとの
検索ワードの出現回数TFを出力できたりしますでしょうか？
ご教示お願いします．

また，タイトル<title>にその検索ワードが使われていたかどうか
などもログ出力できると助かるので，そういうことができるか
もお教えください．
162名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 21:00:39
あげ
163名無しさん＠お腹いっぱい。
垢版 |
2006/06/05(月) 11:05:16
age
2006/06/07(水) 23:08:46
ユカコ☆スレに遊びにこいよ！

http://travel2.2ch.net/test/read.cgi/kyoto/1148668530/l50
165名無しさん＠お腹いっぱい。
垢版 |
2006/07/25(火) 23:24:19
検索キーワードのログを見たいのですが、設定ファイルを
Logging on にするとどこにログが保存されているのでしょうか？
また、ログの保存場所を指定するにはどのようにしたらよいでしょうか？
2006/07/26(水) 08:23:04
NMZ.slogに保存されます。場所はたぶん変えられないかな。
167名無しさん＠お腹いっぱい。
垢版 |
2006/07/26(水) 15:46:23
Estraier、NAMAZU、msearch　でデフォルトの設定で、
インデックスの作成時の負荷がかかる順に並べるとどうなりますか？
2006/07/26(水) 16:30:55
msearch は知らないけど、
HyperEstraier は Namazu より軽いと思う。
169名無しさん＠お腹いっぱい。
垢版 |
2006/07/26(水) 20:30:41
namazuって重いんですね
2006/07/27(木) 09:35:53
重い要因は
* Perlで書かれている
* File::Findによるディレクトリ走査
* File::MMagicによるコンテンツの種別確認
* DB書き込み速度がPerlのhashに依存
このへんかなあ。
171名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 11:08:12
msearchもperlだよ。
NAMAZUよりmsearchのが軽いのかな？

HyperEstraier はよく知らんけど何で書かれてるの？
2006/07/27(木) 12:20:30
msearchって、仕組みを知って爆笑してしまったぜ。
2006/07/27(木) 13:11:58
中でハムスターが走ってるんだよな
174名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 15:41:28
>>172
何で爆笑？
175名無しさん＠お腹いっぱい。
垢版 |
2006/07/28(金) 17:32:38
namazuって、検索結果を重要度が高い順に並べたりしてくれる
ような機能ってあるっけ？
176名無しさん＠お腹いっぱい。
垢版 |
2006/07/29(土) 16:43:59
>>175
重要度は分からんが、ポイント機能ならあるぞ
177名無しさん＠お腹いっぱい。
垢版 |
2006/07/31(月) 12:58:34
最近では、EstraierとNAMAZUどっちが人気？
178名無しさん＠お腹いっぱい。
垢版 |
2006/08/22(火) 13:39:59
Ｎａｍａｚｕのようにインデクシングの際に形態素解析を用いている
検索エンジンと、その他、形態素解析を用いない検索エンジンとは
インデックス作成の時間以外でどのような違いがあるのでしょうか？
2006/08/23(水) 07:37:56
>>177 Google Trendsでも使ってしらべれ。
>>179 検索時の精度。すくなくとも再現率(recall)はn-gramのほうが高い。
180名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 13:38:59
namazuでＰＤＦファイルを検索し、概要だけであればhtmlで、
全文を見るのであれば、PDFで見るというふうにしたいのですが、
どうすればよいでしょうか？概要のhtmlは作ってあるのですが、ど
うすれば検索時にhtmlとPDFを選択できるのかなぁと思いまして。
よろしければ、お知恵をお貸しください。

2006/08/27(日) 14:00:27
NMZ.result.* に概要のHTMLのURIを追加すればOK。
概要のHTMLのURIを${uri].htmlにして、その場所に概要のHTMLを格納するのが
楽そうだ。
182名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 14:13:20
>181
参考にさせていただきます。ご回答ありがとうございました。
183名無しさん＠お腹いっぱい。
垢版 |
2006/09/21(木) 16:53:43
NMZ.* ファイルの仕様
http://www.namazu.org/doc/nmz.html.ja

上記を読んでもよく分からなかったのですが、
結局検索エンジン (namazu.exe)はどういう手順で
検索クエリから目的の文書を探し出すの？
NMZ.i には単語情報はないんだよね？

１．まずNMZ.iiで検索文字列から算出したハッシュ値をキーにして
　　NMZ.iのレコード番号を引く
２．NMZ.i の該当レコード番号から文書IDを引っ張ってくる

文書IDと対象ファイルの対応表はどこにあるのかなぁ？（・〜・）ｳｰﾑ
2006/09/21(木) 18:34:21
お〜、それ、わたしも首をひねったよ。
2006/09/21(木) 23:25:02
バージョン1.xのときはNMZ.f とNMZ.fi というファイルがあって
各ファイルの情報を記録していた。

2.xからは
NMZ.field.{subject,from,date,message-id,...}
NMZ.field.{subject,from,date,message-id,...}.i
の2つのファイルがその代わりをしている。
行番号=文書IDとなっている。
2006/09/22(金) 08:26:08
NMZ.wが単語表で、NMZ.wiがそのインデックス(各単語の先頭のオフセット値が
入っている)。
NMZ.wはコード順にソートされているので、NMZ.wiとNMZ.wをバイナリサーチ
すれば該当するNMZ.wiのファイルの位置から単語IDが求まる。

まあ最悪mknmzとlibnamazu.cあたりをみればわかるよ。
187名無しさん＠お腹いっぱい
垢版 |
2006/09/26(火) 09:15:59
Namazu(最新版)をWindows XPで使いたいのですが、カスタマイズを行う
場合は、バイナリではなく、ソースコードからインストールしなければ
ならないでしょうか？
2006/09/27(水) 07:50:14
カスタマイズする内容によるが、普通いらない。
必要になるのはソースコードレベルで埋め込まれている出力を
いじるときぐらい。
それもほとんどはgettext化されてるので、ja.poだけいじって差し替えれば
済む話だし。
2006/10/03(火) 13:05:12
"ペイジ" は勘弁して欲しい。直したけど。
2006/10/04(水) 00:10:39
>>189
なんでページにしないんだろうな
2006/10/04(水) 02:28:57
ぱげ
2006/10/04(水) 05:05:52
三四郎ファンなんだろ
2006/10/04(水) 10:48:43
ペイイチ？
2006/10/04(水) 16:48:59
N-gram戦争中ｗ
全文検索ユーティリティ統一スレッド　part3
ttp://pc8.2ch.net/test/read.cgi/bsoft/1120649196/
195(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 05:27:21
インディックス作成時に読み込む文字種を正規表現で指定できますか?
記号は除外するとかです
2006/10/08(日) 07:47:34
mknmz -K

文字列処理:
-E, --no-edge-symbol 単語の両端の記号は削除する
-G, --no-okurigana 送り仮名を削除する
-H, --no-hiragana 平仮名のみの単語は登録しない
-K, --no-symbol 記号をすべて削除する

あとはソース書き換えかな
197(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 11:58:48
>>196
どうもありがとう
198名無しさん＠お腹いっぱい。
垢版 |
2006/10/15(日) 10:14:17
NamazuをCGI(localhost)で利用しているのですが、検索結果と
して表示されたファイルが開けません。よろしければ、お教え
願えないでしょうか？

検索結果のファイルを選択
Forbidden
You don't have permission to access
/C|/a/b/c/d/f/soturon.html on this server.
------------------------------------------------------
Apache/2.0.55 (Win32) PHP/5.0.5 Server at localhost Port　80
という表示になります。

各種設定はNamazu2.014のインストーラのデフォルトです。
.namazurc の Replace で正しい URI に書き換えれば良いという話なのです
がどうにもうまくいかなくて。。。

索対象のファイルのpath
C:/a/b/c/d/1/ファイル
C:/a/b/c/d/2/ファイル
C:/a/b/c/d/3/ファイル
という様にファイルを格納しています。

そして、CGIはローカルホストで動かしているのですが、http://
以下はどのように指定すれば良いのでしょうか？






2006/10/15(日) 11:42:00
httpd.conf に書いた
<Directory> ディレクティブ
Alias ディレクティブ
ぐらいは示さないとコメントのしようがないよ
2006/10/15(日) 23:08:08
>>198

>>NamazuをCGI(localhost)で利用(win32)
多分だけど C|このせいだと思う。昔はまった。
<a harf=c|となってると見れないはず

ブラウザによるけど

lynx
では個別にルール指定できてC|/ C:と置換指定。
なんでもlynxが内部で指定置換してくれる。
だからオリジナルは弄ず。w3m あたりも平気

firefox,oprea,IE系は無理だった気が...
なんか慣行らしいけど|。GUIのブラウザだと無理?かも??

namazuの方がC|じゃなくてC:/と吐いてくれないと。パスを。昔
考えたのは適当にsed噛ますとかして置換ちゃえばとか思った
が...namazu -hで吐かせてるからsedでフィルタすれば...と

テキストブラウザで使えるしそのまま...圧縮したまま使えるか
ら。普通のブラウザだと圧縮したまま動かないんで...

公開しないし個人で使う分には書換ちゃっていいと思うけど、セ
キュリティ上よくないのかね?

cgi?どこで吐いてるのかわかんないけど|を/に変えるべく追って
弄らないといけないと思う。winの代表的な各種ブラウザで見た
いなら
2006/10/17(火) 15:40:16
>そして、CGIはローカルホストで動かしているのですが、http://
設定を晒してくれ
2006/10/17(火) 21:35:23
「Replace http://localhost/C|/ file:」

にしとけ
203名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 01:14:49
>198です。
インデックス作成のオプション指定に気をつけ、きちんとドキュメントルート
を確認の上、.namazurcのReplaceを設定したら無事にできました。
ありがとうございました。
204名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 19:08:09
UNIX板ですが、話題がNamazuなので。。。
以下について、どなたかご教示願えませんか？

Windows XPでNamazuを利用しているのですが、これからPHP(5.0)
でNamazuを使うために、Namazuモジュール(php-namazu-2.3.1)
をインストールしたいと考えています。

調べた限りでは、現在はPECLもCVSも利用できない(Namazuモジュール)
ということでした。Windowsでこのモジュールをインストールするにはど
のような手順を踏めばよいのでしょうか？

それと、塚田卓也さんという方がNamazu関数をWindows版PHPで
も使えるように開発された、モジュール「php4_namazu-3.0.0PHP4.3.x
」があるそうですが、これは5.0でも使えたりするのでしょうか？

205名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 20:55:13
なんでナマズってこんなに遅いの？
2006/10/18(水) 21:13:56
>>205
何に比べて？
2006/10/18(水) 23:11:06
バンドウイルカ
2006/10/18(水) 23:34:51
>204
マルチよくない
ttp://www.namazu.org/pipermail/namazu-win32-users-ja/2006-October/001443.html

使えたりするかどうかは自分で試してみたの？
209名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 23:49:19
いや、[PHP4---]というモジュール名から見るに、多分使えないだろう
なぁと思って、試してはいません。ただ、使えるか知っている方がいた
ら、その是非を教えて欲しいなぁと思いまして。
もう１つの、WindowsへのNamazuモジュールのインストールのほうは自分
でもそれなりに調べたりしましたが、どうも分からなかったもので。。。
2006/10/19(木) 22:20:26
使えないと思うならPHPやめてPerlにしておけ
2006/10/20(金) 03:49:00
使えない。
はい、この話題は終了。
212名無しさん＠お腹いっぱい。
垢版 |
2006/11/13(月) 20:52:00
namazurcってmknmzしたときには適用されないんですか？
replace使いたいんですが…
2006/11/13(月) 21:31:48
--replace というオプションがある
ttp://www.namazu.org/doc/tutorial.html#run-mknmz
214名無しさん＠お腹いっぱい。
垢版 |
2006/12/22(金) 16:04:17
namazuの検索結果をEUC-JPで出力させているのですが、Shift_JISで書かれた
ファイルの内容がそのままShift_JISで出力されてしまうため、検索結果が文
字化けしてしまいます。何か設定が必要なんでしょうか。
2006/12/24(日) 22:02:54
>>214
必要
2006/12/26(火) 14:20:11
tp://www.ki.nu/software/namazu/tutorial/make.html#PERL_MODULEで
namazu 1.9.12 以降では Chasen2 にだけ対応している。
とありますが、kakasiは使用できないということでしょうか？
2006/12/26(火) 15:07:33
検索結果にキーワードが最初にファイルの何行目に登場するか、の情報って取得できますか？
google検索エンジンみたいに、キーワードのヒットした前後の文章を結果一覧に出したいのですが・・・
2006/12/27(水) 09:38:55
>>216
そんな古い情報参照しないでよ...
http://www.namazu.org/doc/tutorial.html#prep-make

>>217
namazu.cgi単独では無理。コマンドラインならnmzgrepというのがあるけど、
あれは単に検索結果に基づいてあとでgrepしているだけ。
libnmz使って同等のことをやるか、Hyper Estraierでも使ってみるのが吉。
新着レスの表示
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況