全文検索エンジンNamazu ver2

1名無しさん＠お腹いっぱい。
垢版 |
2005/04/11(月) 01:31:01
全文検索エンジンNamazuについてアレコレ

http://www.namazu.org
2005/12/08(木) 02:18:24
i Adios Amigos !
2005/12/09(金) 12:44:41
Namazuで動的ページに対してインデックスを作ることはできますか？

DBから取得した情報をHTMLで出力するPHPプログラムがあるとして、
そのHTMLを検索対象にしたい場合が結構でてくると思うんですが、
やっぱりHTMLファイルを生成するしかないんですかね？

wget 等で一度プログラムをたたいてその結果をインデックスすれば
いけないこともないと思うんですが…。
そのようなNamazuモジュールや設定があればご教示いただけると助かります。
2005/12/09(金) 15:47:21
>>99
Namazuじゃないけど、mod_estraierどうよ。
10199
垢版 |
2005/12/09(金) 18:22:14
>>100

そんなモジュールがあったんですね。
参考になります。

ただやっぱりNamazu系のフリーの全文検索ツールじゃないときついですね…
2005/12/09(金) 20:19:13
つか、mod_estraierもHyper Estraierもフリーだよ。
2005/12/10(土) 00:16:49
やっぱりHyper Estraierに誘導するケースが増えてきてるねえ。
まあしょうがないかな。
104101
垢版 |
2005/12/12(月) 15:46:05
>>102,103

言葉足らずですんません。

mod_estraier はキャッシュとして動く感じだと思うので
ちょっと想定の動作とは異なる感じがしました。

Namazuを使うのはほぼ決定なんですが、
動的ページの検索がHyper Estraierでしかできないのであれば
その方向でも考えた方がよさそうですね。
2005/12/12(月) 23:02:18
>>104
キャッシュをインデックス対象にするのであれば
apacheでproxyを立てて
mknmzで --replace=apachecache::replacecode
としてできるかも
106名人
垢版 |
2005/12/18(日) 16:22:25
インディックスの作成の名人ですがどなたか勝負しましょう｡
どこかサイトをいってください｡
そしてインディックスの小ささと､単語のヒット率で勝負です｡
107名人
垢版 |
2005/12/18(日) 16:23:32
工夫の余地の大きい日本語のサイトにしましょう｡
108名人
垢版 |
2005/12/19(月) 09:05:34
前処理をよく行っておくことが重要です
2005/12/19(月) 09:09:49
名人殿。なにゆえ「。」が半角なのでつか。
110名無しさん＠お腹いっぱい。
垢版 |
2005/12/19(月) 16:27:59
>>109
全角にしました。

誰も挑戦者はいないようなのでインディックスにしたいサイトが
あったら名人が作ってあげます。
小さすぎても大きすぎても駄目。ファイル数が五千から五万くらいのならいいよ。
111　
垢版 |
2006/01/04(水) 18:31:15
2.0.15RC1 テストに参加しる!!
2006/01/11(水) 18:10:18
ウェブ上のバグ報告システムなら気軽に書けるし
仮にメール欄があっても捨てアドなりなんなりで良いけど
メールで ML にバグ報告は色々と敷居が高いよぅ

…と保守がてら言ってみるテスト。
2006/01/11(水) 19:56:47
ファイルの添付も簡単だし、ハードコピーも貼れるし。
（namazu.cgiとかWindows上のエラーダイアログくらいしか出番はないかもしれんが)

Wikiがあるならドキュメントの保守も簡単だし、TracのWiki自体も差分や変更履歴が残るしね。

と言ってみる。
2006/01/11(水) 22:11:11
(´-`).｡oO(メールじゃないと報告者減る ってのは正直感覚ずれてる気がする)
115名無しさん＠お腹いっぱい。
垢版 |
2006/01/16(月) 10:23:25
現在phpから動的にページを生成して出力しているのですが、
このPHPから出来上がるページをnamazuで検索したいと思っています。
どのような手法がありますでしょうか？
2006/01/16(月) 20:04:50
>>115
一番いいのは、その PHP のページががキャッシュを書き出す方法だけど
Proxy 経由でキャッシュを取るか、無限ループに気をつけて wget するかじゃないかな。
2006/01/22(日) 14:28:27
ファイル数が多く時間がかかるので
インデックスの作成を何日かに分けてやりたいんですが
どうすればいいでしょうか？
途中から再開する方法を知りたいです
118名無しさん＠お腹いっぱい。
垢版 |
2006/01/23(月) 03:53:30
>>117
ファイル一覧を作ってから5000個ずつ処理するのがよいぞ
119名無しさん＠お腹いっぱい。
垢版 |
2006/01/23(月) 03:56:11
大量のファイルを処理するにはindexサイズが大きくなりすぎないように
することが大切だぞ。
処理中になんどか更新するがとても時間が掛かってしまう
あとでマージせよ
2006/01/23(月) 10:27:28
>>118,119
ありがとうございます。インデックスをいくつかに分けて
作成する事にしました。インデックスのサイズが小さいと
時間の掛かり方も全然違いますね。
全部まとめてやるよりも早く終わりそうです。
121名無しさん＠お腹いっぱい。
垢版 |
2006/01/24(火) 13:27:51
動的ページ（DBから情報を取得するもの）を検索対象にするために、
wget + Namazu で実際に運用されている方はおられますか？

DBから取得した情報も全て静的ページに吐き出してからそれをインデックスするのか、
wgetで全部ダウンロードしてそれをインデックスするのかで悩んでいます。

後者の方が圧倒的にメンテナンスも構築も容易なのですが
実運用で使うに耐えられるものなのかが不安でして…。

宜しくお願いします。
2006/01/24(火) 13:30:44
>>121
> 後者の方が圧倒的にメンテナンスも構築も容易なのですが
> 実運用で使うに耐えられるものなのかが不安でして…。

と悩みはじめてすでに5年〜♪
123121
垢版 |
2006/01/24(火) 14:10:24
>>122

悩むんですよね…。
Namazuのためだけに静的ページ生成を行うというのはどうも。

Namazuだと、ドキュメントルート以下にあるファイルでも
Webに公開されていない（リンクされていない）ものも引っかかってしまうので、
そう考えると wget の方が理にかなってるんですよね。

＃メルマガなんかで直接URLを通知されるページは元も子も無いですが。。
124名無しさん＠お腹いっぱい。
垢版 |
2006/01/26(木) 05:06:02
>>120
最初は一度にまとめてやった方が速いと思うのだろうけど。
例えば5メガずつindexを書き出す場合、今のindexサイズが200メガだったら
後50メガ追加するのに約1ギガの書き込み、消去を行うことになる。
これはとても大変だ。
125名無しさん＠お腹いっぱい。
垢版 |
2006/01/26(木) 05:08:29
ただディスクアクセスだけではない。
indexサイズがでかければメモリ、cpuの処理も時間が掛かる。
2006/01/30(月) 18:47:40
ｷﾀ━━━(ﾟ∀ﾟ)━━━!!!!
2006/01/30(月) 21:45:06
2006-01-29: Namazu 2.0.15 を公開

ISO-8859-* に関する文書の間違いを訂正
RedHat ソフトウェア namazu.spec の不必要なパッチは削除
File::MMagic 1.25 を同梱
MeCab の正式対応
mknmz に -b 及び --use-mecab オプションを追加
mknmz および namazu に --norc オプションを追加
mknmz に --decode-base64 オプションを追加
新しいフィルタ(Gnumeric, Koffice, Mainman/Pipermail, Zip, Visio)を追加
mknmzrc に MECAB, DENY_DDN を追加
ファイル名がDDN である時にスキップ。
日付フィールドによるソート機能の追加
nmzcat, nmzegrep コマンドの追加
フィルタの Windows 対応
(msword.pl, excel.pl, powerpoint.pl, postscript.pl, 等...)
OLE コントロールフィルタ更新
QUERY_STRING の区切りに';' 使用可能
Perl版テストプログラム(pltests) を追加
各種バグフィックス
2006/01/31(火) 01:30:36
cygwin 1.15.19-4でインスコ成功。
2006/01/31(火) 05:28:51
【IT】オープンソース全文検索システム「Namazu」、1年9カ月ぶりの新版 [1/30]
http://news18.2ch.net/test/read.cgi/bizplus/1138613562/
2006/02/05(日) 11:23:19
そろそろ入れ換えるかなぁ
それとも別のに浮気するか...
2006/02/11(土) 21:10:15
Debian Sarge で namazu 2.0.14 を使っているのですが、教えてください。

mknmz を -U オプションを付けて、Samba 内のインデックスを作成しているの
ですが、職場のパソコンのIEのバージョンにより、動作が異なります。

IE 6.0 では、検索結果の表示、クリックした時にファイルが開けるのですが、
IE 5.5 では、検索結果の表示は正常なものの、クリックしたときにパス名が
文字化けして、うまくファイルを開くことができません。

そこで、両バージョンのIEでファイルが正常に開けるように、検索結果を
.namazurc の Replace コマンドで全体を " " で囲む等ということが可能
でしょうか？それとも、もっとよい方法が存在するのでしょうか？

よろしくお願いします。m(._.)m
132131
垢版 |
2006/02/12(日) 19:57:31
>>131 です。 自己レス申し訳ないです。

再度、確認したら、自分の設定がおかしかったか、キャッシュが禍したのか原
因は不明でしたが、いずれのバージョンのIEでもまともに表示し、ファイルを
開くことができました。
確認したこと、.mknamazurc で lang=ja.SJIS、 mknmz -U オプション。

すれ汚し、申し訳ありませんでした。m(._.)m

2006/03/01(水) 03:10:58
な〜
「Namazu を使った検索ファイルシステム」
http://www.ipl.t.u-tokyo.ac.jp/~kaz/ptt/arc/313/313.html

って公開されてないのかの〜
2006/03/01(水) 16:00:46
>>133
作者に聞いてみたら？

Windows は Google、MS、Yahoo! 製があるけど
UNIX にはないよね？
2006/03/01(水) 16:39:35
>>134
たぶん、なにか勘違いしてると思う。
2006/03/01(水) 16:41:00
>>133
研究者連中、面白いものを作っても、
作って論文にしただけで満足して死蔵するケース多すぎ。

公開しようとするといろいろ面倒なのはわかるが、
なんとかならんものかのう。
2006/03/01(水) 16:50:38
>>136
> 公開しようとするといろいろ面倒
を136がなんとかしてくれると。

2006/03/01(水) 18:33:17
>133
http://www.spa.is.uec.ac.jp/~takita/CBNS/ を見てくれ。

…と言いたいところだが、電通大情報システム学専攻のネットワークが切れていて今は見れんようです。
復旧したら見てください。

一応、激しく汚いソース(NetBSD 1.6.2 からの差分)も置いてあります。
2006/03/13(月) 15:38:49
はじめてNmazuに挑戦しまた
nknmzrc実行後
http://〜/namazu.cgiにアクセスするとブラウザが真っ白
・・・
どこで間違っているのでしょう。
ヒントください
OS　FreeBSD　portsから導入
ブラウザ　winXP　IE
2006/03/13(月) 16:40:55
> ヒントください
こっちのセリフだ
2006/03/14(火) 00:18:47
2006-03-12: Namazu 2.0.16 を公開

* セキュリティフィックスリリース
Directory traversal 問題を修正
* 空白を含むファイル名の文書に対応
* NTFS のアクセス権で読み込み許可がないものは処理をスキップするように変更
2006/03/15(水) 06:23:14
>>139
インデックスが読み込めていないときにそうなった
まずnamazuで結果が出てくるか確認しろ
次にnamazurcの中身を確認しろ
2006/03/15(水) 18:26:19
>>142
nknmzrc実行後、沢山ファイルが作成された
取り合えず、動作しなくてもいいから表示してほしい・・・

作成されたファイルの中身を見ようとしたら何も表示されない
もしかしてファイル名だけ作成された？
2006/03/15(水) 18:45:35
まず"namazu (適当なキーワード)" で検索結果がでる？
出なければ~/.namazurcか/etc/namazurcでのインデックスのパスが違う
2006/03/15(水) 20:23:56
ports@FreeBSDのnamazu2が更新そぞろなも。
2006/04/05(水) 12:56:41
Emacsでnamazu.elを使用しているのですが、
出力結果をutf-8にしたいのですが、どの辺をいじれば可能でしょうか
2006/04/05(水) 23:26:44
奈辺
148名無しさん＠お腹いっぱい。
垢版 |
2006/04/25(火) 09:19:38
なまずでサイズの小さく、検索の早く、漏れのないインデックスの作り方。

なまずにすべての作業を任せずに文字コード変換、Kakasiをあらかじめ
自分でやっておく。 フィルタも使わない。
自分で確実にテキストに変換できたことを確認してからなまずに渡す。

インデックスに登録しないような一語の単語や記号などをあらかじめ削除する。

これでOk>
2006/04/27(木) 01:07:07
>>148
専用のスクリプトを用意して cron とかで作成させると
効果的なんだろうか？
150名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 02:24:29
>>149
nkfの最新版(それ以前もたぶん)はUTF-8の文字コードを誤認する。
これをすべてNAMAZUに任せると当然、検索できないindexが作成される。
丹誠込めて念入りにindexを作ることが重要だ。ちゃんと変換できてるとか目で見て。
2006/04/27(木) 05:32:59
>>150
ああ、文字コードはそうかもね。
で、どうやって >>148 みたいなフィルタの結果をなまずに渡すの？

$ フィルタスクリプト | mknmz とか？
152名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 05:50:57
ふつうにテキストで固定してindexを作成する。オプションの設定。
なまずは自動判別するからpdfでもhtmlでも中身がテキストなら
そうなるけどテキストに固定した方が早い。
153名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 06:07:34
>>151
たとえば10000ファイルあったとしたら
構造、拡張子を保ったまますべてのファイルをEUCコードに変換する。
そしてまたすべてのファイルを分かち書きする(-wオプション)。
154名無しさん＠お腹いっぱい。
垢版 |
2006/04/28(金) 16:43:24
UTF-8を誤認することは間違いないのだがどれがUTF-8かを見つけるのが苦労する。
155名無しさん＠お腹いっぱい。
垢版 |
2006/05/03(水) 19:52:08
データだけ他サーバーに置くことは出来ますか？
あと複数のindexを検索するにはどうしたらいいですか。
2006/05/06(土) 17:54:36
データだけ他サーバー =>できる。
複数のindexを検索する =>マニュアル夜目。
2006/05/06(土) 19:04:08
マニュアル夜目 =>断る。
158名無しさん＠お腹いっぱい。
垢版 |
2006/05/06(土) 23:36:46
>>156
でも動作鈍いんですよね？
無料のとくつーにデータ全部おくことにします。
fc2にデータおいて広告なし無料cgi可のページから検索したかったんですけど。
2006/05/07(日) 18:51:41
nfsdとか動いてないとダメなんじゃないのか？
2006/05/08(月) 08:11:15
いや、『データ』だけ他のサーバにおくのはかんたんでしょ。読み出せないけど。
161名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 17:13:27
少し困っていることがあるので，教えてください．

Namazuのログで，検索ワードにヒットした文書ごとの
検索ワードの出現回数TFを出力できたりしますでしょうか？
ご教示お願いします．

また，タイトル<title>にその検索ワードが使われていたかどうか
などもログ出力できると助かるので，そういうことができるか
もお教えください．
162名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 21:00:39
あげ
163名無しさん＠お腹いっぱい。
垢版 |
2006/06/05(月) 11:05:16
age
2006/06/07(水) 23:08:46
ユカコ☆スレに遊びにこいよ！

http://travel2.2ch.net/test/read.cgi/kyoto/1148668530/l50
165名無しさん＠お腹いっぱい。
垢版 |
2006/07/25(火) 23:24:19
検索キーワードのログを見たいのですが、設定ファイルを
Logging on にするとどこにログが保存されているのでしょうか？
また、ログの保存場所を指定するにはどのようにしたらよいでしょうか？
2006/07/26(水) 08:23:04
NMZ.slogに保存されます。場所はたぶん変えられないかな。
167名無しさん＠お腹いっぱい。
垢版 |
2006/07/26(水) 15:46:23
Estraier、NAMAZU、msearch　でデフォルトの設定で、
インデックスの作成時の負荷がかかる順に並べるとどうなりますか？
2006/07/26(水) 16:30:55
msearch は知らないけど、
HyperEstraier は Namazu より軽いと思う。
169名無しさん＠お腹いっぱい。
垢版 |
2006/07/26(水) 20:30:41
namazuって重いんですね
2006/07/27(木) 09:35:53
重い要因は
* Perlで書かれている
* File::Findによるディレクトリ走査
* File::MMagicによるコンテンツの種別確認
* DB書き込み速度がPerlのhashに依存
このへんかなあ。
171名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 11:08:12
msearchもperlだよ。
NAMAZUよりmsearchのが軽いのかな？

HyperEstraier はよく知らんけど何で書かれてるの？
2006/07/27(木) 12:20:30
msearchって、仕組みを知って爆笑してしまったぜ。
2006/07/27(木) 13:11:58
中でハムスターが走ってるんだよな
174名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 15:41:28
>>172
何で爆笑？
175名無しさん＠お腹いっぱい。
垢版 |
2006/07/28(金) 17:32:38
namazuって、検索結果を重要度が高い順に並べたりしてくれる
ような機能ってあるっけ？
176名無しさん＠お腹いっぱい。
垢版 |
2006/07/29(土) 16:43:59
>>175
重要度は分からんが、ポイント機能ならあるぞ
177名無しさん＠お腹いっぱい。
垢版 |
2006/07/31(月) 12:58:34
最近では、EstraierとNAMAZUどっちが人気？
178名無しさん＠お腹いっぱい。
垢版 |
2006/08/22(火) 13:39:59
Ｎａｍａｚｕのようにインデクシングの際に形態素解析を用いている
検索エンジンと、その他、形態素解析を用いない検索エンジンとは
インデックス作成の時間以外でどのような違いがあるのでしょうか？
2006/08/23(水) 07:37:56
>>177 Google Trendsでも使ってしらべれ。
>>179 検索時の精度。すくなくとも再現率(recall)はn-gramのほうが高い。
180名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 13:38:59
namazuでＰＤＦファイルを検索し、概要だけであればhtmlで、
全文を見るのであれば、PDFで見るというふうにしたいのですが、
どうすればよいでしょうか？概要のhtmlは作ってあるのですが、ど
うすれば検索時にhtmlとPDFを選択できるのかなぁと思いまして。
よろしければ、お知恵をお貸しください。

2006/08/27(日) 14:00:27
NMZ.result.* に概要のHTMLのURIを追加すればOK。
概要のHTMLのURIを${uri].htmlにして、その場所に概要のHTMLを格納するのが
楽そうだ。
182名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 14:13:20
>181
参考にさせていただきます。ご回答ありがとうございました。
183名無しさん＠お腹いっぱい。
垢版 |
2006/09/21(木) 16:53:43
NMZ.* ファイルの仕様
http://www.namazu.org/doc/nmz.html.ja

上記を読んでもよく分からなかったのですが、
結局検索エンジン (namazu.exe)はどういう手順で
検索クエリから目的の文書を探し出すの？
NMZ.i には単語情報はないんだよね？

１．まずNMZ.iiで検索文字列から算出したハッシュ値をキーにして
　　NMZ.iのレコード番号を引く
２．NMZ.i の該当レコード番号から文書IDを引っ張ってくる

文書IDと対象ファイルの対応表はどこにあるのかなぁ？（・〜・）ｳｰﾑ
2006/09/21(木) 18:34:21
お〜、それ、わたしも首をひねったよ。
2006/09/21(木) 23:25:02
バージョン1.xのときはNMZ.f とNMZ.fi というファイルがあって
各ファイルの情報を記録していた。

2.xからは
NMZ.field.{subject,from,date,message-id,...}
NMZ.field.{subject,from,date,message-id,...}.i
の2つのファイルがその代わりをしている。
行番号=文書IDとなっている。
2006/09/22(金) 08:26:08
NMZ.wが単語表で、NMZ.wiがそのインデックス(各単語の先頭のオフセット値が
入っている)。
NMZ.wはコード順にソートされているので、NMZ.wiとNMZ.wをバイナリサーチ
すれば該当するNMZ.wiのファイルの位置から単語IDが求まる。

まあ最悪mknmzとlibnamazu.cあたりをみればわかるよ。
187名無しさん＠お腹いっぱい
垢版 |
2006/09/26(火) 09:15:59
Namazu(最新版)をWindows XPで使いたいのですが、カスタマイズを行う
場合は、バイナリではなく、ソースコードからインストールしなければ
ならないでしょうか？
2006/09/27(水) 07:50:14
カスタマイズする内容によるが、普通いらない。
必要になるのはソースコードレベルで埋め込まれている出力を
いじるときぐらい。
それもほとんどはgettext化されてるので、ja.poだけいじって差し替えれば
済む話だし。
2006/10/03(火) 13:05:12
"ペイジ" は勘弁して欲しい。直したけど。
2006/10/04(水) 00:10:39
>>189
なんでページにしないんだろうな
2006/10/04(水) 02:28:57
ぱげ
2006/10/04(水) 05:05:52
三四郎ファンなんだろ
2006/10/04(水) 10:48:43
ペイイチ？
2006/10/04(水) 16:48:59
N-gram戦争中ｗ
全文検索ユーティリティ統一スレッド　part3
ttp://pc8.2ch.net/test/read.cgi/bsoft/1120649196/
195(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 05:27:21
インディックス作成時に読み込む文字種を正規表現で指定できますか?
記号は除外するとかです
2006/10/08(日) 07:47:34
mknmz -K

文字列処理:
-E, --no-edge-symbol 単語の両端の記号は削除する
-G, --no-okurigana 送り仮名を削除する
-H, --no-hiragana 平仮名のみの単語は登録しない
-K, --no-symbol 記号をすべて削除する

あとはソース書き換えかな
197(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 11:58:48
>>196
どうもありがとう
198名無しさん＠お腹いっぱい。
垢版 |
2006/10/15(日) 10:14:17
NamazuをCGI(localhost)で利用しているのですが、検索結果と
して表示されたファイルが開けません。よろしければ、お教え
願えないでしょうか？

検索結果のファイルを選択
Forbidden
You don't have permission to access
/C|/a/b/c/d/f/soturon.html on this server.
------------------------------------------------------
Apache/2.0.55 (Win32) PHP/5.0.5 Server at localhost Port　80
という表示になります。

各種設定はNamazu2.014のインストーラのデフォルトです。
.namazurc の Replace で正しい URI に書き換えれば良いという話なのです
がどうにもうまくいかなくて。。。

索対象のファイルのpath
C:/a/b/c/d/1/ファイル
C:/a/b/c/d/2/ファイル
C:/a/b/c/d/3/ファイル
という様にファイルを格納しています。

そして、CGIはローカルホストで動かしているのですが、http://
以下はどのように指定すれば良いのでしょうか？






新着レスの表示
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況