全文検索エンジンNamazu ver2

1名無しさん＠お腹いっぱい。
垢版 |
2005/04/11(月) 01:31:01
全文検索エンジンNamazuについてアレコレ

http://www.namazu.org
2006/03/14(火) 00:18:47
2006-03-12: Namazu 2.0.16 を公開

* セキュリティフィックスリリース
Directory traversal 問題を修正
* 空白を含むファイル名の文書に対応
* NTFS のアクセス権で読み込み許可がないものは処理をスキップするように変更
2006/03/15(水) 06:23:14
>>139
インデックスが読み込めていないときにそうなった
まずnamazuで結果が出てくるか確認しろ
次にnamazurcの中身を確認しろ
2006/03/15(水) 18:26:19
>>142
nknmzrc実行後、沢山ファイルが作成された
取り合えず、動作しなくてもいいから表示してほしい・・・

作成されたファイルの中身を見ようとしたら何も表示されない
もしかしてファイル名だけ作成された？
2006/03/15(水) 18:45:35
まず"namazu (適当なキーワード)" で検索結果がでる？
出なければ~/.namazurcか/etc/namazurcでのインデックスのパスが違う
2006/03/15(水) 20:23:56
ports@FreeBSDのnamazu2が更新そぞろなも。
2006/04/05(水) 12:56:41
Emacsでnamazu.elを使用しているのですが、
出力結果をutf-8にしたいのですが、どの辺をいじれば可能でしょうか
2006/04/05(水) 23:26:44
奈辺
148名無しさん＠お腹いっぱい。
垢版 |
2006/04/25(火) 09:19:38
なまずでサイズの小さく、検索の早く、漏れのないインデックスの作り方。

なまずにすべての作業を任せずに文字コード変換、Kakasiをあらかじめ
自分でやっておく。 フィルタも使わない。
自分で確実にテキストに変換できたことを確認してからなまずに渡す。

インデックスに登録しないような一語の単語や記号などをあらかじめ削除する。

これでOk>
2006/04/27(木) 01:07:07
>>148
専用のスクリプトを用意して cron とかで作成させると
効果的なんだろうか？
150名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 02:24:29
>>149
nkfの最新版(それ以前もたぶん)はUTF-8の文字コードを誤認する。
これをすべてNAMAZUに任せると当然、検索できないindexが作成される。
丹誠込めて念入りにindexを作ることが重要だ。ちゃんと変換できてるとか目で見て。
2006/04/27(木) 05:32:59
>>150
ああ、文字コードはそうかもね。
で、どうやって >>148 みたいなフィルタの結果をなまずに渡すの？

$ フィルタスクリプト | mknmz とか？
152名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 05:50:57
ふつうにテキストで固定してindexを作成する。オプションの設定。
なまずは自動判別するからpdfでもhtmlでも中身がテキストなら
そうなるけどテキストに固定した方が早い。
153名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 06:07:34
>>151
たとえば10000ファイルあったとしたら
構造、拡張子を保ったまますべてのファイルをEUCコードに変換する。
そしてまたすべてのファイルを分かち書きする(-wオプション)。
154名無しさん＠お腹いっぱい。
垢版 |
2006/04/28(金) 16:43:24
UTF-8を誤認することは間違いないのだがどれがUTF-8かを見つけるのが苦労する。
155名無しさん＠お腹いっぱい。
垢版 |
2006/05/03(水) 19:52:08
データだけ他サーバーに置くことは出来ますか？
あと複数のindexを検索するにはどうしたらいいですか。
2006/05/06(土) 17:54:36
データだけ他サーバー =>できる。
複数のindexを検索する =>マニュアル夜目。
2006/05/06(土) 19:04:08
マニュアル夜目 =>断る。
158名無しさん＠お腹いっぱい。
垢版 |
2006/05/06(土) 23:36:46
>>156
でも動作鈍いんですよね？
無料のとくつーにデータ全部おくことにします。
fc2にデータおいて広告なし無料cgi可のページから検索したかったんですけど。
2006/05/07(日) 18:51:41
nfsdとか動いてないとダメなんじゃないのか？
2006/05/08(月) 08:11:15
いや、『データ』だけ他のサーバにおくのはかんたんでしょ。読み出せないけど。
161名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 17:13:27
少し困っていることがあるので，教えてください．

Namazuのログで，検索ワードにヒットした文書ごとの
検索ワードの出現回数TFを出力できたりしますでしょうか？
ご教示お願いします．

また，タイトル<title>にその検索ワードが使われていたかどうか
などもログ出力できると助かるので，そういうことができるか
もお教えください．
162名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 21:00:39
あげ
163名無しさん＠お腹いっぱい。
垢版 |
2006/06/05(月) 11:05:16
age
2006/06/07(水) 23:08:46
ユカコ☆スレに遊びにこいよ！

http://travel2.2ch.net/test/read.cgi/kyoto/1148668530/l50
165名無しさん＠お腹いっぱい。
垢版 |
2006/07/25(火) 23:24:19
検索キーワードのログを見たいのですが、設定ファイルを
Logging on にするとどこにログが保存されているのでしょうか？
また、ログの保存場所を指定するにはどのようにしたらよいでしょうか？
2006/07/26(水) 08:23:04
NMZ.slogに保存されます。場所はたぶん変えられないかな。
167名無しさん＠お腹いっぱい。
垢版 |
2006/07/26(水) 15:46:23
Estraier、NAMAZU、msearch　でデフォルトの設定で、
インデックスの作成時の負荷がかかる順に並べるとどうなりますか？
2006/07/26(水) 16:30:55
msearch は知らないけど、
HyperEstraier は Namazu より軽いと思う。
169名無しさん＠お腹いっぱい。
垢版 |
2006/07/26(水) 20:30:41
namazuって重いんですね
2006/07/27(木) 09:35:53
重い要因は
* Perlで書かれている
* File::Findによるディレクトリ走査
* File::MMagicによるコンテンツの種別確認
* DB書き込み速度がPerlのhashに依存
このへんかなあ。
171名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 11:08:12
msearchもperlだよ。
NAMAZUよりmsearchのが軽いのかな？

HyperEstraier はよく知らんけど何で書かれてるの？
2006/07/27(木) 12:20:30
msearchって、仕組みを知って爆笑してしまったぜ。
2006/07/27(木) 13:11:58
中でハムスターが走ってるんだよな
174名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 15:41:28
>>172
何で爆笑？
175名無しさん＠お腹いっぱい。
垢版 |
2006/07/28(金) 17:32:38
namazuって、検索結果を重要度が高い順に並べたりしてくれる
ような機能ってあるっけ？
176名無しさん＠お腹いっぱい。
垢版 |
2006/07/29(土) 16:43:59
>>175
重要度は分からんが、ポイント機能ならあるぞ
177名無しさん＠お腹いっぱい。
垢版 |
2006/07/31(月) 12:58:34
最近では、EstraierとNAMAZUどっちが人気？
178名無しさん＠お腹いっぱい。
垢版 |
2006/08/22(火) 13:39:59
Ｎａｍａｚｕのようにインデクシングの際に形態素解析を用いている
検索エンジンと、その他、形態素解析を用いない検索エンジンとは
インデックス作成の時間以外でどのような違いがあるのでしょうか？
2006/08/23(水) 07:37:56
>>177 Google Trendsでも使ってしらべれ。
>>179 検索時の精度。すくなくとも再現率(recall)はn-gramのほうが高い。
180名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 13:38:59
namazuでＰＤＦファイルを検索し、概要だけであればhtmlで、
全文を見るのであれば、PDFで見るというふうにしたいのですが、
どうすればよいでしょうか？概要のhtmlは作ってあるのですが、ど
うすれば検索時にhtmlとPDFを選択できるのかなぁと思いまして。
よろしければ、お知恵をお貸しください。

2006/08/27(日) 14:00:27
NMZ.result.* に概要のHTMLのURIを追加すればOK。
概要のHTMLのURIを${uri].htmlにして、その場所に概要のHTMLを格納するのが
楽そうだ。
182名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 14:13:20
>181
参考にさせていただきます。ご回答ありがとうございました。
183名無しさん＠お腹いっぱい。
垢版 |
2006/09/21(木) 16:53:43
NMZ.* ファイルの仕様
http://www.namazu.org/doc/nmz.html.ja

上記を読んでもよく分からなかったのですが、
結局検索エンジン (namazu.exe)はどういう手順で
検索クエリから目的の文書を探し出すの？
NMZ.i には単語情報はないんだよね？

１．まずNMZ.iiで検索文字列から算出したハッシュ値をキーにして
　　NMZ.iのレコード番号を引く
２．NMZ.i の該当レコード番号から文書IDを引っ張ってくる

文書IDと対象ファイルの対応表はどこにあるのかなぁ？（・〜・）ｳｰﾑ
2006/09/21(木) 18:34:21
お〜、それ、わたしも首をひねったよ。
2006/09/21(木) 23:25:02
バージョン1.xのときはNMZ.f とNMZ.fi というファイルがあって
各ファイルの情報を記録していた。

2.xからは
NMZ.field.{subject,from,date,message-id,...}
NMZ.field.{subject,from,date,message-id,...}.i
の2つのファイルがその代わりをしている。
行番号=文書IDとなっている。
2006/09/22(金) 08:26:08
NMZ.wが単語表で、NMZ.wiがそのインデックス(各単語の先頭のオフセット値が
入っている)。
NMZ.wはコード順にソートされているので、NMZ.wiとNMZ.wをバイナリサーチ
すれば該当するNMZ.wiのファイルの位置から単語IDが求まる。

まあ最悪mknmzとlibnamazu.cあたりをみればわかるよ。
187名無しさん＠お腹いっぱい
垢版 |
2006/09/26(火) 09:15:59
Namazu(最新版)をWindows XPで使いたいのですが、カスタマイズを行う
場合は、バイナリではなく、ソースコードからインストールしなければ
ならないでしょうか？
2006/09/27(水) 07:50:14
カスタマイズする内容によるが、普通いらない。
必要になるのはソースコードレベルで埋め込まれている出力を
いじるときぐらい。
それもほとんどはgettext化されてるので、ja.poだけいじって差し替えれば
済む話だし。
2006/10/03(火) 13:05:12
"ペイジ" は勘弁して欲しい。直したけど。
2006/10/04(水) 00:10:39
>>189
なんでページにしないんだろうな
2006/10/04(水) 02:28:57
ぱげ
2006/10/04(水) 05:05:52
三四郎ファンなんだろ
2006/10/04(水) 10:48:43
ペイイチ？
2006/10/04(水) 16:48:59
N-gram戦争中ｗ
全文検索ユーティリティ統一スレッド　part3
ttp://pc8.2ch.net/test/read.cgi/bsoft/1120649196/
195(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 05:27:21
インディックス作成時に読み込む文字種を正規表現で指定できますか?
記号は除外するとかです
2006/10/08(日) 07:47:34
mknmz -K

文字列処理:
-E, --no-edge-symbol 単語の両端の記号は削除する
-G, --no-okurigana 送り仮名を削除する
-H, --no-hiragana 平仮名のみの単語は登録しない
-K, --no-symbol 記号をすべて削除する

あとはソース書き換えかな
197(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 11:58:48
>>196
どうもありがとう
198名無しさん＠お腹いっぱい。
垢版 |
2006/10/15(日) 10:14:17
NamazuをCGI(localhost)で利用しているのですが、検索結果と
して表示されたファイルが開けません。よろしければ、お教え
願えないでしょうか？

検索結果のファイルを選択
Forbidden
You don't have permission to access
/C|/a/b/c/d/f/soturon.html on this server.
------------------------------------------------------
Apache/2.0.55 (Win32) PHP/5.0.5 Server at localhost Port　80
という表示になります。

各種設定はNamazu2.014のインストーラのデフォルトです。
.namazurc の Replace で正しい URI に書き換えれば良いという話なのです
がどうにもうまくいかなくて。。。

索対象のファイルのpath
C:/a/b/c/d/1/ファイル
C:/a/b/c/d/2/ファイル
C:/a/b/c/d/3/ファイル
という様にファイルを格納しています。

そして、CGIはローカルホストで動かしているのですが、http://
以下はどのように指定すれば良いのでしょうか？






2006/10/15(日) 11:42:00
httpd.conf に書いた
<Directory> ディレクティブ
Alias ディレクティブ
ぐらいは示さないとコメントのしようがないよ
2006/10/15(日) 23:08:08
>>198

>>NamazuをCGI(localhost)で利用(win32)
多分だけど C|このせいだと思う。昔はまった。
<a harf=c|となってると見れないはず

ブラウザによるけど

lynx
では個別にルール指定できてC|/ C:と置換指定。
なんでもlynxが内部で指定置換してくれる。
だからオリジナルは弄ず。w3m あたりも平気

firefox,oprea,IE系は無理だった気が...
なんか慣行らしいけど|。GUIのブラウザだと無理?かも??

namazuの方がC|じゃなくてC:/と吐いてくれないと。パスを。昔
考えたのは適当にsed噛ますとかして置換ちゃえばとか思った
が...namazu -hで吐かせてるからsedでフィルタすれば...と

テキストブラウザで使えるしそのまま...圧縮したまま使えるか
ら。普通のブラウザだと圧縮したまま動かないんで...

公開しないし個人で使う分には書換ちゃっていいと思うけど、セ
キュリティ上よくないのかね?

cgi?どこで吐いてるのかわかんないけど|を/に変えるべく追って
弄らないといけないと思う。winの代表的な各種ブラウザで見た
いなら
2006/10/17(火) 15:40:16
>そして、CGIはローカルホストで動かしているのですが、http://
設定を晒してくれ
2006/10/17(火) 21:35:23
「Replace http://localhost/C|/ file:」

にしとけ
203名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 01:14:49
>198です。
インデックス作成のオプション指定に気をつけ、きちんとドキュメントルート
を確認の上、.namazurcのReplaceを設定したら無事にできました。
ありがとうございました。
204名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 19:08:09
UNIX板ですが、話題がNamazuなので。。。
以下について、どなたかご教示願えませんか？

Windows XPでNamazuを利用しているのですが、これからPHP(5.0)
でNamazuを使うために、Namazuモジュール(php-namazu-2.3.1)
をインストールしたいと考えています。

調べた限りでは、現在はPECLもCVSも利用できない(Namazuモジュール)
ということでした。Windowsでこのモジュールをインストールするにはど
のような手順を踏めばよいのでしょうか？

それと、塚田卓也さんという方がNamazu関数をWindows版PHPで
も使えるように開発された、モジュール「php4_namazu-3.0.0PHP4.3.x
」があるそうですが、これは5.0でも使えたりするのでしょうか？

205名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 20:55:13
なんでナマズってこんなに遅いの？
2006/10/18(水) 21:13:56
>>205
何に比べて？
2006/10/18(水) 23:11:06
バンドウイルカ
2006/10/18(水) 23:34:51
>204
マルチよくない
ttp://www.namazu.org/pipermail/namazu-win32-users-ja/2006-October/001443.html

使えたりするかどうかは自分で試してみたの？
209名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 23:49:19
いや、[PHP4---]というモジュール名から見るに、多分使えないだろう
なぁと思って、試してはいません。ただ、使えるか知っている方がいた
ら、その是非を教えて欲しいなぁと思いまして。
もう１つの、WindowsへのNamazuモジュールのインストールのほうは自分
でもそれなりに調べたりしましたが、どうも分からなかったもので。。。
2006/10/19(木) 22:20:26
使えないと思うならPHPやめてPerlにしておけ
2006/10/20(金) 03:49:00
使えない。
はい、この話題は終了。
212名無しさん＠お腹いっぱい。
垢版 |
2006/11/13(月) 20:52:00
namazurcってmknmzしたときには適用されないんですか？
replace使いたいんですが…
2006/11/13(月) 21:31:48
--replace というオプションがある
ttp://www.namazu.org/doc/tutorial.html#run-mknmz
214名無しさん＠お腹いっぱい。
垢版 |
2006/12/22(金) 16:04:17
namazuの検索結果をEUC-JPで出力させているのですが、Shift_JISで書かれた
ファイルの内容がそのままShift_JISで出力されてしまうため、検索結果が文
字化けしてしまいます。何か設定が必要なんでしょうか。
2006/12/24(日) 22:02:54
>>214
必要
2006/12/26(火) 14:20:11
tp://www.ki.nu/software/namazu/tutorial/make.html#PERL_MODULEで
namazu 1.9.12 以降では Chasen2 にだけ対応している。
とありますが、kakasiは使用できないということでしょうか？
2006/12/26(火) 15:07:33
検索結果にキーワードが最初にファイルの何行目に登場するか、の情報って取得できますか？
google検索エンジンみたいに、キーワードのヒットした前後の文章を結果一覧に出したいのですが・・・
2006/12/27(水) 09:38:55
>>216
そんな古い情報参照しないでよ...
http://www.namazu.org/doc/tutorial.html#prep-make

>>217
namazu.cgi単独では無理。コマンドラインならnmzgrepというのがあるけど、
あれは単に検索結果に基づいてあとでgrepしているだけ。
libnmz使って同等のことをやるか、Hyper Estraierでも使ってみるのが吉。
2006/12/28(木) 22:22:23
Namazu の ML はなぜ iso-2022-jp でも Content-Transfer-Encoding: 8bit
で送ってくるんだろう。なんか気持ち悪いなあ。
2006/12/29(金) 09:48:34
僕はテンプルウエストが気持ち悪いよ。
2006/12/29(金) 22:42:03
Linuxにnamazu-2.0.16をインストールして、
インデックスの作成とNamazuコマンドでの検索が出来るようになったのですが
検索対象はファイルの中身だけで、ファイル名は検索外にする事は可能でしょうか？
index.htmlを検索しても表示されない、でもindex.htmlの中身に書いてある文章で
検索を掛けると表示されるようにしたいのですが・・・
2006/12/30(土) 12:24:41
>>221
mknmz の namazu_core というサブルーチンに
$content .= "\n\n$filename\n\n"; # add filename
という行がある
これを削ってインデックスを作り直す
2007/01/02(火) 19:57:55
>>222
真にありがとうございます。上手く行きました。
ただ"index.html"だと表示されないようになったのですが、"index"で検索すると表示されてしまいます。
これも表示されないようにする方法はありますでしょうか？何度も質問して申し訳ありません
224223
垢版 |
2007/01/04(木) 21:18:12
自己解決しました
本当にありがとうございました
2007/01/10(水) 19:44:10
スレ違いかもしれませんが、

自分がよく利用するウェブサイトの一部のコンテンツをNamazuで検索可能にしたいの
ですが（Google等では何故かうまく出てこないので）、
その場合はウェブサイトの必要なコンテンツをローカルにダウンロードして、
それをNamazuにかけるわけですよね?
ウェブサイトのコンテンツをダウンロードするのにお勧めのソフトはありますか?
2007/01/10(水) 21:58:48
wget >> 225
2007/01/11(木) 08:26:55
wwwoffle+Namazuという組合せはどうか。
squid cacheも対応フィルタがどこかにあったような。
2007/01/11(木) 17:18:29
風博士 + Hyper Estraier とか。
229名無しさん＠お腹いっぱい。
垢版 |
2007/02/02(金) 19:26:32
Vine3.2から4.0にしてから気づいたんですが、
kernel2.6系だとqueryの先頭からフィールド検索すると
日付ソートが逆になりませんか？　バグですかね？

例：
http://www.namazu.org/cgi-bin/namazu.cgi?query=%2Bsubject%3ANamazu&submit=Search%21&whence=0&lang=ja_JP.eucjp&max=20&result=normal&sort=date%3Alate&idxname=www.namazu.org.ja
2007/03/15(木) 00:55:42
namazu 2.0.17 release!!
231名無しさん＠お腹いっぱい。
垢版 |
2007/07/05(木) 13:53:45
ag
232名無しさん＠お腹いっぱい。
垢版 |
2007/10/09(火) 03:41:55
EmphasisTags "<strong class=\"keyword\">" "</strong>"
みたいに設定してキーワードをハイライトさせているのですが、
キーワードの出現位置が検索結果の本文表示文字数のリミットと
被る場合にタグを閉じてくれず、次の行から真っ赤っかになってしまいます。
回避する方法ってあるのでしょうか？
233名無しさん＠お腹いっぱい。
垢版 |
2007/10/10(水) 16:05:50
http://www.namazu.org/pipermail/namazu-devel-ja/2007-October/001647.html
これで直りませんかね。
2007/11/28(水) 05:27:51
ダブルクオーテーション内の連続した文字　"、狼8、"　で検索かけたいのだがノイズ入りまくり
/、狼8、/　も試したが今度は見つからないとか言われた
勝手に要素に分割するなああああ
235名無しさん＠お腹いっぱい。
垢版 |
2007/12/14(金) 21:25:55
mknmz -CでCoding System: eucってでるんだけどsjisにするにはどこの設定を弄れば良いですか？
2007/12/14(金) 21:46:18
Cording Systemの意味わかってないんじゃない？
検索結果をSJISにしたいんだったら
.namazurcでShift_JISに設定すればいいだけだし。
ちなみにNamazuのインデックス内部はeuc。
237235
垢版 |
2007/12/14(金) 22:33:23
>>236
なるほどありがとうございます

Namazuのインデックス内部はeuc。
ということはインデックスさせるページはEUCで記述しないと駄目なんですか？
2007/12/14(金) 22:34:52
>>237
んなこたーない
239235
垢版 |
2007/12/14(金) 22:41:36
>>238
むむむ･･
sjisで書いたページをmknmz -kでインデックス作ると
NMZ.wの中が所々文字化けるんですよ。。。
何かアドバイスお願いします。

# mknmz -C
わかち書き: /usr/local/bin/kakasi -isjis -osjis -w
メッセージの言語: ja_JP.SJIS
言語: ja_JP.SJIS
文字コード: euc

mknmzする前にsetenv LANG ja_JP.SJISしてます


2007/12/15(土) 20:44:17
-i -o については何も疑問に感じないのかね。
2007/12/15(土) 22:55:03
/usr/local/bin/kakasi -ieuc -oeuc -w
に戻せばいいよ
kakasiに渡される前にeucに変換されているのですよ。
新着レスの表示
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況