全文検索エンジンNamazu ver2

1名無しさん＠お腹いっぱい。
垢版 |
2005/04/11(月) 01:31:01
全文検索エンジンNamazuについてアレコレ

http://www.namazu.org
2006/07/27(木) 09:35:53
重い要因は
* Perlで書かれている
* File::Findによるディレクトリ走査
* File::MMagicによるコンテンツの種別確認
* DB書き込み速度がPerlのhashに依存
このへんかなあ。
171名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 11:08:12
msearchもperlだよ。
NAMAZUよりmsearchのが軽いのかな？

HyperEstraier はよく知らんけど何で書かれてるの？
2006/07/27(木) 12:20:30
msearchって、仕組みを知って爆笑してしまったぜ。
2006/07/27(木) 13:11:58
中でハムスターが走ってるんだよな
174名無しさん＠お腹いっぱい。
垢版 |
2006/07/27(木) 15:41:28
>>172
何で爆笑？
175名無しさん＠お腹いっぱい。
垢版 |
2006/07/28(金) 17:32:38
namazuって、検索結果を重要度が高い順に並べたりしてくれる
ような機能ってあるっけ？
176名無しさん＠お腹いっぱい。
垢版 |
2006/07/29(土) 16:43:59
>>175
重要度は分からんが、ポイント機能ならあるぞ
177名無しさん＠お腹いっぱい。
垢版 |
2006/07/31(月) 12:58:34
最近では、EstraierとNAMAZUどっちが人気？
178名無しさん＠お腹いっぱい。
垢版 |
2006/08/22(火) 13:39:59
Ｎａｍａｚｕのようにインデクシングの際に形態素解析を用いている
検索エンジンと、その他、形態素解析を用いない検索エンジンとは
インデックス作成の時間以外でどのような違いがあるのでしょうか？
2006/08/23(水) 07:37:56
>>177 Google Trendsでも使ってしらべれ。
>>179 検索時の精度。すくなくとも再現率(recall)はn-gramのほうが高い。
180名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 13:38:59
namazuでＰＤＦファイルを検索し、概要だけであればhtmlで、
全文を見るのであれば、PDFで見るというふうにしたいのですが、
どうすればよいでしょうか？概要のhtmlは作ってあるのですが、ど
うすれば検索時にhtmlとPDFを選択できるのかなぁと思いまして。
よろしければ、お知恵をお貸しください。

2006/08/27(日) 14:00:27
NMZ.result.* に概要のHTMLのURIを追加すればOK。
概要のHTMLのURIを${uri].htmlにして、その場所に概要のHTMLを格納するのが
楽そうだ。
182名無しさん＠お腹いっぱい。：
垢版 |
2006/08/27(日) 14:13:20
>181
参考にさせていただきます。ご回答ありがとうございました。
183名無しさん＠お腹いっぱい。
垢版 |
2006/09/21(木) 16:53:43
NMZ.* ファイルの仕様
http://www.namazu.org/doc/nmz.html.ja

上記を読んでもよく分からなかったのですが、
結局検索エンジン (namazu.exe)はどういう手順で
検索クエリから目的の文書を探し出すの？
NMZ.i には単語情報はないんだよね？

１．まずNMZ.iiで検索文字列から算出したハッシュ値をキーにして
　　NMZ.iのレコード番号を引く
２．NMZ.i の該当レコード番号から文書IDを引っ張ってくる

文書IDと対象ファイルの対応表はどこにあるのかなぁ？（・〜・）ｳｰﾑ
2006/09/21(木) 18:34:21
お〜、それ、わたしも首をひねったよ。
2006/09/21(木) 23:25:02
バージョン1.xのときはNMZ.f とNMZ.fi というファイルがあって
各ファイルの情報を記録していた。

2.xからは
NMZ.field.{subject,from,date,message-id,...}
NMZ.field.{subject,from,date,message-id,...}.i
の2つのファイルがその代わりをしている。
行番号=文書IDとなっている。
2006/09/22(金) 08:26:08
NMZ.wが単語表で、NMZ.wiがそのインデックス(各単語の先頭のオフセット値が
入っている)。
NMZ.wはコード順にソートされているので、NMZ.wiとNMZ.wをバイナリサーチ
すれば該当するNMZ.wiのファイルの位置から単語IDが求まる。

まあ最悪mknmzとlibnamazu.cあたりをみればわかるよ。
187名無しさん＠お腹いっぱい
垢版 |
2006/09/26(火) 09:15:59
Namazu(最新版)をWindows XPで使いたいのですが、カスタマイズを行う
場合は、バイナリではなく、ソースコードからインストールしなければ
ならないでしょうか？
2006/09/27(水) 07:50:14
カスタマイズする内容によるが、普通いらない。
必要になるのはソースコードレベルで埋め込まれている出力を
いじるときぐらい。
それもほとんどはgettext化されてるので、ja.poだけいじって差し替えれば
済む話だし。
2006/10/03(火) 13:05:12
"ペイジ" は勘弁して欲しい。直したけど。
2006/10/04(水) 00:10:39
>>189
なんでページにしないんだろうな
2006/10/04(水) 02:28:57
ぱげ
2006/10/04(水) 05:05:52
三四郎ファンなんだろ
2006/10/04(水) 10:48:43
ペイイチ？
2006/10/04(水) 16:48:59
N-gram戦争中ｗ
全文検索ユーティリティ統一スレッド　part3
ttp://pc8.2ch.net/test/read.cgi/bsoft/1120649196/
195(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 05:27:21
インディックス作成時に読み込む文字種を正規表現で指定できますか?
記号は除外するとかです
2006/10/08(日) 07:47:34
mknmz -K

文字列処理:
-E, --no-edge-symbol 単語の両端の記号は削除する
-G, --no-okurigana 送り仮名を削除する
-H, --no-hiragana 平仮名のみの単語は登録しない
-K, --no-symbol 記号をすべて削除する

あとはソース書き換えかな
197(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 11:58:48
>>196
どうもありがとう
198名無しさん＠お腹いっぱい。
垢版 |
2006/10/15(日) 10:14:17
NamazuをCGI(localhost)で利用しているのですが、検索結果と
して表示されたファイルが開けません。よろしければ、お教え
願えないでしょうか？

検索結果のファイルを選択
Forbidden
You don't have permission to access
/C|/a/b/c/d/f/soturon.html on this server.
------------------------------------------------------
Apache/2.0.55 (Win32) PHP/5.0.5 Server at localhost Port　80
という表示になります。

各種設定はNamazu2.014のインストーラのデフォルトです。
.namazurc の Replace で正しい URI に書き換えれば良いという話なのです
がどうにもうまくいかなくて。。。

索対象のファイルのpath
C:/a/b/c/d/1/ファイル
C:/a/b/c/d/2/ファイル
C:/a/b/c/d/3/ファイル
という様にファイルを格納しています。

そして、CGIはローカルホストで動かしているのですが、http://
以下はどのように指定すれば良いのでしょうか？






2006/10/15(日) 11:42:00
httpd.conf に書いた
<Directory> ディレクティブ
Alias ディレクティブ
ぐらいは示さないとコメントのしようがないよ
2006/10/15(日) 23:08:08
>>198

>>NamazuをCGI(localhost)で利用(win32)
多分だけど C|このせいだと思う。昔はまった。
<a harf=c|となってると見れないはず

ブラウザによるけど

lynx
では個別にルール指定できてC|/ C:と置換指定。
なんでもlynxが内部で指定置換してくれる。
だからオリジナルは弄ず。w3m あたりも平気

firefox,oprea,IE系は無理だった気が...
なんか慣行らしいけど|。GUIのブラウザだと無理?かも??

namazuの方がC|じゃなくてC:/と吐いてくれないと。パスを。昔
考えたのは適当にsed噛ますとかして置換ちゃえばとか思った
が...namazu -hで吐かせてるからsedでフィルタすれば...と

テキストブラウザで使えるしそのまま...圧縮したまま使えるか
ら。普通のブラウザだと圧縮したまま動かないんで...

公開しないし個人で使う分には書換ちゃっていいと思うけど、セ
キュリティ上よくないのかね?

cgi?どこで吐いてるのかわかんないけど|を/に変えるべく追って
弄らないといけないと思う。winの代表的な各種ブラウザで見た
いなら
2006/10/17(火) 15:40:16
>そして、CGIはローカルホストで動かしているのですが、http://
設定を晒してくれ
2006/10/17(火) 21:35:23
「Replace http://localhost/C|/ file:」

にしとけ
203名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 01:14:49
>198です。
インデックス作成のオプション指定に気をつけ、きちんとドキュメントルート
を確認の上、.namazurcのReplaceを設定したら無事にできました。
ありがとうございました。
204名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 19:08:09
UNIX板ですが、話題がNamazuなので。。。
以下について、どなたかご教示願えませんか？

Windows XPでNamazuを利用しているのですが、これからPHP(5.0)
でNamazuを使うために、Namazuモジュール(php-namazu-2.3.1)
をインストールしたいと考えています。

調べた限りでは、現在はPECLもCVSも利用できない(Namazuモジュール)
ということでした。Windowsでこのモジュールをインストールするにはど
のような手順を踏めばよいのでしょうか？

それと、塚田卓也さんという方がNamazu関数をWindows版PHPで
も使えるように開発された、モジュール「php4_namazu-3.0.0PHP4.3.x
」があるそうですが、これは5.0でも使えたりするのでしょうか？

205名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 20:55:13
なんでナマズってこんなに遅いの？
2006/10/18(水) 21:13:56
>>205
何に比べて？
2006/10/18(水) 23:11:06
バンドウイルカ
2006/10/18(水) 23:34:51
>204
マルチよくない
ttp://www.namazu.org/pipermail/namazu-win32-users-ja/2006-October/001443.html

使えたりするかどうかは自分で試してみたの？
209名無しさん＠お腹いっぱい。
垢版 |
2006/10/18(水) 23:49:19
いや、[PHP4---]というモジュール名から見るに、多分使えないだろう
なぁと思って、試してはいません。ただ、使えるか知っている方がいた
ら、その是非を教えて欲しいなぁと思いまして。
もう１つの、WindowsへのNamazuモジュールのインストールのほうは自分
でもそれなりに調べたりしましたが、どうも分からなかったもので。。。
2006/10/19(木) 22:20:26
使えないと思うならPHPやめてPerlにしておけ
2006/10/20(金) 03:49:00
使えない。
はい、この話題は終了。
212名無しさん＠お腹いっぱい。
垢版 |
2006/11/13(月) 20:52:00
namazurcってmknmzしたときには適用されないんですか？
replace使いたいんですが…
2006/11/13(月) 21:31:48
--replace というオプションがある
ttp://www.namazu.org/doc/tutorial.html#run-mknmz
214名無しさん＠お腹いっぱい。
垢版 |
2006/12/22(金) 16:04:17
namazuの検索結果をEUC-JPで出力させているのですが、Shift_JISで書かれた
ファイルの内容がそのままShift_JISで出力されてしまうため、検索結果が文
字化けしてしまいます。何か設定が必要なんでしょうか。
2006/12/24(日) 22:02:54
>>214
必要
2006/12/26(火) 14:20:11
tp://www.ki.nu/software/namazu/tutorial/make.html#PERL_MODULEで
namazu 1.9.12 以降では Chasen2 にだけ対応している。
とありますが、kakasiは使用できないということでしょうか？
2006/12/26(火) 15:07:33
検索結果にキーワードが最初にファイルの何行目に登場するか、の情報って取得できますか？
google検索エンジンみたいに、キーワードのヒットした前後の文章を結果一覧に出したいのですが・・・
2006/12/27(水) 09:38:55
>>216
そんな古い情報参照しないでよ...
http://www.namazu.org/doc/tutorial.html#prep-make

>>217
namazu.cgi単独では無理。コマンドラインならnmzgrepというのがあるけど、
あれは単に検索結果に基づいてあとでgrepしているだけ。
libnmz使って同等のことをやるか、Hyper Estraierでも使ってみるのが吉。
2006/12/28(木) 22:22:23
Namazu の ML はなぜ iso-2022-jp でも Content-Transfer-Encoding: 8bit
で送ってくるんだろう。なんか気持ち悪いなあ。
2006/12/29(金) 09:48:34
僕はテンプルウエストが気持ち悪いよ。
2006/12/29(金) 22:42:03
Linuxにnamazu-2.0.16をインストールして、
インデックスの作成とNamazuコマンドでの検索が出来るようになったのですが
検索対象はファイルの中身だけで、ファイル名は検索外にする事は可能でしょうか？
index.htmlを検索しても表示されない、でもindex.htmlの中身に書いてある文章で
検索を掛けると表示されるようにしたいのですが・・・
2006/12/30(土) 12:24:41
>>221
mknmz の namazu_core というサブルーチンに
$content .= "\n\n$filename\n\n"; # add filename
という行がある
これを削ってインデックスを作り直す
2007/01/02(火) 19:57:55
>>222
真にありがとうございます。上手く行きました。
ただ"index.html"だと表示されないようになったのですが、"index"で検索すると表示されてしまいます。
これも表示されないようにする方法はありますでしょうか？何度も質問して申し訳ありません
224223
垢版 |
2007/01/04(木) 21:18:12
自己解決しました
本当にありがとうございました
2007/01/10(水) 19:44:10
スレ違いかもしれませんが、

自分がよく利用するウェブサイトの一部のコンテンツをNamazuで検索可能にしたいの
ですが（Google等では何故かうまく出てこないので）、
その場合はウェブサイトの必要なコンテンツをローカルにダウンロードして、
それをNamazuにかけるわけですよね?
ウェブサイトのコンテンツをダウンロードするのにお勧めのソフトはありますか?
2007/01/10(水) 21:58:48
wget >> 225
2007/01/11(木) 08:26:55
wwwoffle+Namazuという組合せはどうか。
squid cacheも対応フィルタがどこかにあったような。
2007/01/11(木) 17:18:29
風博士 + Hyper Estraier とか。
229名無しさん＠お腹いっぱい。
垢版 |
2007/02/02(金) 19:26:32
Vine3.2から4.0にしてから気づいたんですが、
kernel2.6系だとqueryの先頭からフィールド検索すると
日付ソートが逆になりませんか？　バグですかね？

例：
http://www.namazu.org/cgi-bin/namazu.cgi?query=%2Bsubject%3ANamazu&submit=Search%21&whence=0&lang=ja_JP.eucjp&max=20&result=normal&sort=date%3Alate&idxname=www.namazu.org.ja
2007/03/15(木) 00:55:42
namazu 2.0.17 release!!
231名無しさん＠お腹いっぱい。
垢版 |
2007/07/05(木) 13:53:45
ag
232名無しさん＠お腹いっぱい。
垢版 |
2007/10/09(火) 03:41:55
EmphasisTags "<strong class=\"keyword\">" "</strong>"
みたいに設定してキーワードをハイライトさせているのですが、
キーワードの出現位置が検索結果の本文表示文字数のリミットと
被る場合にタグを閉じてくれず、次の行から真っ赤っかになってしまいます。
回避する方法ってあるのでしょうか？
233名無しさん＠お腹いっぱい。
垢版 |
2007/10/10(水) 16:05:50
http://www.namazu.org/pipermail/namazu-devel-ja/2007-October/001647.html
これで直りませんかね。
2007/11/28(水) 05:27:51
ダブルクオーテーション内の連続した文字　"、狼8、"　で検索かけたいのだがノイズ入りまくり
/、狼8、/　も試したが今度は見つからないとか言われた
勝手に要素に分割するなああああ
235名無しさん＠お腹いっぱい。
垢版 |
2007/12/14(金) 21:25:55
mknmz -CでCoding System: eucってでるんだけどsjisにするにはどこの設定を弄れば良いですか？
2007/12/14(金) 21:46:18
Cording Systemの意味わかってないんじゃない？
検索結果をSJISにしたいんだったら
.namazurcでShift_JISに設定すればいいだけだし。
ちなみにNamazuのインデックス内部はeuc。
237235
垢版 |
2007/12/14(金) 22:33:23
>>236
なるほどありがとうございます

Namazuのインデックス内部はeuc。
ということはインデックスさせるページはEUCで記述しないと駄目なんですか？
2007/12/14(金) 22:34:52
>>237
んなこたーない
239235
垢版 |
2007/12/14(金) 22:41:36
>>238
むむむ･･
sjisで書いたページをmknmz -kでインデックス作ると
NMZ.wの中が所々文字化けるんですよ。。。
何かアドバイスお願いします。

# mknmz -C
わかち書き: /usr/local/bin/kakasi -isjis -osjis -w
メッセージの言語: ja_JP.SJIS
言語: ja_JP.SJIS
文字コード: euc

mknmzする前にsetenv LANG ja_JP.SJISしてます


2007/12/15(土) 20:44:17
-i -o については何も疑問に感じないのかね。
2007/12/15(土) 22:55:03
/usr/local/bin/kakasi -ieuc -oeuc -w
に戻せばいいよ
kakasiに渡される前にeucに変換されているのですよ。
242235
垢版 |
2007/12/18(火) 10:46:31
>>240
>>241
なるほど！解決しました！
ありがとうございます！
2008/02/04(月) 01:50:13
>>229
激しく亀レスだが、日付ソート(新しい順)の結果が
スコア順のソートと同じ結果になっている気がするんだが……。
244名無しさん＠お腹いっぱい。
垢版 |
2008/02/06(水) 03:00:26
共有鯖でインスコしたいのですがsshやtelnet以外でインスコする方法ありませんか？
鯖が対応してなくて困ってます。
2008/02/06(水) 14:37:42
それ意味不明だし。
2008/02/06(水) 14:43:34
>>244
管理者の方に相談してください。
247名無しさん＠お腹いっぱい。
垢版 |
2008/02/21(木) 21:40:38
新しいバージョンのnamazuだけど、namazu.cgiがnamazurc読み込んでないな。
なんかバージョンアップのたびに質が落ちてる。
248名無しさん＠お腹いっぱい。
垢版 |
2008/02/21(木) 21:49:47
うーん…ベストを尽くせ。
249名無しさん＠お腹いっぱい。
垢版 |
2008/02/22(金) 01:52:53
ナマズ作り直してくれねーかなあ。バカスカメモリ食いやがって。このへたくそが。
2008/02/22(金) 02:22:48
>>249
よし頑張れ。
2008/02/22(金) 03:33:49
それを必要な人がそれをやるしかないんだよ。

いわゆる言い出しっぺの法則 ――言い出しっぺがやらなければ誰もやらない―― だね。
252名無しさん＠お腹いっぱい。
垢版 |
2008/02/28(木) 13:15:05
なんでこれ環境変数と設定ファイルで同一の設定値を設定しないといけないんだ？
混乱するだけだと思うんだが。
世の中からこういうバカがいなくなればいいなあ。
2008/02/29(金) 04:25:26
>>252
kwsk
254名無しさん＠お腹いっぱい。
垢版 |
2008/03/03(月) 03:31:23
>>252
じゃあ直せよ
2008/03/03(月) 21:09:29
>>254
kursk
2008/03/12(水) 02:04:18
Namazu 2.0.18 リリース age
257名無しさん＠お腹いっぱい。
垢版 |
2008/04/21(月) 21:18:16
windows環境でのNamazuでofficeを入れない環境で
office文書を検索対象に含めるには何のソフトが有効ですか？
Microsoft Office Viewerを入れたら可能ですか？

また、zipなどの圧縮ファイル名を検索対象にするにはどうしたらいいでしょう？

よろしくおねがいします
2008/04/21(月) 23:47:00
>>257
officeを入れない環境ではxdoc2txt.exeが有効。
windows環境ではzipには標準で対応している。試してみましたか？
説明書を読んでますか？
ttp://www.namazu.org/doc/manual.html#doc-filter
よろしくおねがいします
2008/04/23(水) 00:31:46
14ではzip対応していなかった。
18では全部できました。

lzhを対象にしたフィルタはない？
ここは潰れてる
http://log.counterghost.net/20040417.html
2008/04/23(水) 23:24:10
>>259
lzhを対象にしたフィルタはcvsにはあるっぽいね
http://cvs.namazu.org/namazu/filter/
でもwindowsでは使えないかもね
2008/04/23(水) 23:55:45
sub status() {
return 'no' if ($English::OSNAME =~ /^(?:MSWin32|os2)$/i);

# Only LHa for UNIX.
$lhapath = util::checkcmd('lha');

とかあるからwinは無理っぽいですね。。。

http://log.counterghost.net/20040417.html
↑持っている人どこかに上げてくれないだろうか・・・
2008/04/24(木) 00:22:14
WaybackMachine
2008/04/24(木) 00:33:50
IA探したけどなかったんだよ
264名無しさん＠お腹いっぱい。
垢版 |
2008/09/19(金) 01:28:40
質問です。

WindowsXP + NTEmacs22.2 + Gnus の環境で Namazu を使っていますが、
Fedora9 + Emacs23 + Gnus で同じようにインストールした Namazu だと
「山田」のような固有名詞でも検索出来ますが、Winの場合だと同じ名前
で検索に引っかかりません。
(その名前が含まれたメールは存在してます。)

一般的な名詞だとどちらも同じように検索できてます。

環境としては、Win は ja_JP.SJIS で、Fedora9 は ja_JP.utf8 です。
両方共 Kakasi を使ってます。

何か気づいた点などありましたら教えてください。
265名無しさん＠お腹いっぱい。
垢版 |
2008/10/17(金) 19:17:44
すみません。教えてください

test.tgzという1GBほどのファイルがあった場合に、
中身のについてのindex作成を行わずに
ファイルの名前とパスのみをindexに残したいのですが、
どのように設定すればよいでしょうか？

たとえばtest.tgzをtgzで検索にひっかけるなど、
ファイル名だけでも検索に引っかかるようにしたいのですが
可能でしょうか？
266名無しさん＠お腹いっぱい。
垢版 |
2009/08/29(土) 11:16:19
64bit Linuxマシン（Red Hat Linux ES5）でnamazuをインストールしようとしますと、


Text/ChaSen/ChaSen.so \
-L/usr/local/lib -lchasen \

/usr/bin/ld: /usr/local/lib/libchasen.a(chalib.o): relocation R_X86_64_32 against `a local symbol' can not be used when making a shared object; recompile with -fPIC
/usr/local/lib/libchasen.a: could not read symbols: Bad value
collect2: ld はステータス 1 で終了しました
make: *** [blib/arch/auto/Text/ChaSen/ChaSen.so] エラー 1

というエラーがでます。

どのように対処したらよろしいでしょうか？

GOOGLE検索してもなかなか解決策が出てきません。

よろしくお願いします。
2009/08/29(土) 12:03:02
メッセージに recompile with -fPIC と言っているから、それを試みる。
2009/08/29(土) 12:04:23
rpmないの？
269名無しさん＠お腹いっぱい。
垢版 |
2009/08/29(土) 15:02:28
>>267
recompile with -fPIC
というのはどういうふうに試せばいいのでしょうか？
これも検索したんですが、よくわかりません。。
>>268
rpmはでていないようです。さがしてみたんですが。。
新着レスの表示
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況