X



全文検索エンジンNamazu ver2
0001名無しさん@お腹いっぱい。
垢版 |
2005/04/11(月) 01:31:01
全文検索エンジンNamazuについてアレコレ

http://www.namazu.org
0161名無しさん@お腹いっぱい。
垢版 |
2006/06/01(木) 17:13:27
少し困っていることがあるので,教えてください.

Namazuのログで,検索ワードにヒットした文書ごとの
検索ワードの出現回数TFを出力できたりしますでしょうか?
ご教示お願いします.

また,タイトル<title>にその検索ワードが使われていたかどうか
などもログ出力できると助かるので,そういうことができるか
もお教えください.
0162名無しさん@お腹いっぱい。
垢版 |
2006/06/01(木) 21:00:39
あげ
0163名無しさん@お腹いっぱい。
垢版 |
2006/06/05(月) 11:05:16
age
0165名無しさん@お腹いっぱい。
垢版 |
2006/07/25(火) 23:24:19
検索キーワードのログを見たいのですが、設定ファイルを
Logging on にするとどこにログが保存されているのでしょうか?
また、ログの保存場所を指定するにはどのようにしたらよいでしょうか?
0167名無しさん@お腹いっぱい。
垢版 |
2006/07/26(水) 15:46:23
Estraier、NAMAZU、msearch でデフォルトの設定で、
インデックスの作成時の負荷がかかる順に並べるとどうなりますか?
0169名無しさん@お腹いっぱい。
垢版 |
2006/07/26(水) 20:30:41
namazuって重いんですね
0170名無しさん@お腹いっぱい。
垢版 |
2006/07/27(木) 09:35:53
重い要因は
* Perlで書かれている
* File::Findによるディレクトリ走査
* File::MMagicによるコンテンツの種別確認
* DB書き込み速度がPerlのhashに依存
このへんかなあ。
0171名無しさん@お腹いっぱい。
垢版 |
2006/07/27(木) 11:08:12
msearchもperlだよ。
NAMAZUよりmsearchのが軽いのかな?

HyperEstraier はよく知らんけど何で書かれてるの?
0174名無しさん@お腹いっぱい。
垢版 |
2006/07/27(木) 15:41:28
>>172
何で爆笑?
0175名無しさん@お腹いっぱい。
垢版 |
2006/07/28(金) 17:32:38
namazuって、検索結果を重要度が高い順に並べたりしてくれる
ような機能ってあるっけ?
0176名無しさん@お腹いっぱい。
垢版 |
2006/07/29(土) 16:43:59
>>175
重要度は分からんが、ポイント機能ならあるぞ
0177名無しさん@お腹いっぱい。
垢版 |
2006/07/31(月) 12:58:34
最近では、EstraierとNAMAZUどっちが人気?
0178名無しさん@お腹いっぱい。
垢版 |
2006/08/22(火) 13:39:59
Namazuのようにインデクシングの際に形態素解析を用いている
検索エンジンと、その他、形態素解析を用いない検索エンジンとは
インデックス作成の時間以外でどのような違いがあるのでしょうか?
0180名無しさん@お腹いっぱい。:
垢版 |
2006/08/27(日) 13:38:59
namazuでPDFファイルを検索し、概要だけであればhtmlで、
全文を見るのであれば、PDFで見るというふうにしたいのですが、
どうすればよいでしょうか?概要のhtmlは作ってあるのですが、ど
うすれば検索時にhtmlとPDFを選択できるのかなぁと思いまして。
よろしければ、お知恵をお貸しください。

0181名無しさん@お腹いっぱい。
垢版 |
2006/08/27(日) 14:00:27
NMZ.result.* に概要のHTMLのURIを追加すればOK。
概要のHTMLのURIを${uri].htmlにして、その場所に概要のHTMLを格納するのが
楽そうだ。
0182名無しさん@お腹いっぱい。:
垢版 |
2006/08/27(日) 14:13:20
>181
参考にさせていただきます。ご回答ありがとうございました。
0183名無しさん@お腹いっぱい。
垢版 |
2006/09/21(木) 16:53:43
NMZ.* ファイルの仕様
http://www.namazu.org/doc/nmz.html.ja

上記を読んでもよく分からなかったのですが、
結局検索エンジン (namazu.exe)はどういう手順で
検索クエリから目的の文書を探し出すの?
NMZ.i には単語情報はないんだよね?

1.まずNMZ.iiで検索文字列から算出したハッシュ値をキーにして
  NMZ.iのレコード番号を引く
2.NMZ.i の該当レコード番号から文書IDを引っ張ってくる

文書IDと対象ファイルの対応表はどこにあるのかなぁ?(・〜・)ウーム
0185名無しさん@お腹いっぱい。
垢版 |
2006/09/21(木) 23:25:02
バージョン1.xのときはNMZ.f とNMZ.fi というファイルがあって
各ファイルの情報を記録していた。

2.xからは
NMZ.field.{subject,from,date,message-id,...}
NMZ.field.{subject,from,date,message-id,...}.i
の2つのファイルがその代わりをしている。
行番号=文書IDとなっている。
0186名無しさん@お腹いっぱい。
垢版 |
2006/09/22(金) 08:26:08
NMZ.wが単語表で、NMZ.wiがそのインデックス(各単語の先頭のオフセット値が
入っている)。
NMZ.wはコード順にソートされているので、NMZ.wiとNMZ.wをバイナリサーチ
すれば該当するNMZ.wiのファイルの位置から単語IDが求まる。

まあ最悪mknmzとlibnamazu.cあたりをみればわかるよ。
0187名無しさん@お腹いっぱい
垢版 |
2006/09/26(火) 09:15:59
Namazu(最新版)をWindows XPで使いたいのですが、カスタマイズを行う
場合は、バイナリではなく、ソースコードからインストールしなければ
ならないでしょうか?
0188名無しさん@お腹いっぱい。
垢版 |
2006/09/27(水) 07:50:14
カスタマイズする内容によるが、普通いらない。
必要になるのはソースコードレベルで埋め込まれている出力を
いじるときぐらい。
それもほとんどはgettext化されてるので、ja.poだけいじって差し替えれば
済む話だし。
0195(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 05:27:21
インディックス作成時に読み込む文字種を正規表現で指定できますか?
記号は除外するとかです
0196名無しさん@お腹いっぱい。
垢版 |
2006/10/08(日) 07:47:34
mknmz -K

文字列処理:
-E, --no-edge-symbol 単語の両端の記号は削除する
-G, --no-okurigana 送り仮名を削除する
-H, --no-hiragana 平仮名のみの単語は登録しない
-K, --no-symbol 記号をすべて削除する

あとはソース書き換えかな
0197(^-^) ◆MONSOON/qo
垢版 |
2006/10/08(日) 11:58:48
>>196
どうもありがとう
0198名無しさん@お腹いっぱい。
垢版 |
2006/10/15(日) 10:14:17
NamazuをCGI(localhost)で利用しているのですが、検索結果と
して表示されたファイルが開けません。よろしければ、お教え
願えないでしょうか?

検索結果のファイルを選択
Forbidden
You don't have permission to access
/C|/a/b/c/d/f/soturon.html on this server.
------------------------------------------------------
Apache/2.0.55 (Win32) PHP/5.0.5 Server at localhost Port 80
という表示になります。

各種設定はNamazu2.014のインストーラのデフォルトです。
.namazurc の Replace で正しい URI に書き換えれば良いという話なのです
がどうにもうまくいかなくて。。。

索対象のファイルのpath
C:/a/b/c/d/1/ファイル
C:/a/b/c/d/2/ファイル
C:/a/b/c/d/3/ファイル
という様にファイルを格納しています。

そして、CGIはローカルホストで動かしているのですが、http://
以下はどのように指定すれば良いのでしょうか?






0199名無しさん@お腹いっぱい。
垢版 |
2006/10/15(日) 11:42:00
httpd.conf に書いた
<Directory> ディレクティブ
Alias ディレクティブ
ぐらいは示さないとコメントのしようがないよ
0200名無しさん@お腹いっぱい。
垢版 |
2006/10/15(日) 23:08:08
>>198

>>NamazuをCGI(localhost)で利用(win32)
多分だけど C|このせいだと思う。昔はまった。
<a harf=c|となってると見れないはず

ブラウザによるけど

lynx
では個別にルール指定できてC|/ C:と置換指定。
なんでもlynxが内部で指定置換してくれる。
だからオリジナルは弄ず。w3m あたりも平気

firefox,oprea,IE系は無理だった気が...
なんか慣行らしいけど|。GUIのブラウザだと無理?かも??

namazuの方がC|じゃなくてC:/と吐いてくれないと。パスを。昔
考えたのは適当にsed噛ますとかして置換ちゃえばとか思った
が...namazu -hで吐かせてるからsedでフィルタすれば...と

テキストブラウザで使えるしそのまま...圧縮したまま使えるか
ら。普通のブラウザだと圧縮したまま動かないんで...

公開しないし個人で使う分には書換ちゃっていいと思うけど、セ
キュリティ上よくないのかね?

cgi?どこで吐いてるのかわかんないけど|を/に変えるべく追って
弄らないといけないと思う。winの代表的な各種ブラウザで見た
いなら
0203名無しさん@お腹いっぱい。
垢版 |
2006/10/18(水) 01:14:49
>198です。
インデックス作成のオプション指定に気をつけ、きちんとドキュメントルート
を確認の上、.namazurcのReplaceを設定したら無事にできました。
ありがとうございました。
0204名無しさん@お腹いっぱい。
垢版 |
2006/10/18(水) 19:08:09
UNIX板ですが、話題がNamazuなので。。。
以下について、どなたかご教示願えませんか?

Windows XPでNamazuを利用しているのですが、これからPHP(5.0)
でNamazuを使うために、Namazuモジュール(php-namazu-2.3.1)
をインストールしたいと考えています。

調べた限りでは、現在はPECLもCVSも利用できない(Namazuモジュール)
ということでした。Windowsでこのモジュールをインストールするにはど
のような手順を踏めばよいのでしょうか?

それと、塚田卓也さんという方がNamazu関数をWindows版PHPで
も使えるように開発された、モジュール「php4_namazu-3.0.0PHP4.3.x
」があるそうですが、これは5.0でも使えたりするのでしょうか?

0205名無しさん@お腹いっぱい。
垢版 |
2006/10/18(水) 20:55:13
なんでナマズってこんなに遅いの?
0208名無しさん@お腹いっぱい。
垢版 |
2006/10/18(水) 23:34:51
>204
マルチよくない
ttp://www.namazu.org/pipermail/namazu-win32-users-ja/2006-October/001443.html

使えたりするかどうかは自分で試してみたの?
0209名無しさん@お腹いっぱい。
垢版 |
2006/10/18(水) 23:49:19
いや、[PHP4---]というモジュール名から見るに、多分使えないだろう
なぁと思って、試してはいません。ただ、使えるか知っている方がいた
ら、その是非を教えて欲しいなぁと思いまして。
もう1つの、WindowsへのNamazuモジュールのインストールのほうは自分
でもそれなりに調べたりしましたが、どうも分からなかったもので。。。
0212名無しさん@お腹いっぱい。
垢版 |
2006/11/13(月) 20:52:00
namazurcってmknmzしたときには適用されないんですか?
replace使いたいんですが…
0214名無しさん@お腹いっぱい。
垢版 |
2006/12/22(金) 16:04:17
namazuの検索結果をEUC-JPで出力させているのですが、Shift_JISで書かれた
ファイルの内容がそのままShift_JISで出力されてしまうため、検索結果が文
字化けしてしまいます。何か設定が必要なんでしょうか。
0216名無しさん@お腹いっぱい。
垢版 |
2006/12/26(火) 14:20:11
tp://www.ki.nu/software/namazu/tutorial/make.html#PERL_MODULEで
namazu 1.9.12 以降では Chasen2 にだけ対応している。
とありますが、kakasiは使用できないということでしょうか?
0217名無しさん@お腹いっぱい。
垢版 |
2006/12/26(火) 15:07:33
検索結果にキーワードが最初にファイルの何行目に登場するか、の情報って取得できますか?
google検索エンジンみたいに、キーワードのヒットした前後の文章を結果一覧に出したいのですが・・・
0219名無しさん@お腹いっぱい。
垢版 |
2006/12/28(木) 22:22:23
Namazu の ML はなぜ iso-2022-jp でも Content-Transfer-Encoding: 8bit
で送ってくるんだろう。なんか気持ち悪いなあ。
0221名無しさん@お腹いっぱい。
垢版 |
2006/12/29(金) 22:42:03
Linuxにnamazu-2.0.16をインストールして、
インデックスの作成とNamazuコマンドでの検索が出来るようになったのですが
検索対象はファイルの中身だけで、ファイル名は検索外にする事は可能でしょうか?
index.htmlを検索しても表示されない、でもindex.htmlの中身に書いてある文章で
検索を掛けると表示されるようにしたいのですが・・・
0222名無しさん@お腹いっぱい。
垢版 |
2006/12/30(土) 12:24:41
>>221
mknmz の namazu_core というサブルーチンに
$content .= "\n\n$filename\n\n"; # add filename
という行がある
これを削ってインデックスを作り直す
0223名無しさん@お腹いっぱい。
垢版 |
2007/01/02(火) 19:57:55
>>222
真にありがとうございます。上手く行きました。
ただ"index.html"だと表示されないようになったのですが、"index"で検索すると表示されてしまいます。
これも表示されないようにする方法はありますでしょうか?何度も質問して申し訳ありません
0224223
垢版 |
2007/01/04(木) 21:18:12
自己解決しました
本当にありがとうございました
0225名無しさん@お腹いっぱい。
垢版 |
2007/01/10(水) 19:44:10
スレ違いかもしれませんが、

自分がよく利用するウェブサイトの一部のコンテンツをNamazuで検索可能にしたいの
ですが(Google等では何故かうまく出てこないので)、
その場合はウェブサイトの必要なコンテンツをローカルにダウンロードして、
それをNamazuにかけるわけですよね?
ウェブサイトのコンテンツをダウンロードするのにお勧めのソフトはありますか?
0231名無しさん@お腹いっぱい。
垢版 |
2007/07/05(木) 13:53:45
ag
0232名無しさん@お腹いっぱい。
垢版 |
2007/10/09(火) 03:41:55
EmphasisTags "<strong class=\"keyword\">" "</strong>"
みたいに設定してキーワードをハイライトさせているのですが、
キーワードの出現位置が検索結果の本文表示文字数のリミットと
被る場合にタグを閉じてくれず、次の行から真っ赤っかになってしまいます。
回避する方法ってあるのでしょうか?
0234名無しさん@お腹いっぱい。
垢版 |
2007/11/28(水) 05:27:51
ダブルクオーテーション内の連続した文字 "、狼8、" で検索かけたいのだがノイズ入りまくり
/、狼8、/ も試したが今度は見つからないとか言われた
勝手に要素に分割するなああああ
0235名無しさん@お腹いっぱい。
垢版 |
2007/12/14(金) 21:25:55
mknmz -CでCoding System: eucってでるんだけどsjisにするにはどこの設定を弄れば良いですか?
0236名無しさん@お腹いっぱい。
垢版 |
2007/12/14(金) 21:46:18
Cording Systemの意味わかってないんじゃない?
検索結果をSJISにしたいんだったら
.namazurcでShift_JISに設定すればいいだけだし。
ちなみにNamazuのインデックス内部はeuc。
0237235
垢版 |
2007/12/14(金) 22:33:23
>>236
なるほどありがとうございます

Namazuのインデックス内部はeuc。
ということはインデックスさせるページはEUCで記述しないと駄目なんですか?
0239235
垢版 |
2007/12/14(金) 22:41:36
>>238
むむむ・・
sjisで書いたページをmknmz -kでインデックス作ると
NMZ.wの中が所々文字化けるんですよ。。。
何かアドバイスお願いします。

# mknmz -C
わかち書き: /usr/local/bin/kakasi -isjis -osjis -w
メッセージの言語: ja_JP.SJIS
言語: ja_JP.SJIS
文字コード: euc

mknmzする前にsetenv LANG ja_JP.SJISしてます


0242235
垢版 |
2007/12/18(火) 10:46:31
>>240
>>241
なるほど!解決しました!
ありがとうございます!
0244名無しさん@お腹いっぱい。
垢版 |
2008/02/06(水) 03:00:26
共有鯖でインスコしたいのですがsshやtelnet以外でインスコする方法ありませんか?
鯖が対応してなくて困ってます。
0247名無しさん@お腹いっぱい。
垢版 |
2008/02/21(木) 21:40:38
新しいバージョンのnamazuだけど、namazu.cgiがnamazurc読み込んでないな。
なんかバージョンアップのたびに質が落ちてる。
0248名無しさん@お腹いっぱい。
垢版 |
2008/02/21(木) 21:49:47
うーん…ベストを尽くせ。
0249名無しさん@お腹いっぱい。
垢版 |
2008/02/22(金) 01:52:53
ナマズ作り直してくれねーかなあ。バカスカメモリ食いやがって。このへたくそが。
0251名無しさん@お腹いっぱい。
垢版 |
2008/02/22(金) 03:33:49
それを必要な人がそれをやるしかないんだよ。

いわゆる言い出しっぺの法則 ――言い出しっぺがやらなければ誰もやらない―― だね。
0252名無しさん@お腹いっぱい。
垢版 |
2008/02/28(木) 13:15:05
なんでこれ環境変数と設定ファイルで同一の設定値を設定しないといけないんだ?
混乱するだけだと思うんだが。
世の中からこういうバカがいなくなればいいなあ。
0254名無しさん@お腹いっぱい。
垢版 |
2008/03/03(月) 03:31:23
>>252
じゃあ直せよ
0257名無しさん@お腹いっぱい。
垢版 |
2008/04/21(月) 21:18:16
windows環境でのNamazuでofficeを入れない環境で
office文書を検索対象に含めるには何のソフトが有効ですか?
Microsoft Office Viewerを入れたら可能ですか?

また、zipなどの圧縮ファイル名を検索対象にするにはどうしたらいいでしょう?

よろしくおねがいします
0258名無しさん@お腹いっぱい。
垢版 |
2008/04/21(月) 23:47:00
>>257
officeを入れない環境ではxdoc2txt.exeが有効。
windows環境ではzipには標準で対応している。試してみましたか?
説明書を読んでますか?
ttp://www.namazu.org/doc/manual.html#doc-filter
よろしくおねがいします
レスを投稿する


ニューススポーツなんでも実況