全文検索エンジンNamazu ver2

1名無しさん＠お腹いっぱい。
垢版 |
2005/04/11(月) 01:31:01
全文検索エンジンNamazuについてアレコレ

http://www.namazu.org
6463
垢版 |
2005/11/01(火) 17:11:13
Too many documents hitだな・・・お恥ずかしい
65名無しさん＠お腹いっぱい。
垢版 |
2005/11/04(金) 00:17:55
会社でUNIX畑の人に「とりあえずなまずって検索してみて」といわれたので
OHPとかこのスレとか見てみました。
日本語全文検索ってほぼGoogleでカバーできてるのでは？
Winではあまり普及していないらしいし、導入に面倒がありそうだし
これからのNamazuの役割って一体なんです？
2005/11/04(金) 11:40:39
>>65
McDonald's があれば、モスバーガー、ロッテリアは必要ない、とかそーゆーこと？


2005/11/04(金) 11:47:25
フレッシュネスうまうまだよもん。
駅前広場はラブホのかわりにはならないんだよもん。
2005/11/04(金) 11:54:23
>>65

UNIX畑の人に聞いてみたら？
ってか色々なサイト見てきたんだったら役割は自ずと見えてくるだろうと思うけど

まぁちょっと設計が古かったりするところはあるとはおもうけど
自分に必要な機能が満たされていればNamazuでも十分だとか
そういうことを判別できれば役割はかなりあると思うよ

まぁ役割は自分が必要と思えばあるし、無ければ無いんだよ
2005/11/04(金) 11:58:41
>>66
> McDonald's があれば、モスバーガー、ロッテリアは必要ない、とかそーゆーこと？
McDonald'sがあれば、家庭に台所は必要ない、って言ってるんだろ。
2005/11/04(金) 22:18:50
というか最初は釣りかと思ったが、>>65がリアル素人な気がしてきた。
2005/11/04(金) 23:35:30
>>65です。たくさんレスありがとうございます。
実際自分はWinしか触ったことのないリアル素人で、OHPや主だった関連サイトを
いくつか見てみましたがいまいちピンときませんでしたが
>>69氏の譬えが的を射ているのかな。

つまりGoogleとかはロボットに「検索してもらう」という受動的な検索だけど
なまずは自分で全文を検索に引っ掛けるように設定するという能動的検索
という理解でよろしかろうか。
なんか新しく入った会社で雑務のひとつとして、なまず検索の更新も担当する
ということらしいです。
まだ具体的には本物の鯰なのかcgiの鯰なのかよくわかりませんが、
これからも何かとお世話になるかも知れません。
どうぞよろしくおながいします。
2005/11/05(土) 00:07:50
ぇ、>>54 で言ってる Google って GoogleDeskTop のことじゃなかったのか。
2005/11/05(土) 00:09:33
> なまず検索の更新も担当

これも謎だよなー
ふつうは更新されたファイルを探し出て、インデックスも更新する
スクリプトを自動的に動かすもんだし。
2005/11/05(土) 00:21:14
>>71
> なんか新しく入った会社で雑務のひとつとして、なまず検索の更新も担当する
> ということらしいです。

UNIX畑の人がいるのに素人にこんな雑務をやらせるこの会社って一体…
2005/11/05(土) 01:42:57
OHPってなんだ？
2005/11/05(土) 01:56:18
Obsoleted Home Page だよもん

webブラウザを立ち上げたときやホームボタンで表示されるページだよもんが、
メンテされないのでリンク切れ多発でよく使うのにリンクしてないサイト
多数出現だよもん
2005/11/05(土) 04:24:46
>>75
> OHPってなんだ？

エロゲー方面の隠語
2005/11/05(土) 10:50:34
>>74
UNIX畑の人が抜けるんで、自分が引継ぎということらしいです。
なにしろ社員3人で他SOHOスタッフしかいないんで勘弁してやってください。

>>77
ｴﾛｹﾞ用語だったのですか。ふつーに公式サイトの意味で使われているものとばかり（ｗ

>>73
なるほどー。それがふつうなのですね。
昨日全体の業務引き継ぎ内容を大雑把に説明されただけなので
まだ具体的なことはよくわからないのですが、鯰のこともうちょっと
調べてみるです。
2005/11/06(日) 11:04:23
>>75
ドラクエだと棺おけがついてきている状態
8068
垢版 |
2005/11/07(月) 14:10:30
がーん

ttp://www.ki.nu/OHP/
このことかと思ってた俺って。。。。
2005/11/09(水) 00:36:29
Namazu 2.0.14 for Win32 (Beta) を導入したのですが、
C:\namazu\share\namazu\filter\win32 の中に oleword.pl が見当たりません。
Office 2000ではダメで, 2003が導入されている必要があるのでしょうか?

wvWareのWindows版を導入しようとしたのですが、コマンドがシェルスクリプトに
なっているようです。cygwinがいるのでしょうか?
2005/11/09(水) 02:01:38
>>81
俺は cygwin + Namazu-2.0.14.tar.gz を
ソースコンパイルなので環境がだいぶ違うが、
Namazu 本家の namazu-2.0.14.tar.gz を解凍したら
namazu-2.0.14/filter/win32/ 以下に
olemsword.pl があるよ。

後半の方は俺には質問の意味が分からんのでパス。
2005/11/09(水) 06:53:26
なるほど! ソースなら入っていそうですね。試してみます。
2005/11/23(水) 03:46:07
olemsword.pl と olemsexcle.pl なら入ってるよ。
c:\Namazu\share\namazu\filter\win32 以下
2005/11/23(水) 03:46:55
ミス
s/olemsexcle.pl/oleexcel.pl/
86名無しさん＠お腹いっぱい。
垢版 |
2005/11/24(木) 11:56:33
Namazuで検索キーワードの該当部分を
検索結果に反映する方法はありますか？

たとえば、デフォだと該当キーワードがHTMLの末のほうにあっても、
検索結果のプレビューではHTMLの上のほうから表示されてキーワードが
出てきませんよね？
それを、キーワードの該当部分の前後文を表示するようにある方法が
あるらしいといわれたので探しているのですが、わかりません。

もしかして指示者が別の検索エンジンと混同してるかも知れないので、
Namazuにそういう機能があるのかどうか　だけでも教えていただければ
幸いです。
2005/11/24(木) 13:31:31
estraier にはそういう機能があった。
2005/11/24(木) 13:49:59
>>87
大ヒントありがとうございます！！
超感謝であります！
2005/11/24(木) 15:01:07
>>86
Namazuはインデックスに単語の出現位置を記録していない。
2005/11/25(金) 10:05:19
>>89
指示者もうろ覚えだったようなので、Esterierと混同していたのですね。
そのように報告しました。
どうもありがとうございます(´∀｀)
91名無しさん＠お腹いっぱい。
垢版 |
2005/12/05(月) 20:35:20
Webサイト内の商品検索に使用したいと思うのですが
namazuの検索結果に画像を表示させることは可能ですか？
2005/12/06(火) 00:45:33
>>91
どこかのサイトで検索結果のサムネイル画像をやろうとしてた希ガス。
template の NMZ.result.normal.?? を変更すれば出来るっけか。
93名無しさん＠お腹いっぱい。
垢版 |
2005/12/06(火) 11:41:20
>>91
検索結果に見合った画像を出すのはテンプレ変更だけじゃ無理かも。
「可能か」の問いには、オープンソースだからね。出来るさ。
9491
垢版 |
2005/12/06(火) 13:55:33
ありがとうございます。私のスキルでは簡単には出来そうもないですね。

調べてみたところkabayakiなら出来そうな感じですね。
Vineなんですが導入できるんだろうか。
2005/12/07(水) 08:01:40
>>91 >>94
ML 探したらみつかった。
http://www.stellar.ac/~komai/software/namazu/research/namazu_play/
9691
垢版 |
2005/12/07(水) 12:32:17
>>95
ありがとうございます！
他のどの方法でやるのか悩んでいたので助かりました。
97名無しさん＠お腹いっぱい。
垢版 |
2005/12/07(水) 22:12:00
ビバ・オープンソース！
2005/12/08(木) 02:18:24
i Adios Amigos !
2005/12/09(金) 12:44:41
Namazuで動的ページに対してインデックスを作ることはできますか？

DBから取得した情報をHTMLで出力するPHPプログラムがあるとして、
そのHTMLを検索対象にしたい場合が結構でてくると思うんですが、
やっぱりHTMLファイルを生成するしかないんですかね？

wget 等で一度プログラムをたたいてその結果をインデックスすれば
いけないこともないと思うんですが…。
そのようなNamazuモジュールや設定があればご教示いただけると助かります。
2005/12/09(金) 15:47:21
>>99
Namazuじゃないけど、mod_estraierどうよ。
10199
垢版 |
2005/12/09(金) 18:22:14
>>100

そんなモジュールがあったんですね。
参考になります。

ただやっぱりNamazu系のフリーの全文検索ツールじゃないときついですね…
2005/12/09(金) 20:19:13
つか、mod_estraierもHyper Estraierもフリーだよ。
2005/12/10(土) 00:16:49
やっぱりHyper Estraierに誘導するケースが増えてきてるねえ。
まあしょうがないかな。
104101
垢版 |
2005/12/12(月) 15:46:05
>>102,103

言葉足らずですんません。

mod_estraier はキャッシュとして動く感じだと思うので
ちょっと想定の動作とは異なる感じがしました。

Namazuを使うのはほぼ決定なんですが、
動的ページの検索がHyper Estraierでしかできないのであれば
その方向でも考えた方がよさそうですね。
2005/12/12(月) 23:02:18
>>104
キャッシュをインデックス対象にするのであれば
apacheでproxyを立てて
mknmzで --replace=apachecache::replacecode
としてできるかも
106名人
垢版 |
2005/12/18(日) 16:22:25
インディックスの作成の名人ですがどなたか勝負しましょう｡
どこかサイトをいってください｡
そしてインディックスの小ささと､単語のヒット率で勝負です｡
107名人
垢版 |
2005/12/18(日) 16:23:32
工夫の余地の大きい日本語のサイトにしましょう｡
108名人
垢版 |
2005/12/19(月) 09:05:34
前処理をよく行っておくことが重要です
2005/12/19(月) 09:09:49
名人殿。なにゆえ「。」が半角なのでつか。
110名無しさん＠お腹いっぱい。
垢版 |
2005/12/19(月) 16:27:59
>>109
全角にしました。

誰も挑戦者はいないようなのでインディックスにしたいサイトが
あったら名人が作ってあげます。
小さすぎても大きすぎても駄目。ファイル数が五千から五万くらいのならいいよ。
111　
垢版 |
2006/01/04(水) 18:31:15
2.0.15RC1 テストに参加しる!!
2006/01/11(水) 18:10:18
ウェブ上のバグ報告システムなら気軽に書けるし
仮にメール欄があっても捨てアドなりなんなりで良いけど
メールで ML にバグ報告は色々と敷居が高いよぅ

…と保守がてら言ってみるテスト。
2006/01/11(水) 19:56:47
ファイルの添付も簡単だし、ハードコピーも貼れるし。
（namazu.cgiとかWindows上のエラーダイアログくらいしか出番はないかもしれんが)

Wikiがあるならドキュメントの保守も簡単だし、TracのWiki自体も差分や変更履歴が残るしね。

と言ってみる。
2006/01/11(水) 22:11:11
(´-`).｡oO(メールじゃないと報告者減る ってのは正直感覚ずれてる気がする)
115名無しさん＠お腹いっぱい。
垢版 |
2006/01/16(月) 10:23:25
現在phpから動的にページを生成して出力しているのですが、
このPHPから出来上がるページをnamazuで検索したいと思っています。
どのような手法がありますでしょうか？
2006/01/16(月) 20:04:50
>>115
一番いいのは、その PHP のページががキャッシュを書き出す方法だけど
Proxy 経由でキャッシュを取るか、無限ループに気をつけて wget するかじゃないかな。
2006/01/22(日) 14:28:27
ファイル数が多く時間がかかるので
インデックスの作成を何日かに分けてやりたいんですが
どうすればいいでしょうか？
途中から再開する方法を知りたいです
118名無しさん＠お腹いっぱい。
垢版 |
2006/01/23(月) 03:53:30
>>117
ファイル一覧を作ってから5000個ずつ処理するのがよいぞ
119名無しさん＠お腹いっぱい。
垢版 |
2006/01/23(月) 03:56:11
大量のファイルを処理するにはindexサイズが大きくなりすぎないように
することが大切だぞ。
処理中になんどか更新するがとても時間が掛かってしまう
あとでマージせよ
2006/01/23(月) 10:27:28
>>118,119
ありがとうございます。インデックスをいくつかに分けて
作成する事にしました。インデックスのサイズが小さいと
時間の掛かり方も全然違いますね。
全部まとめてやるよりも早く終わりそうです。
121名無しさん＠お腹いっぱい。
垢版 |
2006/01/24(火) 13:27:51
動的ページ（DBから情報を取得するもの）を検索対象にするために、
wget + Namazu で実際に運用されている方はおられますか？

DBから取得した情報も全て静的ページに吐き出してからそれをインデックスするのか、
wgetで全部ダウンロードしてそれをインデックスするのかで悩んでいます。

後者の方が圧倒的にメンテナンスも構築も容易なのですが
実運用で使うに耐えられるものなのかが不安でして…。

宜しくお願いします。
2006/01/24(火) 13:30:44
>>121
> 後者の方が圧倒的にメンテナンスも構築も容易なのですが
> 実運用で使うに耐えられるものなのかが不安でして…。

と悩みはじめてすでに5年〜♪
123121
垢版 |
2006/01/24(火) 14:10:24
>>122

悩むんですよね…。
Namazuのためだけに静的ページ生成を行うというのはどうも。

Namazuだと、ドキュメントルート以下にあるファイルでも
Webに公開されていない（リンクされていない）ものも引っかかってしまうので、
そう考えると wget の方が理にかなってるんですよね。

＃メルマガなんかで直接URLを通知されるページは元も子も無いですが。。
124名無しさん＠お腹いっぱい。
垢版 |
2006/01/26(木) 05:06:02
>>120
最初は一度にまとめてやった方が速いと思うのだろうけど。
例えば5メガずつindexを書き出す場合、今のindexサイズが200メガだったら
後50メガ追加するのに約1ギガの書き込み、消去を行うことになる。
これはとても大変だ。
125名無しさん＠お腹いっぱい。
垢版 |
2006/01/26(木) 05:08:29
ただディスクアクセスだけではない。
indexサイズがでかければメモリ、cpuの処理も時間が掛かる。
2006/01/30(月) 18:47:40
ｷﾀ━━━(ﾟ∀ﾟ)━━━!!!!
2006/01/30(月) 21:45:06
2006-01-29: Namazu 2.0.15 を公開

ISO-8859-* に関する文書の間違いを訂正
RedHat ソフトウェア namazu.spec の不必要なパッチは削除
File::MMagic 1.25 を同梱
MeCab の正式対応
mknmz に -b 及び --use-mecab オプションを追加
mknmz および namazu に --norc オプションを追加
mknmz に --decode-base64 オプションを追加
新しいフィルタ(Gnumeric, Koffice, Mainman/Pipermail, Zip, Visio)を追加
mknmzrc に MECAB, DENY_DDN を追加
ファイル名がDDN である時にスキップ。
日付フィールドによるソート機能の追加
nmzcat, nmzegrep コマンドの追加
フィルタの Windows 対応
(msword.pl, excel.pl, powerpoint.pl, postscript.pl, 等...)
OLE コントロールフィルタ更新
QUERY_STRING の区切りに';' 使用可能
Perl版テストプログラム(pltests) を追加
各種バグフィックス
2006/01/31(火) 01:30:36
cygwin 1.15.19-4でインスコ成功。
2006/01/31(火) 05:28:51
【IT】オープンソース全文検索システム「Namazu」、1年9カ月ぶりの新版 [1/30]
http://news18.2ch.net/test/read.cgi/bizplus/1138613562/
2006/02/05(日) 11:23:19
そろそろ入れ換えるかなぁ
それとも別のに浮気するか...
2006/02/11(土) 21:10:15
Debian Sarge で namazu 2.0.14 を使っているのですが、教えてください。

mknmz を -U オプションを付けて、Samba 内のインデックスを作成しているの
ですが、職場のパソコンのIEのバージョンにより、動作が異なります。

IE 6.0 では、検索結果の表示、クリックした時にファイルが開けるのですが、
IE 5.5 では、検索結果の表示は正常なものの、クリックしたときにパス名が
文字化けして、うまくファイルを開くことができません。

そこで、両バージョンのIEでファイルが正常に開けるように、検索結果を
.namazurc の Replace コマンドで全体を " " で囲む等ということが可能
でしょうか？それとも、もっとよい方法が存在するのでしょうか？

よろしくお願いします。m(._.)m
132131
垢版 |
2006/02/12(日) 19:57:31
>>131 です。 自己レス申し訳ないです。

再度、確認したら、自分の設定がおかしかったか、キャッシュが禍したのか原
因は不明でしたが、いずれのバージョンのIEでもまともに表示し、ファイルを
開くことができました。
確認したこと、.mknamazurc で lang=ja.SJIS、 mknmz -U オプション。

すれ汚し、申し訳ありませんでした。m(._.)m

2006/03/01(水) 03:10:58
な〜
「Namazu を使った検索ファイルシステム」
http://www.ipl.t.u-tokyo.ac.jp/~kaz/ptt/arc/313/313.html

って公開されてないのかの〜
2006/03/01(水) 16:00:46
>>133
作者に聞いてみたら？

Windows は Google、MS、Yahoo! 製があるけど
UNIX にはないよね？
2006/03/01(水) 16:39:35
>>134
たぶん、なにか勘違いしてると思う。
2006/03/01(水) 16:41:00
>>133
研究者連中、面白いものを作っても、
作って論文にしただけで満足して死蔵するケース多すぎ。

公開しようとするといろいろ面倒なのはわかるが、
なんとかならんものかのう。
2006/03/01(水) 16:50:38
>>136
> 公開しようとするといろいろ面倒
を136がなんとかしてくれると。

2006/03/01(水) 18:33:17
>133
http://www.spa.is.uec.ac.jp/~takita/CBNS/ を見てくれ。

…と言いたいところだが、電通大情報システム学専攻のネットワークが切れていて今は見れんようです。
復旧したら見てください。

一応、激しく汚いソース(NetBSD 1.6.2 からの差分)も置いてあります。
2006/03/13(月) 15:38:49
はじめてNmazuに挑戦しまた
nknmzrc実行後
http://〜/namazu.cgiにアクセスするとブラウザが真っ白
・・・
どこで間違っているのでしょう。
ヒントください
OS　FreeBSD　portsから導入
ブラウザ　winXP　IE
2006/03/13(月) 16:40:55
> ヒントください
こっちのセリフだ
2006/03/14(火) 00:18:47
2006-03-12: Namazu 2.0.16 を公開

* セキュリティフィックスリリース
Directory traversal 問題を修正
* 空白を含むファイル名の文書に対応
* NTFS のアクセス権で読み込み許可がないものは処理をスキップするように変更
2006/03/15(水) 06:23:14
>>139
インデックスが読み込めていないときにそうなった
まずnamazuで結果が出てくるか確認しろ
次にnamazurcの中身を確認しろ
2006/03/15(水) 18:26:19
>>142
nknmzrc実行後、沢山ファイルが作成された
取り合えず、動作しなくてもいいから表示してほしい・・・

作成されたファイルの中身を見ようとしたら何も表示されない
もしかしてファイル名だけ作成された？
2006/03/15(水) 18:45:35
まず"namazu (適当なキーワード)" で検索結果がでる？
出なければ~/.namazurcか/etc/namazurcでのインデックスのパスが違う
2006/03/15(水) 20:23:56
ports@FreeBSDのnamazu2が更新そぞろなも。
2006/04/05(水) 12:56:41
Emacsでnamazu.elを使用しているのですが、
出力結果をutf-8にしたいのですが、どの辺をいじれば可能でしょうか
2006/04/05(水) 23:26:44
奈辺
148名無しさん＠お腹いっぱい。
垢版 |
2006/04/25(火) 09:19:38
なまずでサイズの小さく、検索の早く、漏れのないインデックスの作り方。

なまずにすべての作業を任せずに文字コード変換、Kakasiをあらかじめ
自分でやっておく。 フィルタも使わない。
自分で確実にテキストに変換できたことを確認してからなまずに渡す。

インデックスに登録しないような一語の単語や記号などをあらかじめ削除する。

これでOk>
2006/04/27(木) 01:07:07
>>148
専用のスクリプトを用意して cron とかで作成させると
効果的なんだろうか？
150名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 02:24:29
>>149
nkfの最新版(それ以前もたぶん)はUTF-8の文字コードを誤認する。
これをすべてNAMAZUに任せると当然、検索できないindexが作成される。
丹誠込めて念入りにindexを作ることが重要だ。ちゃんと変換できてるとか目で見て。
2006/04/27(木) 05:32:59
>>150
ああ、文字コードはそうかもね。
で、どうやって >>148 みたいなフィルタの結果をなまずに渡すの？

$ フィルタスクリプト | mknmz とか？
152名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 05:50:57
ふつうにテキストで固定してindexを作成する。オプションの設定。
なまずは自動判別するからpdfでもhtmlでも中身がテキストなら
そうなるけどテキストに固定した方が早い。
153名無しさん＠お腹いっぱい。
垢版 |
2006/04/27(木) 06:07:34
>>151
たとえば10000ファイルあったとしたら
構造、拡張子を保ったまますべてのファイルをEUCコードに変換する。
そしてまたすべてのファイルを分かち書きする(-wオプション)。
154名無しさん＠お腹いっぱい。
垢版 |
2006/04/28(金) 16:43:24
UTF-8を誤認することは間違いないのだがどれがUTF-8かを見つけるのが苦労する。
155名無しさん＠お腹いっぱい。
垢版 |
2006/05/03(水) 19:52:08
データだけ他サーバーに置くことは出来ますか？
あと複数のindexを検索するにはどうしたらいいですか。
2006/05/06(土) 17:54:36
データだけ他サーバー =>できる。
複数のindexを検索する =>マニュアル夜目。
2006/05/06(土) 19:04:08
マニュアル夜目 =>断る。
158名無しさん＠お腹いっぱい。
垢版 |
2006/05/06(土) 23:36:46
>>156
でも動作鈍いんですよね？
無料のとくつーにデータ全部おくことにします。
fc2にデータおいて広告なし無料cgi可のページから検索したかったんですけど。
2006/05/07(日) 18:51:41
nfsdとか動いてないとダメなんじゃないのか？
2006/05/08(月) 08:11:15
いや、『データ』だけ他のサーバにおくのはかんたんでしょ。読み出せないけど。
161名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 17:13:27
少し困っていることがあるので，教えてください．

Namazuのログで，検索ワードにヒットした文書ごとの
検索ワードの出現回数TFを出力できたりしますでしょうか？
ご教示お願いします．

また，タイトル<title>にその検索ワードが使われていたかどうか
などもログ出力できると助かるので，そういうことができるか
もお教えください．
162名無しさん＠お腹いっぱい。
垢版 |
2006/06/01(木) 21:00:39
あげ
163名無しさん＠お腹いっぱい。
垢版 |
2006/06/05(月) 11:05:16
age
2006/06/07(水) 23:08:46
ユカコ☆スレに遊びにこいよ！

http://travel2.2ch.net/test/read.cgi/kyoto/1148668530/l50
新着レスの表示
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況