Namazu全文検索システム

**名無しさん＠お腹いっぱい。** · 2001/06/14(木) 09:17

全文検索システム Namazu
http://www.namazu.org/

日本語全文検索エンジンソフトウェアのリスト
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/other-system.html

前スレ http://tako.2ch.net/test/read.cgi?bbs=perl&key=981352718

**名無しさん＠お腹いっぱい。** · 02/01/12 04:40

age

**名無しさん＠お腹いっぱい。** · 02/01/13 16:11

もう、、下げといてやれよ。。

**名無しさん＠お腹いっぱい。** · 02/01/13 19:32

>>54
再利用というか、もっかい盛り上がることが出来ないスレなんですか？(笑)

**名無しさん＠お腹いっぱい。** · 02/01/25 06:48

半年で、50位か。1000までいったら感動するな。あげ

**名無しさん＠お腹いっぱい。** · 02/02/18 08:00

age

**１００１ Over 1000 Thread** · 02/02/18 10:21

このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。

**名無しさん＠お腹いっぱい。** · 02/02/19 07:42

age

**名無しさん＠お腹いっぱい。** · 02/02/20 22:28

関連スレ
全文検索エンジンNamazu @ Unix板
http://pc.2ch.net/test/read.cgi/unix/1009715036/l50

**nobodyさん** · 02/03/11 21:08

namazuの検索、なんか使いにくいんだけど。。
変に文節で区切らずに、googleみたいに普通に検索してくれたら
それでいいのに。。

**nobodyさん** · 02/03/11 23:50

>>61
うん。

**nobodyさん** · 02/03/12 07:59

>>61
これのこと?

>日本語がでたらめにわかち書きされてしまう
>{ [ 最: 1 ] [ 新: 0 ] [ 情: 0 ] [ 報: 0 ] :: 0 } のように、
>でたらめにわかち書きされることがあります。
>これは、そもそも最新情報という言葉が検索対象に含まれないことを意味します。
>検索はあきらめましょう。

それとも、インデックス作るときの分かち書きをしないでほしい、ってこと?
それって実現できるのか?

**nobodyさん** · 02/03/18 17:35

googleはユーザーにあまり意識させないだけで、分けて探してるよ

**nobodyさん** · 02/03/19 11:29

googleわけてるかな？
日本語は解析していないように見えるけど…。
英語はスペースでわけるだけだから楽だね。
それにしてもgoogleはスペルミスの修正判断も出してくれたりすごい。
つーか20億ページを0.1秒で検索できるのが単純にすごいと思うのだが。
ローカルでほしい、、

**nobodyさん** · 02/03/19 12:54

>>65
googleも分かち書きしてるらしい、という実験結果がある。

検索エンジンのしくみ教えます
http://www.google.com/search?hl=ja&ie=Shift_JIS&oe=Shift_JIS&q=cache%3AALmw0POy8V4C%3Awww.mars.sphere.ne.jp%2Fengine%2Fchap_g1.htm+site%3Awww.mars.sphere.ne.jphl%3Dja+Google&lr=lang_ja

なんか 403 forbidden になってるんでgoogleのキャッシュで見てね。

**nobodyさん** · 02/03/19 14:31

>>66 さん、ありがとうございます。
ほんとだ。分かち書きしてる、、
うむ、googleはちゃんと各言語ごとにチューンしてるんですね。

**nobodyさん** · 02/03/19 15:32

逆に言えば、分かち書きエンジンの精度さえ向上させれば、
google並みのことはできるってことだよね
(もちろん、PageRank とかは抜きにして)。

いつも kakasi だけど、Chasen を使ってみようかなあ・・・。

**nobodyさん** · 02/03/19 15:52

個人で使うような件数の多寡が知れているようなシステムだったら、純粋に全件マッチ検索の方が便利だよね。

**nobodyさん** · 02/03/19 20:25

>>68
googleの肝は結果の表示順序。(pagerankもそれを支える情報の一つ）
なので、namazuに少し手を入れたぐらいではgoogle並にはならないよ。
ヒット数が少ない場合、関係ないけど。

**nobodyさん** · 02/03/19 20:38

>>70
その点は激しく同意。

ただ、分かち書きの精度を上げることで、
>>61 のやりたいことは実現できるんじゃないかな、って思った。

**nobodyさん** · 02/04/24 13:48

（´_ゝ｀）フーン

**ato** · 02/05/09 14:31

Namazu使ったPDFの全文検索でページしていとかできますか？

**nobodyさん** · 02/05/10 00:55

Namazu使ったJPGの全文検索でページしていとかできますか？

**nobodyさん** · 02/05/10 02:55

>>70
いまさらだが、NamazuへのPageRankの実装は、この論文が有名。
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/pagerank.html

**nobodyさん** · 02/05/10 07:02

>>75
まだ、このスレが生きていたとはね
興味深い文章サンクス。
改めて深入りできない、しちゃいけない分野だと再確認したよ

**nobodyさん** · 02/05/10 20:41

77ｹﾞｯﾄｵｫｫｫｫ！！
￣￣￣￣￣∨￣￣￣　　　　　　　(´´
　　　　 ∧∧　　　）　　　　　　(´⌒(´
　　⊂（ﾟДﾟ⊂⌒｀つ≡≡≡(´⌒;;;≡≡≡
　　　　　　￣￣　 (´⌒(´⌒;;
　　　　　　ｽﾞｻﾞｰｰｰｰｰｯ

**nobodyさん** · 02/05/24 03:19

(・∀・)ｲｲ!

**nobodyさん** · 02/05/27 19:51

類似スレッド

WWW検索エンジンサイト
http://pc.2ch.net/test/read.cgi/esite/973436559/l50

**nobodyさん** · 02/06/06 04:44

ひさしぶり！

**nobodyさん** · 02/06/09 00:21

コレ、namazuの対抗馬になれるか？
http://freshmeat.net/projects/snatcher/

**山拓変態問題** · 02/06/20 09:30

mp3用のフィルタって誰か書いてないかしら?

**nobodyさん** · 02/06/20 09:39

Namazuでmp3用のフィルタ？？？
わからん、俺がアフォなだけか？

**nobodyさん** · 02/06/20 12:41

>>82
ID3タグでも検索するのか？
そういうのはふつー DB 使うだろ。

**山拓変態問題** · 02/06/20 15:09

>>83-84
自分のホームヂレクトリをクロンで毎晩なめてるんだけど、
どうせなら、ID3も見てくれないかなと。
変かなぁ。

**82=85** · 02/06/20 15:34

って、WEBプログラミングとは、違いますな。
スレ違いスマソ。

**nobodyさん** · 02/06/25 01:01

>>86
なるほど、mp3 の中に埋め込まれたテキストも「文書」として扱い、
検索対象としたい、ってわけね。全然変じゃない。むしろ面白い。
やってることは google のイメージ検索みたいな感じかな。

perl でサクッと書けそうな雰囲気。
ぜひトライしてみて。

あと、Web プログラミングとは関係ないけど、
Namazu に関係あればいいと思うよ。

**nobodyさん** · 02/06/25 02:46

いや、それをWebから使えるようにすりゃWebプログラミングと
むちゃくちゃ関係あるじゃん。

> やってることは google のイメージ検索みたいな感じかな。

イメージ検索は外部から関連性を持ってくるのでちと違うような。
内部のID3だけだったらPDF検索くらいに対応するだろう。
ぜんぜんNamazuじゃなくても良さそうだけど、他と串刺し検索するなら
やっぱり便利かも。

**nobodyさん** · 02/08/12 22:58

うなぎ食べたいね。

**nobodyさん** · 02/09/02 23:28

ナマズﾏｽﾞｰ

**nobodyさん** · 02/09/20 08:19

ｳﾏｰ

**nobody** · 02/09/21 15:05

検索結果で表示されるファイルの先頭部分のサイズを変更できますか？
やりかたを教えて下さい。

**nobodyさん** · 02/09/25 08:37

wget
でURLテキスト-iで、ディレクトリ作成-x
しながらページ拾ってくると、
稀にディレクトリ作成(www.aaa.xxx)されなくて
関係ないディレクトリ(www.bbb.xxx)にページを
格納してしまいます。

このままindex作るとURLリンクが関係ないところに。
どうしてだろう。困った。

**nobodyさん** · 02/09/27 20:30

Office XPファイルは、インデキシングできないのかなぁ。

**nobodyさん** · 02/09/28 02:50

　　　　＠ノハ＠
　ﾋﾟｭｰ（　‘ д‘）
　　＝〔~∪￣￣〕
　　＝◎－－◎

**名無しさん＠お腹いっぱい。** · 02/10/07 17:04

　　＠ハヽ＠
　 (' д ‘）ﾋﾟｭｰ
　　〔~∪￣￣〕＝
　　 ◎－－◎＝

づかれたゾイ

**名無しさん＠お腹いっぱい。** · 02/10/07 17:05

↑車輪がずれたゾイ

**nobodyさん** · 02/11/02 15:20

ｳﾏｰ

**Windows における namazu w/chasen** · 02/11/03 10:47

Chasen を使ったインデックス作成が出来ません
http://www.namazu.org/ml/namazu-win32-users-ja/msg00671.html
http://www.namazu.org/ml/namazu-win32-users-ja/msg00672.html
http://www.namazu.org/ml/namazu-win32-users-ja/msg00692.html

を見ると、2001/05 時点で chasen を使ったインデックス作成は
cygwin 環境で行うことができるようですが、
現在も chasen を使おうとすると cygwin 上で行うのが妥当でしょうか？

**Windows における namazu w/chasen** · 02/11/03 11:17

>>99
Chasen 2.0.2 は cygwin 上で問題なくコンパイルできました。

**Windows における namazu w/chasen** · 02/11/03 11:33

Namazu 2.0.12 は cygwin 上で問題なくコンパイルできました。
cygwin のデフォルトの perl 関連のパッケージでは File::MMagic はインストールされないので、
CPAN http://search.cpan.org/dist/File-MMagic/ からダウンロードしてきて
あらかじめ (configure の前に) インストールしておく必要があります。

**Windows における namazu w/chasen** · 02/11/03 14:10

namazu + chasen は cygwin で問題なく動きました。
cygwin のコアDLLのバージョンは 1.3.14-1 です。

**nobodyさん** · 02/11/03 23:09

>>99
全部cygwinでやる方法以外無いのでは？
そもそもkakasiを使う事が推奨されていて。
茶筅は結構イレギュラーな方法なわけだし。
（運用上結構問題がある）

**nobodyさん** · 02/12/03 00:32

ｳﾏｰ

**nobodyさん** · 02/12/26 00:21

namazuを2chのdat形式に対応させようとしている人っていますか?
形式自体はレス1つが1行になっているだけなんだけど、<a name="hoge">をつけるのもなんか違う気がするし。
ファイル名と行数だけ教えてくればそれでよいんですが。
Namazuでやっているようなこと、ChaSenで分かち書きしてインデックス作ってcgiで検索っていうのも作りかけたけど、
車輪の再発明になりそうで中断してる。

**nobodyさん** · 02/12/26 00:41

>>105
dat からそのままインデックスを作りたいってこと?
mknmz 用のフィルタを書けばいいだけだよね。
perl だし結構簡単そうだね。

**nobodyさん** · 02/12/26 01:19

>>106
そのとおりっす。
各行の先頭に<a name="スレ番号"></a>入れて、理由は不明ですが、先頭行に適当に<html>とか入れてあげて、
mknmz --html-split -a hogohoge.dat
でインデックスは作れたし、検索もできるのは分かるのですが、
mknmzのソースのprocess_file辺りを見ると、コメントに、FIXME: Very complicated.とあるくらいなんで、めんどいなと。
html向けには分割して処理してるみたいですし。
誰か同じようなこと考えていないかなと。

**nobodyさん** · 02/12/26 01:48

>>107
read.cgi が出力する html をインデックスするよりも、
dat から直にインデックスする方がきっと速い。
いちいち dat から html 作らないから、不要なファイルを作らなくてもよい。
html として出力するのは 2ch ビューアとか、read.cgi に一任できる。
利点はこのあたりかな。みみずんとか喜びそうだよね。

結局、mknmz の仕様に則ったフィルタを作ればいい。
html.pl とか参考にして作ってみたら?
http://cvs.namazu.org/namazu/filter/html.pl?rev=1.34&content-type=text/vnd.viewcvs-markup

もし実現できたら、cvs にある scheme/http.pl と組み合わせて、
2ch.net の dat を直接インデックスできるかな。
あ、今 2ch.net は dat 直読みできないんだっけ? だめか。

**nobodyさん** · 02/12/26 02:05

>>108
フィルタ自体はHTMLのでも十分なんですよ。
--html-splitなしでは、mknmzってファイル単位でしかインデックス作らないじゃないですか。
datってスレ毎で、全レスが入っているから、スレごとにしか検索できないことになってマズーなのです。
p2 ( http://pc.2ch.net/test/read.cgi/mac/1034199997/ )のdatを2次利用したいなと思っていろいろ試してます。
>>107 に書いたように、mknmzのprocess_fileあたりの--html-split処理部を書き換えてみてます。

**nobodyさん** · 03/01/02 18:30

>>109
--html-split的なファイル分割を実現している人がいます。
本家には全く取り込まれていませんが…

Emacsのinfoファイルの分割(X-ml-name: namazu-devel-ja X-mail-count: 02059 )
http://www.namazu.org/ml/namazu-devel-ja/msg02063.html

PDFファイルをページごとに分割(X-ml-name: namazu-devel-ja X-mail-count: 01951)
http://www.namazu.org/ml/namazu-devel-ja/msg01950.html

つーかどちらも実装したのは僕ですが…

実現は単純だと思います。
行ごとにsplitするだけでとりあえずは実装できると思います。
見やすいようにフィールド情報を与えるためにはちょっと工夫がいるかもしれません。
ただフィールド情報が無くても十分有用だと思います。
そのページだけじゃわかりづらいと思うのでわからなかったら質問してください。

navi2chやら他の2ちゃんねるブラウザと連携すれば便利かもしれません。
ある特定のスレだけを検索対象にしてwebに公開しても便利かもしれません。

**nobodyさん** · 03/01/03 09:06

管理の都合上、
すべてのページについて、php4とpostgresを使っていて、
URLは http://domain.com/foo/?category=bar の形式で作ってるんですが
（fooとbarはいろいろ変わる＆postgresでページの階層構造を管理してる）
これにNamazuを導入するには、どうすればいいんでしょうか・・・？

**nobodyさん** · 03/01/03 09:29

**111** · 03/01/03 18:29

あーれー、レスがない。

**nobodyさん** · 03/01/03 18:42

>>113
そういうこと書くと逆効果。大体お正月で人いないし。
そうだなあ、来週の金曜までにレスが無かったら、私がレスするよ。

**nobodyさん** · 03/01/03 18:49

>>113
この板でたかだか９時間くらいで何をいってるんだか。
再来週の木曜日までにレスがなかったら俺がレスするよ。

**111** · 03/01/04 00:23

とりあえず、それまでに、自学でなんとかできるかできないかなでの段階に、
・・・いきたいな

**111** · 03/01/04 19:17

検索にひっかからない。。。

「php namazu インデクサ」とじゃ
「php namazu シェルスクリプト」とかで検索してるんだけど、
いまいち該当しない。

検索のヒント、ください。

**111** · 03/01/11 17:11

ｼｮﾎﾞｰﾝ

**nobodyさん** · 03/01/11 18:22

namazuかぁ。
ひらがなとかカタカナのもうめちゃくちゃな弱ささえ克服できればなぁ。
kakasiにひらがな単語の辞書登録さえあれば…。

もともと、そーゆープログラムではないから
ＡＱに採用されることないけど。

**山崎渉** · 03/01/15 13:33

（＾＾）

**nobodyさん** · 03/01/17 16:56

>>119
茶筅にしる!

**nobodyさん** · 03/01/18 02:26

Googleみたいにヒットした単語の周囲の文章をサマリ表示させてほしい。
サマリは直接生成。

**nobodyさん** · 03/01/18 07:01

ところで、ウチのプロバイダはCGI使えないんだけど、全文検索（Namazuじゃなくても可）できる方法ないですかね。

**nobodyさん** · 03/01/18 15:04

>>123
あらかじめ検索用のインデックスを作っておいて、javascriptで、～～～～

**124** · 03/01/18 15:07

よく考えたら、自分の所でCGI使えなくても、
CGIを使えるサーバーを借りたら、解決だった。

**nobodyさん** · 03/01/18 16:10

>>122
pnamazuつかえ

**nobodyさん** · 03/01/18 22:45

>>122
自分的にもそれは必須の機能だと思うんだけどなぁ。
頭の部分だけ静的に切り出したサマリーでずらずら検索で引っ掛かってきてもあんまサマリーの意味ない。
メーリングリストみたいにタイトルが内容の要約になってる、とかならいいんだけど。

**nobodyさん** · 03/01/21 15:04

、、、すんません　教えて下さい。
Namazu 2.0.12 for Win32をWin98で使用しています。
mknmzを実行すると、下記のエラーが出てしまいます、、、

Can't locate File/MMagic.pm in @INC (@INC contains: . C:/Perl/lib C:/Perl/site/
lib .) at C:\USR\LOCAL\NAMAZU\BIN/mknmz line 34.
BEGIN failed--compilation aborted at C:namazu\bin/mknmz line 34.

お分かりになる方、いらっしゃっいましたら
ご教授ください。お願いします！

**nobodyさん** · 03/01/21 23:04

MMagic が適切なパスにないか、インストールしていない。

**nobodyさん** · 03/01/22 00:18

>129さん　早速のレス、ありがとうございます。
MMagicのインストールを行おうとすると、エラーがでるので確かにインストール
されていないようです。
namazuのパッケージに含まれてるppmは、500番台と600番台の２つなのですが
私のActivePerlのビルド番号を確認すると、804となっています、、、。
これが原因なんでしょうか？

**nobodyさん** · 03/01/22 22:49

kabayaki使えYO!

**nobodyさん** · 03/01/22 22:55

「パソコンの仕組み」

http://pc1.moo.jp

パソコン・インターネットの仕組み、パソコン自作・サーバー構築法について、動画や静止画を豊富に取り入れて、初心者向けに基礎から分かりやすく解説しています。

ガンガン、アクセスしてください！！

**nobodyさん** · 03/01/22 23:06

小遣い稼ぎ
http://banana.fruitmail.net/cgi/introduce_jump2.cgi?1363289

**nobodyさん** · 03/01/23 09:19

chasen使ってる人に質問です。
やっぱりkakasiより検索精度あがりますか？
とくにひらがな単語やカタカナ単語で。

**nobodyさん** · 03/01/24 13:46

　おまいら、namazuで検索するファイル数ってどのくらいですか？
1ディレクトリで1000ファイルオーバーとかって、インデックス
作るのに問題ないっぽい？
　なんか、毎日自動でインデックス作ってるんだけど、ちゃんと
インデックス作れてない(検索できない)場合が時々あるのよ。手動で
作ってやるとちゃんと動くところがまた憎らしい。

**nobodyさん** · 03/01/24 15:43

wgetの収集でたまにぜんぜん関係ないディレクトリに
index.htmが格納されて困るんだけどなんでだろう。
ブラウザ動かしながらやるとミスするのかなぁ。

win2k

**nobodyさん** · 03/01/25 15:38

pnamazuのほうがヒットしやすいのでしょうか？

perl版でインデックス作らないとダメなのでしょうか？

そのままのインデックスでpnamazu.cgiでとりこぼしが減るのでしょうか？

**nobodyさん** · 03/02/05 04:47

保守

**nobodyさん** · 03/02/05 06:56

http://homepage3.nifty.com/digikei/ten.html
いいね～　これ♪

**nobodyさん** · 03/02/05 09:04

アダルトの宣伝↑

ナマズの派生で、カバヤキっていうのでたけど使ってる人いる？

**nobodyさん** · 03/02/05 09:11

http://www.agemasukudasai.com/bloom/

**nobodyさん** · 03/02/05 10:12

初めて Namazu 使ってみたけど、SI には使いづらい作りだな…

**nobodyさん** · 03/02/05 11:27

>>142
どこら辺が?
内容によっては、回避策や運用のテクニック教えてあげられるかも。

**nobodyさん** · 03/02/07 03:32

MS-Access + ASP の like による全文検索と Namaz でインデックス
作成した全文検索ってどのくらいパフォーマンスが変わってくるかなー

検索対象レコード：１０００、検索対象フィールド：３
各フィールド６０，０００文字ぐらいで考えてるんだけど、
MS-Access + ASP じゃ無理あるかな・・・
２、３秒で検索結果がでてくればいいのですが・・・
インデックスの作成自体、最近気づいた愚か者ですが、
よろしくお願いいたします　 m(_ _)m

**nobodyさん** · 03/02/07 06:28

http://jsweb.muvc.net/index.html
？？？？？？？？？

**nobodyさん** · 03/03/07 18:19

UNAGI

**nobodyさん** · 03/03/08 13:01

Namazuが装備されてるレン鯖なら
http://www.akira.ne.jp/index.htm

**nobodyさん** · 03/03/08 16:11

あるファイルを処理できるフィルターが複数あるとき、
どちらを使うかはどうやって決まるのでしょうか？

**山崎渉** · 03/03/13 17:05

（＾＾）

**nobodyさん** · 03/03/13 20:02

(・∀・)ｲｲ!

**nobody** · 03/03/28 00:40

(´-`).｡oO(保守……。)

**山崎渉** · 03/04/17 12:25

（＾＾）

**山崎渉** · 03/04/20 06:08

　　 ∧＿∧
　　（　　＾＾）＜ぬるぽ（＾＾）