50万件全文検索に絶えられるカートありますか?
0001nobodyさん
垢版 |
2006/06/01(木) 00:30:24ID:khUw4/4Z
一件(一商品)当たり100〜200バイトで50万件。
レンタルサーバーで動かすので相当負荷は軽く、データ量も数百MB以内、
5秒以内に制限されているCPU使用時間内でデータが帰って来る。
カテゴリごとの絞込みやカテゴリ内検索あり。
Amazonのようなものをイメージしてもらえばいいです。

できれば携帯対応。自分で改造可。フリーか格安。
こんなショッピングカートありますか?

実は今作っていてそれなりにできているんですけど
(もちろん上の条件を満たすめどは立っています)
もしこんなのがすでにあったら泣きますw

相当時間かかって社長に怒られかけています。
一人でこれをやるのはやはり無謀だと思いますか?
今頃聞くなってねw
0096nobodyさん
垢版 |
2006/06/08(木) 14:30:30ID:???
システムがあらかた出来上がったら、仮ドメインで立ち上げて、
URLをここで晒して負荷&耐クラックテストしてもらうといいよ。
0097nobodyさん
垢版 |
NGNG
ここ、>>88を釣り上げられず逃げられてる様な気がするが
0099 ◆q7BsfXkBW.
垢版 |
2006/06/21(水) 15:24:34ID:2vKWWFpU
はい。おひさしぶりです。>>1です。
ID違うかもしれません。

あれから別件の仕事が入ったりして、ようやく形になりました。
現在とりあえず稼動してまーす。

・あれからやったとこ
とりあえず50万件でテストしました。データが多くヒットしてソートして
offset○○万件から表示ってするとさすが二時間かかりましたね。
それでも、かかって4秒程度にはなったと思います。

ただ、一度MacOSXでテストして、そのときulimitでサーバーと同じように制限したのに、
実サーバーではえらく遅かったので、ちょっとやばい部分があるかもw
これはフィールドの順番を入れ替えて、データをソート済み状態にすることで解決しましたけど。

実データはただいま、2万5000件。いろんな検索クエリーを実行したところ、
おおむね0.25秒(検索部分のみ)程度で返ってきています。
0100 ◆q7BsfXkBW.
垢版 |
2006/06/21(水) 15:25:57ID:???
> offset○○万件から表示ってするとさすが二時間かかりましたね。
いやいやいやw 二時間じゃないってw

さすがに時間かかりましたね。
の間違いです。
0101nobodyさん
垢版 |
2006/06/21(水) 15:46:07ID:???
結局専鯖にしたん?
全文検索はMySQLにsennaとか足して?
0102 ◆q7BsfXkBW.
垢版 |
2006/06/21(水) 15:53:04ID:???
>>101
結局安いレンタルサーバーのままですw
データベースはSQLite。

やっべ、これからどういう理由で専用サーバー借りたらいいんだろう。
なんか言い訳考えなきゃw
0103nobodyさん
垢版 |
2006/06/21(水) 15:55:39ID:???
へーSQLiteって結構速いんだな
0104nobodyさん
垢版 |
2006/06/21(水) 15:58:39ID:???
>>1
全然関係ない話でスマソ。
そのトリップキーって人名?
0105nobodyさん
垢版 |
2006/06/21(水) 16:36:59ID:???
ありゃ、いなくなっちゃったか。
もしそうだとしても別に特定しようとか悪さしようとかじゃないので
気が向いたらレスよろしく。
0106nobodyさん
垢版 |
2006/06/21(水) 18:10:20ID:???
SQLiteの全文検索ソリューションて何よ?
0107 ◆q7BsfXkBW.
垢版 |
2006/06/21(水) 19:14:13ID:???
>>104
> そのトリップキーって人名?
いや。文章。全角10文字。    ってその質問なんのため?w

>>106
> SQLiteの全文検索ソリューションて何よ?
n-gram

mecab、chasenはコンパイルできずに入らなかったし、
kakashiはカタカナの分かち書きできないし、
辞書のメンテ面倒だし、漏れあるのいやだったから。
0108104
垢版 |
2006/06/21(水) 19:27:30ID:???
>>107
thx
全然別のところで同じトリップでちょっとヤバめなヤツが「本名をトリップキーにした」
って言ってたから、本当かなと思って。
うーん、なんだろ。
もうちょっとヒントくれない?w

でも全角だと5文字目以降は無意味じゃなかったかな。
念のため聞くけど、文頭に人名入ってたりしないよね?
0109 ◆q7BsfXkBW.
垢版 |
2006/06/21(水) 19:30:19ID:???
> でも全角だと5文字目以降は無意味じゃなかったかな。
えっ?そうなの?だとしたら、俺のトリップ全角5文字でも同じってこと?
やってみるか。
0110104
垢版 |
2006/06/21(水) 19:31:58ID:???
>>109
5文字目以降が無意味だから4文字でも同じ。
ちょっといいこと教えたからヒントちょうだいw
0112 ◆2e6RykZOL6
垢版 |
2006/06/21(水) 19:45:11ID:???
じゃあトリップ変更しまーす。
0114104
垢版 |
2006/06/21(水) 19:47:29ID:???
なるほど、納得&すっきりしたよ、ありがとう。
なんか迷惑かけてしまったみたいでスマソ。
では引き続きスレタイに戻ってがんがってくれ。
0116nobodyさん
垢版 |
2006/06/22(木) 10:15:00ID:FZYVP71S
0118nobodyさん
垢版 |
2006/06/24(土) 04:12:32ID:???
>>107
自前でコンパイルできないレン鯖 + SQLite で日本語全文検索できるように
n-gram ベースのエンジン自前で実装したってこと?
俺も使いてえ。ぜひそこの部分の記録やソースを公開して欲しい。
0119nobodyさん
垢版 |
2006/06/24(土) 07:23:36ID:???
>>118
>ぜひそこの部分の記録やソースを公開して欲しい

ふざけんな金払えタコ。
0120nobodyさん
垢版 |
2006/06/24(土) 07:35:07ID:???
ていうか
1の強みって「レン鯖で」全文検索が出来るだけじゃん。
レン鯖でそんなことをする必要はないし、
むしろしない方がいいから、
senna等の使用者の多いソリューションをやる方が普通はいいだろう。
0121nobodyさん
垢版 |
2006/06/24(土) 13:33:13ID:???
「レン鯖でそんなことをする必要はないし」といったら、
じゃあレン鯖は何のために存在するんだよw

掲示板だって、ウェブサイトだって、レン鯖でする必要は無いぞ。
0122nobodyさん
垢版 |
2006/06/24(土) 14:26:06ID:???
レン鯖で済ませるような業者が
全文検索が必要な程規模がでかいことは滅多にないだろうし、
専鯖を使うなら既にソリューションは確立しているってことさ。
0123nobodyさん
垢版 |
2006/06/24(土) 14:44:21ID:???
> 全文検索が必要な程規模がでかいことは滅多にないだろうし、
全文検索が規模がでかいと思うことがそもそもの勘違いだな。
0124nobodyさん
垢版 |
2006/06/24(土) 15:35:26ID:???
レン鯖使うなんて
商品数1000件にも満たない糞ショップだろうから
like検索で充分やん
0125nobodyさん
垢版 |
2006/06/24(土) 22:49:37ID:???
とりあえず、技術力では、お前らよりも>>1の方が上だな。
0126nobodyさん
垢版 |
2006/06/25(日) 00:59:26ID:???
「レン鯖」と「共用鯖」を混同して使ってるヤシが多いな。

実際には専鯖だってレン鯖なことが多いわけだが。
0127nobodyさん
垢版 |
2006/06/25(日) 13:29:16ID:???
まあこの場合は文脈からして強要鯖のことだろ
0128nobodyさん
垢版 |
2006/06/28(水) 02:39:49ID:???
「強要」鯖ねぇ・・・うーん。

「おらぁ!! Apache使えオラァ!!」って言う鯖なのかな?w
0129nobodyさん
垢版 |
2006/06/29(木) 22:43:25ID:???
さくらの専鯖\6800でよくない?”5000ぐらい”の範囲内 (業者じゃないよ・・w
0130nobodyさん
垢版 |
2006/07/01(土) 23:36:47ID:???
>>112
お前さ、こんなシステムタダで社長にくれてやるの損だぜ
独立して自分で経営した方が得だと思うんだがな、どうだ俺と独立しないかw?
0132nobodyさん
垢版 |
2006/07/22(土) 22:53:46ID:???
お久しぶりです皆さん。もういないですかね。
トリップ忘れましたが、>>1です。

現在データ量は3万5000件に増えました。
ファイルサイズは80M、不足している項目を入れたら100M超えるでしょう。
インデックスデータが多いです。

あれから検索スピードに影響が出る設計変更を行ったので
少し遅くなりました。それでも最悪のケースで1秒程度、
検索キーワードをちゃんと入れたごく普通の検索で0.3秒程度ですが。

もしかしたら、今度複数店舗つないだ、POSみたいなシステムに
レベルアップしそうです。専用サーバーにする口実にしようと思います。
サーバーの管理が大変そうですが。
自由にいろいろ入れられるので、今度は普通にsennaでもいれようと思います。
0133nobodyさん
垢版 |
2006/08/01(火) 21:06:48ID:???
さてデータ量は10万件を超えました。
さすがに、これだけになるとファイルは280Mになってしまったので、
とりあえず上位のプランに変更しました。
(専用サーバーへの移行は時間がかかりそうなので保留)
ひと段落着いたので、これ以上大幅に増えることは無いでしょう。

検索スピードは、問題ないレベルでまずまずです。
時たま時間がかかるのは、ディスクからデータ読み込んでいるせいでしょうかね。
これは単純に本格的なデータベースサーバーを使ってメモリを多く使える
専用サーバーに変えるだけで解決しそうな問題です。
0135nobodyさん
垢版 |
2006/11/23(木) 23:18:28ID:???
最近はこういう手間掛けたくない案件は全部Google miniでお茶を濁してるな。
0139nobodyさん
垢版 |
2008/11/30(日) 03:52:51ID:cad4ToLW
てすと
0143nobodyさん
垢版 |
2015/11/12(木) 16:05:24.36ID:U/LV8RCK
転職の際に必ず思い出してください。
下記の条件が全て当てはまる会社にご注意下さい。

・IT系 in 東京
・転職会議で2.5点
・転職会議の「その他>2ch情報」の欄で過去の労基2chスレが表示される
0144nobodyさん
垢版 |
2017/12/30(土) 13:54:32.01ID:YhlYw6jg
誰でも簡単にネットで稼げる方法など
参考までに、
⇒ 『半藤のブブイウイウレレ』 というサイトで見ることができます。

グーグル検索⇒『半藤のブブイウイウレレ』

UUGRNQ5J59
0145nobodyさん
垢版 |
2023/09/09(土) 23:18:12.20ID:???
それってどうやって変えるの?
レスを投稿する


ニューススポーツなんでも実況