50万件全文検索に絶えられるカートありますか?
一件(一商品)当たり100〜200バイトで50万件。
レンタルサーバーで動かすので相当負荷は軽く、データ量も数百MB以内、
5秒以内に制限されているCPU使用時間内でデータが帰って来る。
カテゴリごとの絞込みやカテゴリ内検索あり。
Amazonのようなものをイメージしてもらえばいいです。
できれば携帯対応。自分で改造可。フリーか格安。
こんなショッピングカートありますか?
実は今作っていてそれなりにできているんですけど
(もちろん上の条件を満たすめどは立っています)
もしこんなのがすでにあったら泣きますw
相当時間かかって社長に怒られかけています。
一人でこれをやるのはやはり無謀だと思いますか?
今頃聞くなってねw システムがあらかた出来上がったら、仮ドメインで立ち上げて、
URLをここで晒して負荷&耐クラックテストしてもらうといいよ。
ここ、>>88を釣り上げられず逃げられてる様な気がするが はい。おひさしぶりです。>>1です。
ID違うかもしれません。
あれから別件の仕事が入ったりして、ようやく形になりました。
現在とりあえず稼動してまーす。
・あれからやったとこ
とりあえず50万件でテストしました。データが多くヒットしてソートして
offset○○万件から表示ってするとさすが二時間かかりましたね。
それでも、かかって4秒程度にはなったと思います。
ただ、一度MacOSXでテストして、そのときulimitでサーバーと同じように制限したのに、
実サーバーではえらく遅かったので、ちょっとやばい部分があるかもw
これはフィールドの順番を入れ替えて、データをソート済み状態にすることで解決しましたけど。
実データはただいま、2万5000件。いろんな検索クエリーを実行したところ、
おおむね0.25秒(検索部分のみ)程度で返ってきています。 > offset○○万件から表示ってするとさすが二時間かかりましたね。
いやいやいやw 二時間じゃないってw
さすがに時間かかりましたね。
の間違いです。 結局専鯖にしたん?
全文検索はMySQLにsennaとか足して? >>101
結局安いレンタルサーバーのままですw
データベースはSQLite。
やっべ、これからどういう理由で専用サーバー借りたらいいんだろう。
なんか言い訳考えなきゃw >>1
全然関係ない話でスマソ。
そのトリップキーって人名? ありゃ、いなくなっちゃったか。
もしそうだとしても別に特定しようとか悪さしようとかじゃないので
気が向いたらレスよろしく。 >>104
> そのトリップキーって人名?
いや。文章。全角10文字。 ってその質問なんのため?w
>>106
> SQLiteの全文検索ソリューションて何よ?
n-gram
mecab、chasenはコンパイルできずに入らなかったし、
kakashiはカタカナの分かち書きできないし、
辞書のメンテ面倒だし、漏れあるのいやだったから。 >>107
thx
全然別のところで同じトリップでちょっとヤバめなヤツが「本名をトリップキーにした」
って言ってたから、本当かなと思って。
うーん、なんだろ。
もうちょっとヒントくれない?w
でも全角だと5文字目以降は無意味じゃなかったかな。
念のため聞くけど、文頭に人名入ってたりしないよね? > でも全角だと5文字目以降は無意味じゃなかったかな。
えっ?そうなの?だとしたら、俺のトリップ全角5文字でも同じってこと?
やってみるか。
>>109
5文字目以降が無意味だから4文字でも同じ。
ちょっといいこと教えたからヒントちょうだいw へぇ。そうだったのか。ヒントでいいの?w
答え教えるよ?
「俺は馬鹿」 新しいトリップは>>112でーす。
それではIPも変更しまーす。
この板名前に使用できる文字数短い? なるほど、納得&すっきりしたよ、ありがとう。
なんか迷惑かけてしまったみたいでスマソ。
では引き続きスレタイに戻ってがんがってくれ。 >>107
自前でコンパイルできないレン鯖 + SQLite で日本語全文検索できるように
n-gram ベースのエンジン自前で実装したってこと?
俺も使いてえ。ぜひそこの部分の記録やソースを公開して欲しい。 >>118
>ぜひそこの部分の記録やソースを公開して欲しい
ふざけんな金払えタコ。 ていうか
1の強みって「レン鯖で」全文検索が出来るだけじゃん。
レン鯖でそんなことをする必要はないし、
むしろしない方がいいから、
senna等の使用者の多いソリューションをやる方が普通はいいだろう。 「レン鯖でそんなことをする必要はないし」といったら、
じゃあレン鯖は何のために存在するんだよw
掲示板だって、ウェブサイトだって、レン鯖でする必要は無いぞ。 レン鯖で済ませるような業者が
全文検索が必要な程規模がでかいことは滅多にないだろうし、
専鯖を使うなら既にソリューションは確立しているってことさ。 > 全文検索が必要な程規模がでかいことは滅多にないだろうし、
全文検索が規模がでかいと思うことがそもそもの勘違いだな。 レン鯖使うなんて
商品数1000件にも満たない糞ショップだろうから
like検索で充分やん とりあえず、技術力では、お前らよりも>>1の方が上だな。 「レン鯖」と「共用鯖」を混同して使ってるヤシが多いな。
実際には専鯖だってレン鯖なことが多いわけだが。 「強要」鯖ねぇ・・・うーん。
「おらぁ!! Apache使えオラァ!!」って言う鯖なのかな?w さくらの専鯖\6800でよくない?”5000ぐらい”の範囲内 (業者じゃないよ・・w >>112
お前さ、こんなシステムタダで社長にくれてやるの損だぜ
独立して自分で経営した方が得だと思うんだがな、どうだ俺と独立しないかw? お久しぶりです皆さん。もういないですかね。
トリップ忘れましたが、>>1です。
現在データ量は3万5000件に増えました。
ファイルサイズは80M、不足している項目を入れたら100M超えるでしょう。
インデックスデータが多いです。
あれから検索スピードに影響が出る設計変更を行ったので
少し遅くなりました。それでも最悪のケースで1秒程度、
検索キーワードをちゃんと入れたごく普通の検索で0.3秒程度ですが。
もしかしたら、今度複数店舗つないだ、POSみたいなシステムに
レベルアップしそうです。専用サーバーにする口実にしようと思います。
サーバーの管理が大変そうですが。
自由にいろいろ入れられるので、今度は普通にsennaでもいれようと思います。 さてデータ量は10万件を超えました。
さすがに、これだけになるとファイルは280Mになってしまったので、
とりあえず上位のプランに変更しました。
(専用サーバーへの移行は時間がかかりそうなので保留)
ひと段落着いたので、これ以上大幅に増えることは無いでしょう。
検索スピードは、問題ないレベルでまずまずです。
時たま時間がかかるのは、ディスクからデータ読み込んでいるせいでしょうかね。
これは単純に本格的なデータベースサーバーを使ってメモリを多く使える
専用サーバーに変えるだけで解決しそうな問題です。 最近はこういう手間掛けたくない案件は全部Google miniでお茶を濁してるな。 転職の際に必ず思い出してください。
下記の条件が全て当てはまる会社にご注意下さい。
・IT系 in 東京
・転職会議で2.5点
・転職会議の「その他>2ch情報」の欄で過去の労基2chスレが表示される 誰でも簡単にネットで稼げる方法など
参考までに、
⇒ 『半藤のブブイウイウレレ』 というサイトで見ることができます。
グーグル検索⇒『半藤のブブイウイウレレ』
UUGRNQ5J59