★負荷軽減対策委員会（Perl、PHP)★

**ジークハルト** ◆VUxx/EwNXI · 02/10/15 10:33

サーバ上にPerlやPHPを置く場合、何よりも重視しなければ
ならないのはサーバへの「負荷」。
負荷の高いCGIの使用は削除対象となるのが目に見えてます。
負荷を軽減させるにはどうすればいいか？
どういう書き方をすればいいか？
そんな委員会を開設しました。

**ジークハルト** ◆VUxx/EwNXI · 02/10/17 09:04

>>92
あいたたた・・・

じゃせめてこのスレの内容まとめて
負荷軽減対策委員会の公式サイトでも起ちあげますか・・

**nobodyさん** · 02/10/17 12:39

gzip処理をすると転送料は減りますが
サーバへの負荷はどうなると思いますか?
gzip処理をすることでサーバへ負荷がかかるとしたら
何kbを越えるくらいをめどにgzip処理を施すのが妥当でしょうかね?
例えば2kb程度を転送するくらいならgzip処理は必要ないでしょうか?
ご享受願います。

**nobodyさん** · 02/10/17 13:57

>>102
ＦＥＰか表示フォントの設定大丈夫ですか？
圧縮ファイルだって未圧縮ファイルだって転送時には
同じバイト列でしょ。

**nobodyさん** · 02/10/17 14:09

>>103
すいません、意味が分かりません。
サーバの負荷を考えるとgzip圧縮処理は必要なのでしょうか?

**nobodyさん** · 02/10/17 14:11

>>103
２ちゃんねるのログ（300K）
↓
サーバで圧縮（100K）
↓
HTTPで転送（転送量1/3でウマー）
↓
ブラウザーで解凍、表示

**nobodyさん** · 02/10/17 14:13

>>104
ケースバイケース

**nobodyさん** · 02/10/17 14:23

>>104
>>>103
>すいません、意味が分かりません。
禿同。
サーバ負荷軽減だけでなく、帯域の負荷を減らすことで
単位時間内のリクエスト数を伸ばすことが出来るのでgzipが
有効な場合もある。

**nobodyさん** · 02/10/17 14:32

>>104
転送「量」でしょ、ご「教授」でしょ。
日本語大丈夫ですか？って書こうかと思ったがよ。
漏れは、そんなに更新が激しいデータじゃなきゃ、
1回のgzipで何人分かができて、転送のためにファ
イルアクセスされる時間が減るから、gzipした方が
いいと思って言ったんだけどね。解凍するのは、
ユーザだから知ったこっちゃないし（藁

**nobodyさん** · 02/10/17 14:44

htmlの場合、gzに対応していないブラウザのために、
(ある程度のシェアがあると言われているMacのIEでも対応していないのがある)
無圧縮のやつも作らなくてはいけないのが不便

これとは別に、PHPで、出力をダイナミックに圧縮、非圧縮とかえるには
どうしたらいい?

**nobodyさん** · 02/10/17 14:54

>>109
　output_handler = ob_gzhandler
　
昔のバージョンだと駄目だが、4.2.xなら
Accept-Encoding: gzipの有無に依って
圧縮、非圧縮をダイナミックにおこなってる。
マニュアルみれ。

**nobodyさん** · 02/10/17 14:55

>>108
gzip圧縮処理ってリアルタイムじゃないの？
（調べもせずにものを言ってみました）

**nobodyさん** · 02/10/17 14:59

>>111
リアルタイムはpopenとか使って出力をgzipにパイプしたときでしょ？
>>108が言っているのはgzip圧縮されたファイルのことじゃない？

**112** · 02/10/17 15:01

サイト丸ごとアップするときはtar+gzipでアーカイブにしてからアップしています。
アップ後はtelnetから解凍。

**nobodyさん** · 02/10/17 15:11

>>109
無圧縮のものも作った場合、どうやって振り分けているの？
「文字化けするようなら～から入ってくれ。」と入り口に書いておくの？

**nobodyさん** · 02/10/17 15:20

>>114
ApacheのMultiView

**nobodyさん** · 02/10/17 15:25

>>110
サンクス
とりあえずスクリプトの先頭に
ob_start("ob_gzhandler");
を入れてみました。

**109** · 02/10/17 15:27

すんません
ブラウザ(モジラ)で確認してみたら、
Content-Type が text/htmlのままなんですけど。
gz転送されているのかな?

**nobodyさん** · 02/10/17 17:06

さあ？

**102** · 02/10/17 17:22

>>108
ご指導、ありがとうございました。
享受の方は素で間違えていました。

gzip圧縮処理の流れは>>105さんの
分かりやすい説明どおりに把握しているのですが
まだ詳しい内容は無知なので理解できませんでした。
調べてみようと思います。
チャットのように更新の頻度が多いものについては
gzip圧縮はしない方がいいということですね。

**102** · 02/10/17 17:26

連続の投稿ですいません。負荷軽減対策において、
NPHスクリプト化はやらないよりやった方がいいと思います。
あと、チャットにおいて私は負荷を抑えられると思い、
jcode.plをrequireしていません。(文章おかしくてすいません)
これは不具合が出るものなのですかね?

**nobodyさん** · 02/10/17 17:28

mod_gzip とか mod_deflate 使ってる？

**102** · 02/10/17 17:29

>>121
mod_perlとか耳にしますがよく分からないのです。
共用サーバでも使用可能なのでしょうか?

**102** · 02/10/17 17:30

バイトの時間が来てしまいました。レジをうってきます。
ここはブックマークしておくのでまた、参考にさせてもらいます。

**nobodyさん** · 02/10/17 20:52

mod_deflate って 2.0 からなのか～(残念

K · 02/10/17 20:55

>>111
俺は転送量下げるために自作したよ。
更新の少ないものはキャッシュすれば良い。
でも、mod_gzipで良いんだよな……。
つーか、ob_gzhandler知らなかったYO(自爆

**nobodyさん** · 02/10/17 21:22

>>116と同じで、俺もスクリプトの先頭でgzip圧縮転送をしている
ob_start("ob_gzhandler");
これは、html出力をバッファしてgzip圧縮して送信するものだから、
鯖側は圧縮の分負荷が高く、ブラウザ側も徐々に表示されず一気に表示する(少し待たされる印象)
その代わり、転送量が減る・回線が細くても多少マシという利点がある。
ケースバイケースだが、負荷を減らそうというスレの趣旨には合わないんじゃないか?
#つか、1行追加するかしないかだけの話だがね。

**nobodyさん** · 02/10/17 22:14

俺は試しにチャットのログ表示部をgzipしたけど、
表示は体感できるほど速くなったよ
リロードしても、ちらつきが無いと言うか、
圧縮無しだと、まばたきする感じなんだが、それが無くなった。
鯖負荷は、MRTGやTOPコマンドじゃ解らなかった。（多分ほとんど負荷無し）

チャットは計６部屋で共有鯖なら追い出される位の参加人数。
いちお、Perlでgzip対応ブラウザかどうか調べて、対応してたら圧縮してる。

でも、どっかのサイトに、「鯖に余裕があるならgzipをするべし」
みたいな事書いてたから、圧縮に多少負荷がかかるんだろーね

**109** · 02/10/17 22:14

>>126
マニュアルのコメントによると
For just a small bit of processor time, you can DRASTICALLY reduce the bandwidth requirement of your scripts. There are very few circumstances in which this should not be used.
っていわれてるけど

**109** · 02/10/17 22:15

それに、ブラウザでの表示の方法は、ブラウザのbehaviourじゃない?

**109** · 02/10/17 22:18

>>126
「負荷」はプロセッサの「負荷」も回線の負荷も両方考えるべきでは?
WebProgでは特に

**nobodyさん** · 02/10/17 22:21

ナローバンドのみ圧縮とかできる？

**126** · 02/10/17 22:54

>>130
そうだね。あとはメモリを無駄に使わないという所かな。

>>131
出来ない。家を出発前に渋滞を予想できないのと同じ(か?)

**109** · 02/10/17 23:09

>>131
鯖がナローバンドだったらわかるかな
クライアントならわからん

**nobodyさん** · 02/10/17 23:24

ホストで調べるとか…
ブロードバンド特有のホスト名が付いてるトコってあるじゃん？
調べまくって自分でデータベースを作る。
すっごい時間と労力がいるけどね…

**109** · 02/10/17 23:48

思いついた。

最初にアクセスしたときに、リモホをとってPINGしたりして
疥癬の早さを調べる。それでgzするかしないかを決めて、
その結果をクッキーで食わせる。

**126** · 02/10/17 23:58

UIがあるなら、圧縮転送する/しないを選択させれば良いじゃん。
CGI側で判断するものではないだろう?

**102** · 02/10/18 01:03

http://www.abi-station.com/
ここのAbicorporationという掲示板と居酒屋チャットというチャット、
ソース見ただけで頭が痛くなるのは俺だけだろうか。

**nobodyさん** · 02/10/18 01:13

>>137
それはABI言語で書かれていますw

ってかスレ違い？
負荷が凄そうって言いたいの？

**102** · 02/10/18 01:23

>>138
負荷がすごそうっていいたいのですw
シェアウェアで爆弾売ってるようなものっすね。

ちなみに俺がCGIチャットで一番、負荷をかけないのは
｢ぞのちゃっと｣だと思うのですがどうでしょう?

**nobodyさん** · 02/10/18 03:17

>>139
俺のチャットが一番軽いと思う。
PHPだし、面倒だから配布はしてないけど。
でも、現在のメンバーを表示すると重くなるね。
FlashやJavaAppletの方が良いに決まってるからsage。

**ジークハルト** ◆VUxx/EwNXI · 02/10/18 09:48

CGIスクリプト＆ログの、ファイル容量を減らすことって
負荷軽減につながりますかね？

**ジークハルト** ◆VUxx/EwNXI · 02/10/18 09:51

>>140
FlashってCGI使ってないっけ？

**nobodyさん** · 02/10/18 12:46

>>140
すごく興味があります。
ぞのちゃっとはC言語ですがphpはそれよりも軽いのでしょうか?

**nobodyさん** · 02/10/18 13:57

>141
設計によるけど、単純に負荷軽減つながるはず

**144** · 02/10/18 13:59

てか、、、、、、ほんと設計しだい

**nobodyさん** · 02/10/18 18:55

今、2チャンネル型のスクリプトをPHPで作っているのですが、
やっぱりフロート型って、負荷大きいですよね。
(書き込む人夜読む人の方があっと言う的に多いので、)
htmlファイルを生成したのだが、名前部分のクッキーが読み出せない
仕方なくJSで読んだのだが、文字化け。
PHPで食わせたクッキーはJSで読むとうまくいかないのか?

**nobodyさん** · 02/10/18 19:15

>>146
化けない文字コードでクッキーを焼く。
ブラウザのお口に合うクッキーを食わせる。

など…

**146** · 02/10/18 19:52

>>147
サンクス。MBCS関連充実してきたので、UTF-8で試してみます。
しかしまあ、urlencode-decode間でしてくれるうえにグローバル変数に自動的に入る
PHPに比べて、JSはめんどくさいですね。

**nobodyさん** · 02/10/18 21:31

JavaScript なのか JScript なのか……

**nobodyさん** · 02/10/19 00:01

JavaServletかもしれんぞ。
ま、146は単語もまともに打てないほどの面倒くさがり屋さんと言う事で。

**デフォルトの名無しさん** · 02/10/19 01:35

>>150
いいじゃん、「あっと言う的」、２典に登録しようよ。

**nobodyさん** · 02/10/19 02:17

（≧∇≦）

**126** · 02/10/19 18:09

さがっているねぇ。この板の負荷にならないようにしているって事なのかなぅ(上出来

**102** · 02/10/19 23:31

ネタがないですねw

\ · 02/10/20 10:09

PHPの掲示板でログファイルが500kBあるんですが
消さないと負荷って凄いですか？

**nobodyさん** · 02/10/20 10:37

処理に依る。

**nobodyさん** · 02/10/20 10:38

>>155
あなたの「凄い」がどの程度なのかわからないけど、
その掲示板のコードにもよるんじゃない？

掲示板のログで500kbだと3000行近くなってるんじゃない？
読み込んだり書き込んだりするのに、3000回ループする様なコードを書いてるんだったら、
考えモンだね…

ファイル丸ごと読み込んでるんだったらメモリも食うし

**レンタル掲示板”管理”者** · 02/10/20 11:59

>>21

キミ最高だね。ほんとアホ以外の何物でもない。しねよ。

**102** · 02/10/20 12:08

すごい厨房な質問ですいません。
例えば500kb(300行)のログファイルがあって

open(IN,"ろぐふぁいるぱす");
@lines=<IN>;
close(IN);

というように配列に内容を入れた場合
ファイル丸ごと読み込んでることになるのでしょうか?

**nobodyさん** · 02/10/20 12:14

>>159
なる

**デフォルトの名無しさん** · 02/10/20 12:24

>>159
Perl初心者コーナーで一行ずつ読み込んで処理するのと
どっちが早いか議論してたさ。readで読み込むのも比較
してたで。２・３日前だっけな。

**nobodyさん** · 02/10/20 13:32

一行ずつ処理したとしても、Perlでは本当に以前に使っていた領域が開放されているかどうかはわからんな。
Perlを開発している人たちなら分かるだろうけど。

**nobodyさん** · 02/10/20 13:41

>>162
＞以前に使っていた領域が開放されているかどうか

以前に使っていた領域って、変数のことだろ？１行ずつ代入しては処理を
繰り返してるから変数に代入されてる分は領域だろ？開放もなにもないだろ

**nobodyさん** · 02/10/20 13:43

>>163
C言語でも勉強してきて。

**164** · 02/10/20 13:47

ちなみに領域というのはメモリー上に確保した領域のこと。

**nobodyさん** · 02/10/20 13:58

>>164
＞C言語でも勉強してきて。

（　´,_ゝ`）ﾌﾟｯ

**nobodyさん** · 02/10/20 14:32

>>120
NPHスクリプト化でnph-chat.phpは可能ですか？
NPHはPHPでも使えるのでしょうか？

**nobodyさん** · 02/10/20 15:09

>>164
こういうことが言いたいのか？
http://www.mikeneko.ne.jp/~lab/perl/tuning/

**nobodyさん** · 02/10/21 20:11

mod_perl + gzip　最強

**nobodyさん** · 02/10/22 00:30

ふむふむ。

**nobodyさん** · 02/10/22 03:41

俺はZ80とかFortrunとか変な言語でCGI作るのが趣味なんだ

**nobodyさん** · 02/10/22 04:31

Fortrunという言語はたしかに変ですなあ。

カミ · 02/10/22 13:51

ｷﾀ━━━━(ﾟ∀ﾟ)━━━━ｯ!!ｷﾀ━━━━(ﾟ∀ﾟ)━━━━ｯ!!ｷﾀ━━━━(ﾟ∀ﾟ)━━━━ｯ!!
さあ、何でも聞いてよ。

カミ · 02/10/22 13:54

ｶｴｯﾀ━━━━(ﾟ∀ﾟ)━━━━ｯ!!ｶｴｯﾀ━━━━(ﾟ∀ﾟ)━━━━ｯ!!ｶｴｯﾀ━━━━(ﾟ∀ﾟ)━━━━ｯ!!
時間がなくなったので帰ります。

**102** · 02/10/22 15:04

>>172
高度な突っ込みですね。

**あぼーん** · NG

あぼーん

**126** · 02/10/22 15:38

>>175
じゃあ、Z80は言語じゃない、なんて突っ込みも許されるかひ?

**nobodyさん** · 02/10/22 16:10

>>171

Fortrun という言語について、詳しく教えて下さい。

**nobodyさん** · 02/10/22 18:50

>>177
Z80は言語じゃない、ガラスです
ttp://www.watch.impress.co.jp/av/docs/20021022/sharp.htm

**nobodyさん** · 02/10/23 13:13

Perlの一般的なスクリプトの場合、
ログを読み出すとき出力を直接printで表示しているけど、
出力を$buffer .= "～";というように一つの変数にまとめておいて
最後にprint $buffer;とした方が速いのかな。
imode用のスクリプトはContent-lengthヘッダを出すためにそうしてるけど。

変な日本語でｽﾏｿ

**nobodyさん** · 02/10/23 15:19

最初が表示されてから最後が表示されるまでは速いだろうが、
最初を表示するまでが遅くなるだけじゃねーの？

imode程度なら良いけど、メモリ食うだけじゃない？

**nobodyさん** · 02/10/23 15:53

>>180
2chのread.cgiがまとめて表示だったら嫌だ。

◆hMJAPH9PWA · 02/10/23 18:46

>>180
出力する量にもよるだろうけど、最後に一気に出力の方が早いって事は無いんじゃないかな。
Content-Lengthが必要ないならあえて選択する方法じゃないね。

**102** · 02/10/23 22:07

思ったんですけどKENTさんのYY-BOARDって無駄な処理が多くないでしょうか?
レスのトップソートがある場合、ない場合とかもっとスマートにできそう。

**nobodyさん** · 02/10/23 22:32

>>184
ｶﾞｲｼｭﾂすぎる
Kentの使わないで自分でいいやつ組むのがよろし。

**102** · 02/10/23 22:34

>>185
そうなんですか。KENTさんもバージョンアップの繰り返しで
無駄な処理を省くのが面倒なんでしょうね。
今、YY-BOARDを元に新しい掲示板を作っています。

**nobodyさん** · 02/10/24 08:03

Kentを元にするなって。
最初から作った方が、良いものが作れる。

**nobodyさん** · 02/10/24 10:36

ニュースＣＧＩ（読み込む時に常に1MBのlog.csvを読み込む）を、
ログの容量減らす以外でこのスクリプトの負荷を軽減する方法を
いくつか教えてください。

又、これってApacheのモジュール版PHPに変えたら負荷はなくなりますか？

**nobodyさん** · 02/10/24 11:44

ニュースCGIを使うのを止める。

**nobodyさん** · 02/10/24 11:59

>>189の方法が一番負荷が減るけど。
後は、何で全部表示するのにcsvにするの？最初からhtmにしとけばぁ。
ほいで、前から議論に出てるgzipで固めればぁ。
何かのキーで検索するんなら、DBMにすればぁ。
早いし全部ファイルを総なめにする必要ないから負荷激減だね。

**nobodyさん** · 02/10/24 12:03

>>187 禿しく尿意！

**nobodyさん** · 02/10/24 12:51

>>189
いや、つーか・・ええ！？

>>190
CGIの拡張子をHTMLにしてもだめですかね
ダメですよね・・・

**nobodyさん** · 02/10/24 12:54

負荷下げたいならapache2.0+mod_perlでいいんじゃねーの？
要はプロセス作成が重いんだし。
あとは、スクリプトのアルゴリズム次第。

**102** · 02/10/24 14:02

>>187
open(IN,"?????")||&error("情報ファイルを開くことが出来ませんでした");
($no,$ip,$time)=split(/<>/,IN);
$no++;
close(IN);

最後にこれくらいの処理だけが面影として残ってる場合は著作権表記は必要ないと思いますか?

**nobodyさん** · 02/10/24 14:24

>>194
コードの面影が残っていなくても
設計の面影が残っていたら著作権表示は必要(だと思う)

しかし、現行の著作権法では、「アイデア」には著作権はなく、
具現化されたモノにのみ著作権があるので、大丈夫かな。

しかし、著作権以外の知的所有権はあるね。

まあ、ここは、KENTにどのくらい「リスぺくと」してるかによって
自分で決めればいいんじゃない?

…と勝手なことを逝ってみる

**102** · 02/10/24 14:40

>>194
>>193の部分を記述がめんどくさいのでコピっただけなのですがね。
参考になりました。スレからすれてすいません。

太郎 · 02/10/24 16:43

>>195
MAKIMAKIは消していいですか?

**nobodyさん** · 02/10/24 19:17

>>196
＞スレからすれてすいません。
（　´_ゝ`）

>>197
画像使うんなら消しちゃダメでしょ。

太郎 · 02/10/24 23:16

>>198
画像使わなかったら?

**nobodyさん** · 02/10/25 00:28

そんなん知るかボケ。本人に聞け。