同人サイトのロボ避けアク解について 4
■ このスレッドは過去ログ倉庫に格納されています
一般人や版元に見つかると、何かとﾏｽﾞｰなことが多い同人サイト運営。
なるべくひっそり楽しむために、.htaccessやrobots.txt等を用いた
検索避け・アクセス解析・アクセス制限などについて語り合いましょう。
robotx.txtや.htaccessを使いたいなら有料池
■同人OK鯖総合スレまとめ
ttp://f43.aaa.livedoor.jp/~sils/
関連リンク
■ロボテキについて（※英文）
ttp://www.robotstxt.org/wc/norobots.html
■.htaccessテンプレ
ttp://www.ii-park.net/~nanashi/htaccess2.html
■ドットHTアクセス メーカー
ttp://html-time.com/tool/htaccess_maker.htm
■裏サイトオーナーのためのSmall Tips
ttp://sp999.oheya.jp/tips/
■禿げしくガイシュツでうんざりしている質問のＦＡＱ
（2ch web制作管理板 ロボット型検索エンジンスレＦＡＱ集より）
ttp://f3.aaa.livedoor.jp/~zwgxodue/gaishutu.html
■ちょっとまったFC2ブックマーク（問題と対処）
ttp://www.geocities.jp/no_no_bookmark/
■PHPであれこれ。（FC2ソーシャルブックマークに関してのスクリプト）
ttp://www.geocities.jp/moyashi_de_go/
前スレ
http://changi.2ch.net/test/read.cgi/doujin/1196876804/ セキュリティ重視でいつもJavaScript切ったままだから
忍者で弾かれると二度と行かなくなるな
そういう意味でも効果はあるよ >>130
自分も。メニューにjs使ってるようなサイトも行かない。
ウィルス騒ぎの時、セキュリティがどーのと注意書きしてたサイトが
js入れないと閲覧出来なくて笑った。 オンラインブクマ禁止といっておきながらリンクページがあって
幸登録してるようなもんか おまえら、はてな（アンテナ/ブックマークetc）は弾いてる？
.hatena.ne.jpで指定しててアンテナは弾けるけど
アンテナにはサイトが載ってしかも弾いた事が外部から分かっちゃうんだよな
どうにかならんかなこの仕様
ブックマークも.htaccessじゃ弾けねえし
metaタグなら弾けるんだがソースに記入しないと駄目だし
「はてなを弾いてる」ってことを外部から見えずに弾く事は不可能なんかな
否定的な意見書き込まれるのが嫌で掲示板（拍手）類置いてないのに
はてブだとそれが書き込まれたとき永遠に外部に晒され続けられるのが嫌だ
はてなってよく分からないんだよな
自分は別に弾いてないし以前は平気だったのに
最近403になっちゃってる
設定変えてないのにな
アクセス弾いてるって出てるんかな
そのつもりはないからちと困るな
>否定的な意見書き込まれるのが嫌で掲示板（拍手）類置いてないのに
>はてブだとそれが書き込まれたとき永遠に外部に晒され続けられるのが嫌だ
はてブに限らず書こうと思えば方法はいくらでもあるんだ
それすら嫌なら書かれたら引っ越しして行方をくらますくらいしか思いつかん 知られても構わないから、普通に.htaccessとmetaで弾いてるよ。
はてなの住人全員じゃないが、どうしても相容れない感じがして
あの辺になんて思われても構わないと思ってる。 はてな自体嫌いだから弾いてる
あの他人のふんどしでという雰囲気が…… 自分で登録したサーチ以外のリファは全部弾いている
ぐぐるやMSN（Bing)や百度を始めとする検索も全部弾いている
hatenaはリファを見たことがないが、もしあったら弾くと思う
自分が好きで登録したサーチ+同ジャンルリンク以外は全部弾く >>139
Google全部弾くと不便じゃない？
WEBマスターツールとか
自分Megaupload関係を全部弾いてるけど
勝手にｲﾝｽｺされちゃう人もいるんだね
でも勝手にｲﾝｽｺされちゃうような甘い人はどうでもいいか >>141
WEBマスターツールやらを見てみたけど
検索ロボを弾きたいサイトにはいらん機能のような気がするが… >>142
ぐぐるは弾いても、インデックスされちゃう可能性があるけど
Webマスターツールなら、自分で削除できる webマスターツール使ってるけどサイト確認の時だけGoogle通して確認が終ったら
.htaccessとrobots.txtとmetaタグで弾いてるよ
ブロックしなきゃツールもURL削除してくれないし Google指定のHTMLとロボテキに許可出して
ツールにURL登録しっぱなしだけど、特に問題ないな。
気が向くと確認に行って、ロボの巡回を少なくしてるくらいかな。 NAVER翻訳からのアクセスを.htaccessで弾いてて普段はSetEnvIf Refere
ttp://j2k.naver.com/j2j.php/korean/と
ttp://j2k.naver.com/j2k.php/korean/で普段弾けてるんだけど
今日ttp://j2k.naver.com/j2k_frame.php/korean/からのアクセスがあった。
自分で試しにページ行って自サイト翻訳してみたらばっちり翻訳結果窓に表示されてしまうorz
（.htaccessにttp://j2k.naver.com/j2k_frame.php/korean/足しても）
エラーログ見ると鯖がアクセス拒否はしてるみたいなんだけど、でも結果的に閲覧できちゃってる。
翻訳結果窓に403出るようにしたいんだけどどうしたらいいのかなあ。 >>146
一行目SetEnvIf Refereになってるのはタイプミスだよね？
翻訳はリンクじゃないからSetEnvIf Refererじゃ防げない
SetEnvIf Hostで自サイト以外のホストは弾くといいよ
(SetEnvIf Remote_Hostではないので注意) htaccesssでjpのみ許可（com.netは一つ一つ追加）なのに
pacbell.netっていうのが時々足跡残してる。
トップより下層のページはdeny from .pacbell.netで弾いてるのに入ってきてる。
調べてみたけどよくわからん…。
スパムロボみたいなもの？ >>149
うちも毎日何度もきてウザイ。
生ログ確認したら、日本IPのみ許可で弾けてはいるみたいではいる。
検索するとメジャーなプロバみたいだね。スパムに汚染されてるけど。 スレチだったらごめん
最近、携帯からgoogleのPCサイト変換を使って来る人がいるんだが、
リンク元が「（http〜）banner.jpg?_gwt_pg=1」ってなってるんだ。
_gwt_pg=1はgoogleの変換機能の何かだと思うんだけど
「banner.jpg」から飛んで来るってどういうことかな？ >>151
携帯は誤爆しまくるから、リンク集のバナーのURLも何かしら残っちゃうんじゃない？
仕組みはさっぱりだが、今までもとんでもない誤爆が多々あったから。 >>147
遅レスですみません。
お察しの通りSetEnvIf Refereはタイプミス（というかコピペミス）でした。
SetEnvIf Hostやってみたらどうもうまく弾けていないのか
やはりトップページは翻訳結果窓に出て来る。
ただトップページ以下のディレクトリはトップページのリファラがないと閲覧できないようにしていて
それでNAVER翻訳経由だと中身に入れなくなっているみたいです。
トップページしか見られないのでとりあえずそれでいいかなあ。 >>153
普通に鯖のIPの範囲で弾いたら？
今試したら他サイトは表示されたけど、日本のIPのみ許可の自サイトは
正常に翻訳出来ませんと表示が出た。
翻訳結果窓に403とはでなかった。 >>154
調べたらNAVER翻訳は利用者のIPやホストが出るみたい。
海外暮らしや外国人の閲覧者の方もいらっしゃるので
自分のサイトを日本のIPのみ許可にはできないです。 海外利用者の事を考えているのに翻訳が禁止…
もちろんどんな運営も自由だけど少し不思議に思った 他の翻訳は制限しないけどNAVERだけは弾きたいんです。
まあ弾きたい理由もきちんとした理由でもないんですが。 >>156
日本語読める海外在住者はOKだけど
日本語読めなくて翻訳通さなきゃいけない海外在住者は弾きたい
ということでは？ >>157じゃないけど自分は>>158の言ってる理由で日本のみにできないでいる 特別版権に厳しくない普通の漫画ジャンルで一番大きい幸に
検索避けのメタタグが入っているんだけどこれって意味あるの？
作品名+サーチでググると普通にトップに来ている。 タグ間違ってるんじゃないの？
それかリンク多くてインデックスされちゃってるかも アーカイブのメタ入れてないとか別に気にしてないけど一応いれとこかとか？ 「ロボ避けしているサイト様に限ってリンクフリー」って書いてるサイトが
ロボ避けしてないサーチエンジンや同盟に平気で登録してたりするよね それ前どこかのスレで話題になって
自分で管理修正できる幸登録はいいけど
出来ない他サイトからの被リンクは〜っていう話がでていた
つか検索避けがhtaccess使用なら、
ロボ（例えばぐぐるや百度）の集めたキャッシュからの
アクセスも403を返せるという事なんだが…
自分はそれで検索にガスガス登録している
無論ぐぐるキャッシュからは403が出ることを確認済
もっとも「ロボ避けしているサイト様に限り（ｒｙ」は書いていないがｗ サイトのリンクポリシーに「オンラインブックマークはしないで下さい」と
高圧的に書きながらリンクページがある人の中のオンラインブクマの定義って
何なんだろうな…
前に少しだけ話した人はメールやmixiなどのメッセージ欄に
書いてあるURLから飛ぶことをオンラインブクマだと言ってて
なんかあまりにも堂々としてたんで訂正しここねた ぐぐってみたところ
オンラインブックマーク→専門のサイトに登録して利用するサービス
らしいよ
リンクページとは別物として扱われていると思う 携帯だがエムブロのプロフィールに検索避けをかけたくて仕方ない 当方二次サイトで、年齢制限やら同性愛やらの要素は一切ないんだけど
それでも同人サイトなら検索避けって入れておくべき？
あと、検索避け入れておくべきなら、登録してるサーチの検索結果なんかが
普通に検索にかかるんだけど、そのサーチも解除すべきかな？ 自己解決で申し訳ないんですけど、やっぱり入れといても損はないだろうと思ったのでいれることにした
けどサーチの検索結果が引っかかる件はどうしたものか >>174
自己解決したようだけど、入れるべきかどうかの判断は管理人次第だから聞いても仕方ない。
引っかかるのが嫌なら、幸解除しかない。
ジャンルがナマモノとかなら避けろ、弾け、鍵かけろ、幸に登録すんなと勧めるけどさ。 自分も自サイトは検索避けしててサイト名じゃ引っかからないけど
サーチがどこも軒並みガッツリ上がってくる
開設１年未満のヒヨッコサイトだから抜けたくないんだけど
気になるならやっぱり解除しかないんだろうか >>176
自分自身は問題ないんだけど、リンク貼らせていただいてるサイトに
迷惑かかることとかあるのかなと思って
今のところ何もないようだから、そのままでいいか >>177
検索避けしてる幸を使うしかない
自分は幸が引っかかるのは気にしてないけど、ぐぐるやアホー経由は弾いている
そういう住人はここでは多いと思う
>>178
相手サイトにリンクの注意書きがあるなら、従った方がいいだろうけど
そうでもなければ普通は気にしなくていいと思う 身串ってどうやったらはじけるんだっけ？
setenvif referer "http://mixi.jp/" bad_referer
で、deny設定を
deny from env=bad_referer
でいいんだっけ？
なんか鯖ログにリファがあったからすげえ気になって… トラックバックの付いてないトラバ画面がリファラーの上位に来てるって事は
スクリプトによるスパムの対象になってるってことだよね…… Host: s327.xrea.com
UA: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; QQDownload 1.7)
言語: 中国語/中国
こんなのが結構きて、コンパネにログインしようと頑張られた。
ぐぐっても中国語メッセンジャー関係で、余計なモノもインスコされる。
とにかくいろいろ問題起こしてるって事くらいしか分からなかった
しかもなんでxreaなの？
ブログの垢ハックに関わることの多いUAらしいけど
またxreaがハックされたんだろうか？ >>187
実際には書き込まれてないんじゃ意味ないんじゃね ool-4b7fb172.static.optonline.netて解析に残ってた
どうもロボっぽいんだけど、弾き方がよくわからん 百℃が嫌で手当たり次第にhtaccessに記述したら
「携帯から見られません」って連絡が来た。
どの記述のせいなのかがわからねえ…… 携帯からの閲覧を諦めてもらう。
連絡できたってことは他の手段で閲覧可能な状態だろうし。 >>192
リファラ残さないものは全部弾いちゃってるとか
うちも画像直リン禁止の記述を書いたら携帯から画像の表示が全くされなくなってたし 携帯にも見せようと頑張ると結構支障がでるんだよね…
別に携帯で見てもらわなくていい http入りのUAを弾いたら
自分の火狐から見られなくなってた
アドオン油断ならん >>196
でもhttp入りのUA弾くのが一番手軽なんだよな
自分はもう、ごめんなさいと思いながらそのままにしてる >>196
前も書いたけど、メジャーなアドオンなんだよね…
結構な人数弾いちゃうから、書き方見直したよ 自分もhttpで弾いてたけど
巻き込んじゃう人に申し訳ないからhtaccessを書き直したよ
なにもしてないのに弾かれたら嫌な思いさせるしね 自分もhttp入りは弾いてる。
だってロクなのこないし。 生ログ見てたらUAのないアクセスがあったんだけどなんだろうこれ
弾けてるけどなんだかわかんなくて気になる
IPの逆引きできなかったけどどうやら韓国らしい UAないって言ってるじゃんｗ
時々UAのないアクセスあるよね
自分はUA不明のものは不安だから弾いてる .pool.ukrtel.net
94.178.0.0/15
95.132.0.0/14
エロ画像ブログのリファラでアクセスしてきたので弾いた。 火狐でUA偽装するアドオンがあるけど、あれで
ごく普通のUAのフリして（火狐→IEとか）入ろうとするとブラウザが落ちる
サイトがある。何を仕込んでああなるんだろう 偽装しておいてサイトのせいにするとか随分といい態度の閲覧者様だこと >>207
サイトに余計なJS仕込んでんじゃないかな
そういうサイトはろくなもんじゃないし行かなきゃいい 解析厨の痛管$がまさに207みたいなサイトだったな 相談です。
検索避け覚書のサンプルに
ディレクトリの一覧表示防止加えたhtaccessにしてるんだけど
なぜかad.jpを403で弾いてしまってるみたいなんだ。
上で出てた火狐のアドオンのせいかと思ってhttpを許可してみたんだけど
まだad.jpを弾いてる･･･なんでだろう 管雑961の人だよね
うちもなぜかBIGLOBEを弾いてしまってる
DNSサーバーの関係なのかなと思ってるけど
正確なことはわからない
うちは.jpのみ許可しているせいか
.jpなのに弾いてしまうISPが結構あるんだけど
根本的な解決にならなくて悪いけど
ネットマスクで許可出せばBIGLOBEの人も見られるようになるよ
allow from 210.147.0.0/16 すっげ面倒だけどコピペで国内IPのみ許可にしてる
どこかに国内IPまとめサイトあったと思うんだ
問題は国内特定IPを弾きたいときに
ネットマスクからどう外したもんかと悩むことか
（現在はhtaccessで弾くのを諦めてCGIに規制かけてる）
国外からのｱｸｾｽは全部弾いて平和なのぜ
（海外からの無断転載が酷いジャンル） ありがとう！
とりあえずBIGLOBEのad.jpがほとんどだったから
それで対応してみます
本当に感謝！
国内IPもちょっと調べてみるよ そういや自分もad.jp弾いてた
学校関係がad.jpだからな
大手袋はad.jpから変更するべき ad.jpは学校じゃない所もあるし
学校でも大学だから問題があっても自己責任だろ、と思って弾いてないな ad.jpって学校？
大学はacだし、高校とか小学とか専門学校？ >>219
あれっ
勘違いしてたゴメン
ac.jpの話 話題のac.jpでなんか引っかかった。
crawl234.tkl.iis.u-tokyo.ac.jp
18禁って言うこともあってac.jpとか学校関連は弾いてたから
エンターでお帰りしてもらったんだけど、初めて見たから気になって
調べてみたら東大関連なのね。 東大、筑波大、京大その他もろもろのクローラーきてんぞ
以外とアタックかけてきたりは、大学系のホストで悪戯しでかしてくる奴多い
さっくり学校に通報してやって止まるけど、次がきたりでイタチごっこだ 何だか最近異様にパストラック使用者が増えてきた
弾いてるから害はないとはいえ
アクセスログ送信して共有されちゃうなんて
同人サイトでは蛇蝎のごとく嫌われそうなものなのにな
ジャンルによるのかもしれないけど 前に一部のブラウザにデフォで入ってるって報告なかったっけ？
知らずに使ってる人が多いんじゃないか >>225-226
うちはどうかと思って久々にログビューア開けたら
パストラックはいつのまにか弾き済みだったけど
（たぶんここの過去スレを見てたおかげ）
裏請求メールがいろいろと論外だったので無視したことのあるホストが、
それっぽいディレクトリ名で闇雲にがんがんアクセスしてきていて404の嵐…
うちピコなので、こういうことされたら目立つ目立つw 127.0.0.1っていうIPからバナー呼び出しが毎日あるんだけど
これってlocal鯖だよね…？ >>228
多分間違いないと思うよ｡
どうせどっかの学生やなんかが課題とかでApache起動させて
そのローカルホストに作ったウェブページにバナー乗っけてるんだと思う｡
たいていしばらくしたらページ見なくなるからほって置いても大丈夫｡ ■ このスレッドは過去ログ倉庫に格納されています
