X



同人サイトのロボ避けアク解について 4
■ このスレッドは過去ログ倉庫に格納されています
0001ロボ2009/05/06(水) 12:06:01ID:VXyjsZr10
一般人や版元に見つかると、何かとマズーなことが多い同人サイト運営。
なるべくひっそり楽しむために、.htaccessやrobots.txt等を用いた
検索避け・アクセス解析・アクセス制限などについて語り合いましょう。

robotx.txtや.htaccessを使いたいなら有料池
■同人OK鯖総合スレまとめ
ttp://f43.aaa.livedoor.jp/~sils/

関連リンク
■ロボテキについて(※英文)
ttp://www.robotstxt.org/wc/norobots.html
■.htaccessテンプレ
ttp://www.ii-park.net/~nanashi/htaccess2.html
■ドットHTアクセス メーカー
ttp://html-time.com/tool/htaccess_maker.htm
■裏サイトオーナーのためのSmall Tips
ttp://sp999.oheya.jp/tips/
■禿げしくガイシュツでうんざりしている質問のFAQ
(2ch web制作管理板 ロボット型検索エンジンスレFAQ集より)
ttp://f3.aaa.livedoor.jp/~zwgxodue/gaishutu.html
■ちょっとまったFC2ブックマーク(問題と対処)
ttp://www.geocities.jp/no_no_bookmark/
■PHPであれこれ。(FC2ソーシャルブックマークに関してのスクリプト)
ttp://www.geocities.jp/moyashi_de_go/

前スレ
http://changi.2ch.net/test/read.cgi/doujin/1196876804/
0417スペースNo.な-742012/02/09(木) 14:08:59.30
ほとんどの国で二次創作の著作権って認めないんじゃなかったっけ
0418スペースNo.な-742012/02/09(木) 15:05:07.79
まあ同人なんて黙認してもらってるだけだけど、
某国のなんでもコピーしてガンガン売っちゃえ!っていう感覚と一緒にしちゃいかんだろ
だからこそロボ避けしてる訳だしな
0419スペースNo.な-742012/02/09(木) 16:22:05.00
>>418
あ、そう意味で書いたんじゃなくて
日本だと二次創作でも、権利者側が告発してこなければ著作権って認められるけど
ほとんどの外国だと二次創作って時点で法律上フリー素材扱いになるんだって
0420スペースNo.な-742012/02/09(木) 17:13:12.64
うんだから
そういう問題じゃないっしょ

うちらは日本人
日本じゃ違うんだから、ルール守らない外国人は弾くしかないよね
0421スペースNo.な-742012/02/09(木) 19:03:52.41
>>419
そうなのか、ためになった
日本ではこうなんだって知ってればほとんどの人が守ってくれるんだろうけど、
絵だけ見てる外国人に日本語しっかり読んで理解しろってのは酷だしなぁ
やっぱり弾いた方が双方丸く収まるのかな
0422スペースNo.な-742012/02/09(木) 20:49:19.15
アク解で「Japan 100%」て表示を見ると心が休まる
.htccess使えるサーバに来てよかった
0423スペースNo.な-742012/02/10(金) 13:19:46.22
自分のサイト以外の絵描きサイトに投稿してたんだけど、海外の人はコメントくれたりするし、
最近まで許せてた。でも、すぐにタンブラとかに転載されて、
サイトに注意書きをしてもやめないしすごく苦手になった
マイページ解約しても残るし。だから自分のサイトは海外からのアクセスは基本的にはじくようにしてる
0424スペースNo.な-742012/02/20(月) 06:40:57.17
Twitter公式からのアクセス
SetEnvIf Referer "twitter" shutout
SetEnvIf Referer "t.co" shutout
と書いてIEだとちゃんと403になるけどFirefoxとかchromeからだと表示されちゃうなあ
自分でテストしてみてアク解見たらt.coリファラで403と解析されるが
実際ブラウザにはページ表示されてしまう
レン鯖からもらえる生ログ見たら
UA(TwitterbotとかTweetmemeBotとかJS-Kit URL ResolverとかUnwindFetchorとか)と
t.coリファラをブロックした後結局リファラなしのアクセスでページ表示しちゃう
0425スペースNo.な-742012/02/29(水) 12:48:13.91
InfoSphereらしきIPからUAなしのアクセスが複数回来たけどなんだろうなこれ
InfoSphereという事はどっかの法人?
0426スペースNo.な-742012/03/01(木) 00:32:36.16
法人向けISPらしいね
UA無しってことはなんかロボットでも動かしてるんじゃない?

普通の観覧者ならUA無しってことはまず有り得ないし、俺は全部弾いてるよ
0427スペースNo.な-742012/03/01(木) 15:43:31.03
> 普通の観覧者ならUA無しってことはまず有り得ないし
Firefoxのアドオンで消せるのがあるよ
試しに入れて確認君で見てみたらフイタ
0428スペースNo.な-742012/03/01(木) 17:58:50.61
アドオンでUA消してるのが「普通の閲覧者」かというと微妙
0429スペースNo.な-742012/03/01(木) 20:07:12.53
法人でもロボットでも業者でもないんだから
一般の普通の閲です
0430スペースNo.な-742012/03/01(木) 20:56:05.71
わざわざ消したり偽装なんてするのは普通じゃない観覧者
0431スペースNo.な-742012/03/02(金) 12:36:32.57
アク解厨管理人の意に沿わないのは全部普通じゃない閲覧者
0432スペースNo.な-742012/03/02(金) 21:04:11.41
いいじゃねーか
どうせ弾かれるなら見えないんだしそんなサイト見なくても…
0433スペースNo.な-742012/03/08(木) 11:39:27.31
httpsからのアクセスログも残るとは知らなかった
0434スペースNo.な-742012/03/08(木) 12:09:24.44
え?
SSLって暗号化されてるから残ったら問題なんじゃないの?
0435スペースNo.な-742012/03/10(土) 03:11:49.85
ググッて色々見てはみたんだけどわからなかったので
naverなんですが
http://j2k.naver.com/※/
この ※ の部分が
j2k_frame.phpやj2j.phpではなく【j2j_loading.php】の場合も翻訳でしょうか?

http://j2k.naver.com/j2j_loading.php/korean/自サイトアドレス ←この形

j2k_frame.phpやj2j.phpの場合は翻訳されたサイトが表示されるけど
j2j_loading.phpだと、単にアドレスの頭にj2k.naver.com/j2j_loading.php/korean/
がつくだけで、翻訳されてる訳でもなく元サイトと全く変わらない表示なので
翻訳サービスとはまた別のアクセスなのかなと
0438スペースNo.な-742012/06/30(土) 01:39:59.63
0439スペースNo.な-742012/07/05(木) 11:52:09.25
しゅ!三
0440スペースNo.な-742012/07/05(木) 23:49:40.28
Google-Site-Verificationが物凄い勢いでアクセスしてきてウザい
0441スペースNo.な-742012/07/06(金) 10:49:44.43
うちはロボ系は百度がよく来てる
ときどき閲覧者が連れてくるY!J-BRJ/YATS crawlerってやつも

でもダントツで多いのはトレンドマイ黒だけどね!
この会社早く潰れないかな
0442スペースNo.な-742012/07/06(金) 13:33:30.09
ウイルスバスター鬱陶しすぎるよな〜
うちは閲様が少ないサイトだから無駄にヒット数が増えているのを見て
ぬか喜びする事多し
0443スペースNo.な-742012/07/17(火) 16:09:01.94
0444スペースNo.な-742012/08/02(木) 01:00:10.65
保守ついでに
iPadは皆さんどうしてます?
半携帯端末だよなあと思うのでUAでブロックしようか悩んでるのですが
Wi-Fi接続で家からのアクセスだったら別にいいしなあと悩ましいです
0445スペースNo.な-742012/08/02(木) 02:36:10.61
自カプが年齢層高めなのと、全年齢字サイトだからというのもあるけど、iPadはそのままにしてる。
(エロ絵ありサイトだったら弾いてるかも)
携帯は一応弾いてる。
0446スペースNo.な-742012/08/02(木) 04:05:26.42
前はケータイ系全部弾いてたけど最近は家でもPCじゃなくて
携帯やスマホでネットする人が多くなってきたみたいだからやめた
ただPC以外でもきちんと見えるように整える気力はないのでその旨書いてる
0447スペースNo.な-742012/08/02(木) 09:41:35.13
エロイラストサイトだから携帯は弾いてるけど、スマホの出先でのWi-Fi接続をどうにかしたい
見る人いるのかって感じだけどUAごと弾くしかないか

そういえば携帯IPリストの更新7月30日来ましたね
http://www.openpne.jp/pne-downloads/mobile_ip_list/
0448スペースNo.な-742012/08/02(木) 14:37:22.92
よほど大っぴらにでなければ出先で見られるぐらいは構わないから
「携帯だから弾く」はやってないんだけど、
web検索で拾われることになる可能性を少しでも潰したいから
とりあえずandroidは弾いてる。
もしbaidu製のOSが出回ってくるなら
そっちも速攻で拒否るつもり。
0449スペースNo.な-742012/08/02(木) 18:51:03.33
>>448
>web検索で拾われることになる可能性を少しでも潰したいから
>とりあえずandroidは弾いてる。
UAにAndroid含む=クローラがやってくる ということ?

>>444
444が少しでも携帯端末に不安を感じるなら弾けばいいと思うけど
自ジャンルは年齢層高め・自サイトは健全だから放置してる
もしもジャンル年齢層が低めだったら弾いてるな
健全作品だけだとしても、子供が入り込む可能性は低くしたい
0450スペースNo.な-742012/08/02(木) 20:45:54.50
>>449
やっぱりジャンルごとに対応違うんだね
年齢層低めだしUAごと弾くことにした
参考になりました、ありがとう〜
0451スペースNo.な-742012/08/07(火) 09:40:12.79
wtp-g9-maya6.iad1
ってWhois出来ないんだけどなんなのかわかる人いる?
言語は英語だった
0453スペースNo.な-742012/08/07(火) 14:05:34.73
トレンドマイクロだね

「トレンドマイクロ うざい」とかでググれば
IPが出てくるからまるっと弾くといいよw
0454スペースNo.な-742012/08/07(火) 16:30:29.80
>>452-453
ウィルスバスター入れてる人にくっついてくるんだっけか
言われたとおりググったらIP出てきたから弾くわ
ありがとう!
0455スペースNo.な-742012/08/10(金) 23:00:54.30
話題のTポイントツールバーを入れたブラウザを拒否するやり方ってある?
0456スペースNo.な-742012/08/11(土) 10:52:14.67
これ関連か
ttp://blog.tokumaru.org/2012/08/t-point-toolbar-is-harmful.html

Tポイントツールバーが対策終えるまでサイトの公開をやめるくらいしか思いつかない
0458スペースNo.な-742012/08/16(木) 12:53:11.17
UAがn/aのアクセスがあったんだがなんだこれ
空白UAとは違うんだなあ
0459スペースNo.な-742012/08/17(金) 17:33:05.36
狐のアドオンでUAを空白にするやつがあるよ
0460スペースNo.な-742012/09/05(水) 08:48:59.44
保守
0461ロボ2012/09/13(木) 13:31:01.80
ほしゅ
0462スペースNo.な-742012/09/23(日) 02:24:38.89
archive.isが削除依頼出しても対応してくれなくてすごく困ってる…
0463スペースNo.な-742012/10/02(火) 22:32:16.84
保守
0465スペースNo.な-742012/10/23(火) 19:25:25.08
10.251.10.1:15871/cgi-bin/blockOptions.cgi?ws-session=XXXXXXXXX
なんてのが大量に引っ掛かってたんだが何なんだ???

接続元のIPアドレスから察するに企業のPCからの閲覧ポリシーに引っ掛かったっぽいが……
0466スペースNo.な-742012/11/02(金) 20:11:21.16
トレンドマイクロすごいな
全ページ浚うからびびった
こんな熱心なのお前が初めてだよ…
0467スペースNo.な-742012/12/13(木) 08:20:07.30
最近googlebotじゃなくてqooqlebot.comってのが来るようになった
ぐぐると
qooqlebot.com is not the robot which the famous search engine make crawl to check the updates of the web sites. The name is just similar.
って出るんだけどなんなんだろ?IPはhttp://crawl-xxx-xx-xxx-xx.qooqlebot.com(xに数字)もろにクローラー
弾いてもいいのだろうか
0469スペースNo.な-742012/12/15(土) 12:18:29.78
二次BLのサイト持ちで検索避けしてるんだけど
最近検索避けの意味があるのか分からなくなってきた

ジャンルサーチに登録してるんだがそこの幸管さんが
鍵無しツイッターでサーチのアドレスをのせてるんだよね
(サーチはほぼ女性向け)

もう昨今のオープンな状況を見てると
検索避けとかそういう姿勢が古いのかな〜と


支部のジャンルタグでもBL絵が氾濫しているし……
そんなに厳しいジャンルじゃないからかな
0470スペースNo.な-742012/12/15(土) 12:32:11.92
周りがどうとかじゃなく
自分がどう考えるかで判断しなよ
ジャンルの状態や自分の書いてるもの、検索よけの是非など
その辺を合わせてよく考えて好きにしたらいいさ
0471スペースNo.な-742012/12/15(土) 12:35:17.84
>>469
今まではどうして検索避けしてたの?
幸が検索にのっても幸を通してサイトに飛んでくるのと
サイトが直接検索結果に表示されるのは自分は結構大きな違いだと思うけど…
0472スペースNo.な-742012/12/16(日) 05:21:29.69
サーチは最悪抜ければ辿れなくなるけど、サイトは管理人の自己責任だからなぁ
わざわざサーチから見に来るのは同じ嗜好の人だと思うけど、
検索はキャラ名だけで一般人の目につく可能性があるから
避けるに越したことはないと思う
0473スペースNo.な-742012/12/20(木) 14:06:49.23
検索に引っかかりたくないのでツイッターもブログもピクシブもやらないけど
これらのお蔭で画像検索するとBL絵が大量に釣り上がるよね
検索除けの意味が分からなくなってきたっていうのは少し分かる
男性向けみたいなノリになってくのかなと
0474スペースNo.な-742012/12/21(金) 23:11:36.72
男性向けは自分が描いてるものがちゃんと成人向けだって自覚してるからまだいい
女性向けはそのへんナァナァで腹立つ
エロならちゃんと成人向けと書けと思う
0475スペースNo.な-742012/12/21(金) 23:22:08.24
確かになー
失礼な言い方になるけど、
「それがオナニーと知らずに角オナしてる小学生」みたいな印象ある腐女子は結構いる
0476スペースNo.な-742012/12/22(土) 18:26:32.59
「これくらいいいでしょ」みたいなノリだよな
同じ感覚の者同士で固まってるから常識から逸脱してても自覚できない怖さ
自分も男性向け描くようになってからだいぶ意識変わった
0477スペースNo.な-742012/12/22(土) 19:25:50.22
全く同意なんだけど
男性向けのエロサイトで検索除けしてる所ってほとんど無いよね?
ピクシブでも男性向けの18禁が何か対策してるわけでもない
それで大きな問題があるわけでもない
上で言われてるような意識の差は絶対あると思うんだけど
ただプリキュアのエロ画を晒す男性と
イナイレの腐イラスト晒す腐女子は同等?じゃないかと思うんだけど
よく分からなくなってきた
0478スペースNo.な-742012/12/22(土) 20:54:42.75
フィルタリング用のメタタグ入れてるサイトは男性向けやエロゲサイトとかでも見るけど
まあ意識の差はあるだろうね
あと腐女子は数多いから目立つのかね
0479スペースNo.な-742012/12/22(土) 21:06:35.05
あと男性向けは「もしかしたら逮捕されるかもしれない」っていうのが
リアルに感じられるんじゃないかな(考えてない奴もいるだろうけど)
自衛意識の持ち方が違うのかもね
女性向けは有害図書を子供に見せたくない親みたいな倫理感?
0480スペースNo.な-742012/12/22(土) 21:08:23.05
いや仲間以外に見られたくないだけで
倫理なんかないだろ
0482スペースNo.な-742012/12/23(日) 09:40:33.25
男性向けの中でもかなり特殊なサイトは検索避けしてるの見るけどな
pixivは会員登録してないとR-18や漫画形式の2枚目以降は見られないから
誰でも見られるかと言われるとそうでもないと思う
0483スペースNo.な-742012/12/23(日) 21:32:00.60
エロ見たくてpixiv登録する人がそんなにいるとは思えないし年齢制限も無い
登録した人がエロが目に入る事に同意したわけでもないと思う
0485スペースNo.な-742013/01/02(水) 11:11:17.29
>>483
自分は描かないけどエロ絵見たくて登録なんていっぱいいるじゃん
何言ってんの
0486スペースNo.な-742013/01/02(水) 15:39:58.24
なるほど、そういう考えの人がいるからpixivで腐絵が垂れ流しになるのか

ああいうの不意打ちで見るとすごく不快なんだけど
0487スペースNo.な-742013/01/02(水) 16:27:59.53
また無駄な腐叩き
男向けエロ絵だってめちゃくちゃ蔓延ってるのに

嗜好叩きはそれ相応のアンチスレでお願いしますね
0488スペースNo.な-742013/01/02(水) 16:34:23.29
エロは設定かえないと見えないじゃん
他のタグも細かく強制的につけさせられるようになったんだっけ
0490スペースNo.な-742013/02/17(日) 20:24:23.02
すみません質問です。






なるべく隠れられるようにと.htaccessが使える有料鯖にCGI設置という形でサイトを作りたいなと思っています。
そこで、.htaccessやCGIを使うにあたって何かリスクのようなものはありますか?
.htaccessを調べていたら、正しく記述しないと情報漏洩するみたいなことが書いてあったりして少し心配です。よく理解していないうちはややこしい.htaccessやCGIは使わない方が、かえって安全なのでしょうか?
0491スペースNo.な-742013/02/18(月) 08:04:56.26
もしかして、問題があったら検索除けやめとこうってなるのか。
0492スペースNo.な-742013/02/18(月) 08:24:05.89
方法がそれだけとでも思ってる馬鹿ですか
0493スペースNo.な-742013/02/18(月) 10:20:01.59
>htaccessやCGIは使わない方が、かえって安全なのでしょうか?

これは正しい
よく調べてからじゃないと下手すると鯖全体に迷惑かけることもある
0494スペースNo.な-742013/02/18(月) 20:46:10.85
静的サイトにロボ避けのhtaccessをひとつ置くくらいだったら危険ってほどじゃないと思う
ググれば親切な人が作ってくれた雛形があるので、それを自分用にアレンジするくらいで済む
ただ動的サイトとなると初心者にはかなり危険かもしれない
練習としてCGIを使わないサイト構成でhtaccessを一通りマスターしてから
CGIを使ったサイトに移行していくといいんじゃないかな
0495スペースNo.な-742013/02/18(月) 20:59:06.79
そのへんも自分で調べればすぐ出てくるからね
理解できなかったか、ググりすらしなかったなら…
04964902013/02/20(水) 18:57:45.50
やはりよくわからない内はなるべく使わない方が無難なんですね。.htaccessやCGIは、きちんと勉強して使いこなせるようになってから設置することにします。
みなさんレスありがとうございました。
0497スペースNo.な-742013/05/05(日) 16:38:02.19
こいつ根こそぎアクセスしてくるからうざくて弾いた
Mozilla/4.0+(compatible;+Robot/1.0)
ロボットであることを主張してくる有様
0498スペースNo.な-742013/06/07(金) 12:49:51.62
>>497
自分とこにもきたきた
何か間違ってたのかなかなか弾けなくて
SetEnvIf User-Agent "Robot" deny_ua でやっと弾けた。
どっちにしろUAに堂々とロボットが入ってる時点で、はじいといて正解だもんね…
0499スペースNo.な-742013/06/17(月) 18:55:14.13
セルフレイティングしてる人いますか?
よく学校からアクセスされるとかリアが問い合わせしてくるといった愚痴を見かけるわりに
セルフレイティングの話題を見ないのでどうなのかなと
0500スペースNo.な-742013/06/17(月) 19:20:01.92
一応やってるけど
ほんと話題にならないし効果あるのかないのか…
0501スペースNo.な-742013/06/17(月) 19:27:25.46
同じく、一応やってるけど効果の有無は不明。
おまじないで「このサイトは18禁です」と書いてるせいか
リアっぽいのはほとんど来ない。
0502スペースNo.な-742013/06/17(月) 22:42:40.38
おお、やってる人いるんだ
これは双方がやってないと意味ないから気休めみたいなものか…
0503スペースNo.な-742013/06/18(火) 00:18:22.34
ていうか、この規格自体死んでるよね?日本インターネット協会のページは2009年で更新止まってるし、
フィルタリングサービスも、今はもうこのレーティングは見ていない。
自己申告ほどあてにならないものはないから。

あと、フィルタリングサービス自体、有効性は限定的というお話↓
同人ちゃんねる : 今のリア世代にフィルタリングってどのぐらい有効なんだろう
http://doujinch.com/archives/19575901.html
0504スペースNo.な-742013/06/18(火) 16:57:25.45
トレンドマイクロが弾いても弾いても諦めずにIP変えてやってくる…
BASIC認証かけてるから根刮ぎはやられないけど毎回書き加えるのがめんどい
0505スペースNo.な-742013/06/18(火) 17:25:17.01
どうにかならないのかね
他所で見かけたのだけど
ttp://kohada.2ch.net/test/read.cgi/doujin/1290594099/137-138
0506スペースNo.な-742013/06/18(火) 23:52:39.67
IPレンジで毎回403だけど
閲覧者が連れてくるからどうしようもないよね
0507スペースNo.な-742013/06/24(月) 17:08:05.14
トレンドマイクロのは、
うち18禁サイトだから有害サイトに加えてもらえるんならいいけど
解析がうざい以外に何か悪い事ある?

ttp://category.netstar-inc.com/
こういうのにURL入力したら成人向けに分類してくれるかな?
0508スペースNo.な-742013/06/25(火) 22:00:52.19
トレンドマイクロで自サイトどうなってるか調べたら「ビジネス」に分類されてたよ…
0510スペースNo.な-742013/07/05(金) NY:AN:NY.AN
中国から「MSIE msie 6.0; windows nt 5.1 NT Firefox」ていうUAのアクセス来たけどなんだろう
30分間で8アクセスあったけど全部IPが違う
"MSIE msie 6.0; windows nt 5.1 NT Firefox"でぐぐってもよくわからない
0511スペースNo.な-742013/07/05(金) NY:AN:NY.AN
とりあえず普通にブラウザで見に来たお客様じゃないから蹴って問題ないとおもう
0512スペースNo.な-742013/07/05(金) NY:AN:NY.AN
中国からのアクセスよけのおまじない
robots.txtのコメントアウトに天安門、六三事件、Free Tibet。
0513スペースNo.な-742013/07/30(火) NY:AN:NY.AN
htaccessで.cnを蹴っとけばいいんじゃないの
0514スペースNo.な-742013/08/01(木) NY:AN:NY.AN
そういうのは奴ら、簡単にくぐり抜けて来るので
>>512の方が確実だったりするw
0515スペースNo.な-742013/08/18(日) NY:AN:NY.AN
6ホタスレのこれ誰か詳しく知らない?

735 スペースNo.な-74 sage 2013/08/16(金) NY:AN:NY.AN
>>711-712
ウチも来る<funabasi.chiba.ocn.ne.jp
解析見るとRobotって書いてあるから巡回ロボットなんだろうけど
気になってググッても巡回ロボはGoogleやYahoo!やmsnばかりでocnは引っかからない
ocnのロボットって存在するのかな?
誰か教えて欲しい
0516スペースNo.な-742013/08/18(日) NY:AN:NY.AN
>515
「+Robot」。
>robots.txtを無視します。
>管理画面のリンクからパスワード認証ページもスキャンしてきます。
>特定サイトを個人でweb自動巡回をするならまだしも全く関連性のない大量のサイトを同じIP・UAで巡回するとは考えられません。
>phpなどで作成されたweb自動巡回プログラムによる偽装ユーザーエージェントの可能性もあります。
>利用目的も不明確でrobotsを読まないクローラーはブロックするのが良いでしょう。
>あまりにアタックが酷い場合は.htaccessでdeny(※一部のユーザーに障害が出ます)
>deny from .chiba.ocn.ne.jp

こっちはググれば情報が出てくる
#facebookexternalhit
deny from 69.0.0.0/8

顔本に1つでも本人・第三者が投稿したページリンクがあるとrobots.txtガン無視・非公開URLもクロールする透過性プロクシbot
0517スペースNo.な-742013/08/29(木) NY:AN:NY.AN
ロボ避けというよりもハッキング対策
WordPressをロリポ・元チカッパの簡易インストールで使っている人要注意

サイト改ざん?
ttp://ja.forums.wordpress.org/topic/24503
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況