文系だがスクレイピングやクローリングを勉強したい

■ このスレッドは過去ログ倉庫に格納されています
1仕様書無しさん
垢版 |
2020/04/16(木) 17:35:05.61
そういう学校ある？
2020/04/16(木) 17:35:23.84
ない
2020/04/16(木) 17:38:19.58
こちらへどうぞ

【相談】プログラマーになりたい人のためのスレ 2
http://medaka.5ch.net/test/read.cgi/prog/1576503666/
4仕様書無しさん
垢版 |
2020/04/16(木) 21:09:58.26
ないよ
むしろ自分でサイト作って動的なフロントシステム作れるレベルじゃないとスクレイピングは無理
SPAならそもそもページないし
2020/04/16(木) 21:11:58.76
法律すれすれだしな
業務としてやると
2020/04/16(木) 21:52:33.04
>>4
自分でそれ系統のサイト運営してるが。
7仕様書無しさん
垢版 |
2020/04/16(木) 22:24:02.68
>>6
どこまでコーディングできるの？
ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの？
8仕様書無しさん
垢版 |
2020/04/16(木) 22:33:17.04
今ちょうどHTML5パーサー書いてるけど。
2020/04/17(金) 00:55:53.29
スクレイピング容赦せん!
2020/04/20(月) 14:58:58.04
スクレイピングもあまり定番の方法ないしな
そもそもどういう出力がしたいのかも異なる
テーブルとってくる程度ならエクセルで十分だし
ログイン込みでやるなら面倒だったりするし
ブラウザ制御でやるのかHTTPで会話するのか・・・
11仕様書無しさん
垢版 |
2020/04/21(火) 03:04:06.80
低偏差値で学歴コンプの奴は
全盛期の自分はクラス(大体小学校w)で10%以上の成績だった→本気出せばMARCH余裕だった→環境良ければ早慶余裕、MARCH以下は雑魚みたいな理論で自分を慰めてる
12仕様書無しさん
垢版 |
2020/04/21(火) 03:12:30.36
数ヶ月前に立教を蹴って専門に行ったというスレをスクレイピングで見つけた
進学校によくあるパターンで国立がダメなら専門にでも行ってやるという友人を思い出した
彼は今、派遣のオペレーターだ
俗に言う子供部屋おじさんで自称発達障害なのだが、医者では否定されたらしく、ただの低IQ無能だったらしい
彼は元々小学校の算数は公文で出来たのだが所詮はパターン学習に過ぎないため、論理的思考力に欠けていて中学3年くらいで落ちこぼれた

この前自分のおごりで寿司食わせてやったよ
高校時代を思い出すと泣けてくる
自民党批判を盛んにしていたが笑って流した。
昔のよしみもあって、彼には幸せになって欲しいのだが、いつになったら実は自分に非があると理解するのだろうか
13仕様書無しさん
垢版 |
2020/04/21(火) 14:59:49.75
>>7
＞　ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの？

Webプログラマの特徴なんだけど、
そういう幼稚なママゴトを
さもすごいことのように自慢するわけだ。

はっきり言うが、Web屋はプログラマじゃないから。
ただのコーダー
14仕様書無しさん
垢版 |
2020/04/22(水) 14:55:23.28
>>13
普通に要件定義や設計、バックエンド開発DB開発もすべてやるがな
フロントクソなゴミJavaパーより生産性は圧倒的に上
15仕様書無しさん
垢版 |
2020/04/23(木) 16:18:33.99
>>14
それはWeb屋じゃなくて普通に業務系じゃないの？
16仕様書無しさん
垢版 |
2020/04/23(木) 16:32:07.59
Webは場合によってすごく苦労するのよ

客が出来上がったものを見て
デザインから根本的にやり直せ！とか、
もう殺したくなる！
2020/04/23(木) 16:38:34.72
>>16
普通モック見せながら進めるからそこまで酷い事は起きた事ないけどな
コンセンサスとるのに苦労するのはあるよね
2020/04/23(木) 18:28:51.78
担当者間では問題なくても上長が却下してくることはあるんじゃない？
2020/04/23(木) 19:34:44.08
開発プロセスにもよるけどデザインに対する修正要望の締切決めて
それ以降は大きい修正受けないようにするでしょ
ちゃんと変更増分の費用くれるなら付き合うけどな
20仕様書無しさん
垢版 |
2020/04/23(木) 21:31:59.34
>>15
もはや業務系もWebに変わりないじゃん
ちなみに今開発中の業務アプリはスマホアプリやWebサイト、LPとかとも連動させる奴
営業、接客、広告、経理、人事労務とかもろもろ全てWebで管理する壮大なシステムを俺がほぼ一人で開発してる
といってもあと数人バックエンドしかできない連中もいるけど
2020/04/24(金) 07:29:57.65
https://teratail.com/questions/256001

SEやってるのにそんなことも考えられないのかってのと
完全フロントエンジニアになるなら収入落ちるのになんでやってのと
22仕様書無しさん
垢版 |
2020/04/24(金) 17:18:45.34
フロントエンドやるならデザインもやれよ
ていうかバックエンドなんかapi出して後は知らんぷりなんだからどんどんバックエンドは仕事減るから安月給でいいよ
2020/04/27(月) 01:37:09.57
>>16
月額固定で金とれる体制までもっていければ気が楽になるぞ
見積もり無料の段階でやり直し連発はどこの段階で金とるか考えてだんだんハイテンションに
2020/04/27(月) 02:45:21.71
動的ページでスクリプトをこっちで展開してスクレイピングするとか
さらにレベルが高いぞ
2020/04/27(月) 09:00:58.36
ブラウザの自動運転したほうが楽だよね
なんならマウスのマクロで遷移させて取得とか
26仕様書無しさん
垢版 |
2020/05/03(日) 10:02:24.71
>>23
＞　どこの段階で金とるか考えてだんだんハイテンションに

ああ、あれは麻薬だよね
だんだんと深みにはまってゆく
いくらプレゼン繰り返しても発注も金額も出てこないとき、
ウルトラハイになれる！

たらら〜♪とか歌いだしてしまう
2020/05/03(日) 21:06:23.29
スクレイピングの外部サービスが存在しないのは訴訟リスクがあるからだろうな

需要があることは解ってるから、代わりにノンプロミングで出来て客の自己責任なRPAを売り込む
2020/05/03(日) 22:20:17.49
CAPTCHA対策知ってる？
29仕様書無しさん
垢版 |
2020/05/03(日) 22:39:35.61
>>27
普通にたくさんいくらでもあるんだけど
30仕様書無しさん
垢版 |
2020/05/05(火) 06:06:03.67
わいもスクレイピング学びたい。
Amazonからセール品だけスクレイピングでまとめるサービスとか作りたい。（電子書籍の司書さんみたいな）
詳しい人いたら法律的にどうなのかとか、勉強手順とか教えてくれそ。
31仕様書無しさん
垢版 |
2020/05/05(火) 06:27:43.25
>>30
Amazonはスクレイピング禁止している
2020/05/05(火) 09:27:00.25
素人がスクレイピングしたいならUWSCの有料版じゃないかな
あと、Amazon等で色々したいならまずはAPIを先にやろう
楽天やヤフーもそうだけど大手モールはだいたいAPI用意してる
33仕様書無しさん
垢版 |
2020/05/05(火) 10:46:52.14
スクレイピング禁止します
検索用の有料APIあるから使ってね

つまり無料のスクレイピングはダメだと言うだけだろ
業者からしたら一円の金にもならんのにサーバー負荷だけ背負わされるわけだしな
2020/05/05(火) 11:12:44.09
amazonはスクレイピングしないとライバルに勝てないぞ
apiは情報が古かったりする
2020/05/05(火) 11:54:54.52
Amazonとかは規約で禁止してたでしょ
36仕様書無しさん
垢版 |
2020/05/05(火) 12:04:57.96
Amazonはアカウントと紐づけてスクレイピングしたらバンされるぞ
何年か前にそれが流行った
2020/05/05(火) 12:04:59.69
AmazonとかTwitterなんかの規約で禁止してるとこはスクレイピングしてるとアクセス元IP閉じちゃう
関係ない人らもアクセスできなくなる可能性高くて周りが迷惑する事になる（グローバルアクセスは固定IP契約してないと同一IPを皆で共用しているので）
2020/05/05(火) 12:08:58.07
ライバル？
転売屋さん？
ネットヤクザの自覚ある？
社会のゴミ
2020/05/05(火) 14:26:20.76
api提供されてんだから使えば良いだけ
情報古いとか言ってる人は英語読めないんだろ
英語のドキュメントは最新だからな
2021/03/24(水) 08:01:44.08
APIは有料だから使いたくないんだろ。
2021/05/16(日) 16:03:41.72
AmazonのAPI色々触ってみたけど、やりたいことできないんだよな
なんか痒いところに手が届かない感じ

結局、スクレイピングじゃないと…みたいになる
2023/08/22(火) 22:50:30.24
うれしすぎて笑顔が止まらないよ！
2023/09/20(水) 22:17:52.39
ほんまかいな、行こう
2023/09/28(木) 04:14:05.95
∑ヾ(≧□≦*)ﾉ ｳﾜｯ!!
2024/03/29(金) 13:34:55.60
残念な判断しかできないアピールもウザい
でもニコ生系の生主とかには向いてると思うしかない
46仕様書無しさん
垢版 |
2024/03/29(金) 15:01:29.26
先物駄々下がり率上位になれてない
47仕様書無しさん
垢版 |
2024/03/29(金) 15:30:08.38
写真集が入荷しても
何らかの金銭取引あったろ
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況