文系だがスクレイピングやクローリングを勉強したい
■ このスレッドは過去ログ倉庫に格納されています
ないよ
むしろ自分でサイト作って動的なフロントシステム作れるレベルじゃないとスクレイピングは無理
SPAならそもそもページないし >>6
どこまでコーディングできるの?
ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの? スクレイピングもあまり定番の方法ないしな
そもそもどういう出力がしたいのかも異なる
テーブルとってくる程度ならエクセルで十分だし
ログイン込みでやるなら面倒だったりするし
ブラウザ制御でやるのかHTTPで会話するのか・・・ 低偏差値で学歴コンプの奴は
全盛期の自分はクラス(大体小学校w)で10%以上の成績だった→本気出せばMARCH余裕だった→環境良ければ早慶余裕、MARCH以下は雑魚みたいな理論で自分を慰めてる 数ヶ月前に立教を蹴って専門に行ったというスレをスクレイピングで見つけた
進学校によくあるパターンで国立がダメなら専門にでも行ってやるという友人を思い出した
彼は今、派遣のオペレーターだ
俗に言う子供部屋おじさんで自称発達障害なのだが、医者では否定されたらしく、ただの低IQ無能だったらしい
彼は元々小学校の算数は公文で出来たのだが所詮はパターン学習に過ぎないため、論理的思考力に欠けていて中学3年くらいで落ちこぼれた
この前自分のおごりで寿司食わせてやったよ
高校時代を思い出すと泣けてくる
自民党批判を盛んにしていたが笑って流した。
昔のよしみもあって、彼には幸せになって欲しいのだが、いつになったら実は自分に非があると理解するのだろうか >>7
> ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの?
Webプログラマの特徴なんだけど、
そういう幼稚なママゴトを
さもすごいことのように自慢するわけだ。
はっきり言うが、Web屋はプログラマじゃないから。
ただのコーダー >>13
普通に要件定義や設計、バックエンド開発DB開発もすべてやるがな
フロントクソなゴミJavaパーより生産性は圧倒的に上 >>14
それはWeb屋じゃなくて普通に業務系じゃないの? Webは場合によってすごく苦労するのよ
客が出来上がったものを見て
デザインから根本的にやり直せ!とか、
もう殺したくなる! >>16
普通モック見せながら進めるからそこまで酷い事は起きた事ないけどな
コンセンサスとるのに苦労するのはあるよね 担当者間では問題なくても上長が却下してくることはあるんじゃない? 開発プロセスにもよるけどデザインに対する修正要望の締切決めて
それ以降は大きい修正受けないようにするでしょ
ちゃんと変更増分の費用くれるなら付き合うけどな >>15
もはや業務系もWebに変わりないじゃん
ちなみに今開発中の業務アプリはスマホアプリやWebサイト、LPとかとも連動させる奴
営業、接客、広告、経理、人事労務とかもろもろ全てWebで管理する壮大なシステムを俺がほぼ一人で開発してる
といってもあと数人バックエンドしかできない連中もいるけど https://teratail.com/questions/256001
SEやってるのにそんなことも考えられないのかってのと
完全フロントエンジニアになるなら収入落ちるのになんでやってのと フロントエンドやるならデザインもやれよ
ていうかバックエンドなんかapi出して後は知らんぷりなんだからどんどんバックエンドは仕事減るから安月給でいいよ >>16
月額固定で金とれる体制までもっていければ気が楽になるぞ
見積もり無料の段階でやり直し連発はどこの段階で金とるか考えてだんだんハイテンションに 動的ページでスクリプトをこっちで展開してスクレイピングするとか
さらにレベルが高いぞ ブラウザの自動運転したほうが楽だよね
なんならマウスのマクロで遷移させて取得とか >>23
> どこの段階で金とるか考えてだんだんハイテンションに
ああ、あれは麻薬だよね
だんだんと深みにはまってゆく
いくらプレゼン繰り返しても発注も金額も出てこないとき、
ウルトラハイになれる!
たらら〜♪とか歌いだしてしまう スクレイピングの外部サービスが存在しないのは訴訟リスクがあるからだろうな
需要があることは解ってるから、代わりにノンプロミングで出来て客の自己責任なRPAを売り込む わいもスクレイピング学びたい。
Amazonからセール品だけスクレイピングでまとめるサービスとか作りたい。(電子書籍の司書さんみたいな)
詳しい人いたら法律的にどうなのかとか、勉強手順とか教えてくれそ。 >>30
Amazonはスクレイピング禁止している 素人がスクレイピングしたいならUWSCの有料版じゃないかな
あと、Amazon等で色々したいならまずはAPIを先にやろう
楽天やヤフーもそうだけど大手モールはだいたいAPI用意してる スクレイピング禁止します
検索用の有料APIあるから使ってね
つまり無料のスクレイピングはダメだと言うだけだろ
業者からしたら一円の金にもならんのにサーバー負荷だけ背負わされるわけだしな amazonはスクレイピングしないとライバルに勝てないぞ
apiは情報が古かったりする Amazonはアカウントと紐づけてスクレイピングしたらバンされるぞ
何年か前にそれが流行った AmazonとかTwitterなんかの規約で禁止してるとこはスクレイピングしてるとアクセス元IP閉じちゃう
関係ない人らもアクセスできなくなる可能性高くて周りが迷惑する事になる(グローバルアクセスは固定IP契約してないと同一IPを皆で共用しているので) ライバル?
転売屋さん?
ネットヤクザの自覚ある?
社会のゴミ api提供されてんだから使えば良いだけ
情報古いとか言ってる人は英語読めないんだろ
英語のドキュメントは最新だからな AmazonのAPI色々触ってみたけど、やりたいことできないんだよな
なんか痒いところに手が届かない感じ
結局、スクレイピングじゃないと…みたいになる 残念な判断しかできないアピールもウザい
でもニコ生系の生主とかには向いてると思うしかない ■ このスレッドは過去ログ倉庫に格納されています