X
文系だがスクレイピングやクローリングを勉強したい
■ このスレッドは過去ログ倉庫に格納されています
0001仕様書無しさん
垢版 |
2020/04/16(木) 17:35:05.61
そういう学校ある？
0004仕様書無しさん
垢版 |
2020/04/16(木) 21:09:58.26
ないよ
むしろ自分でサイト作って動的なフロントシステム作れるレベルじゃないとスクレイピングは無理
SPAならそもそもページないし
0007仕様書無しさん
垢版 |
2020/04/16(木) 22:24:02.68
>>6
どこまでコーディングできるの？
ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの？
0008仕様書無しさん
垢版 |
2020/04/16(木) 22:33:17.04
今ちょうどHTML5パーサー書いてるけど。
0010仕様書無しさん
垢版 |
2020/04/20(月) 14:58:58.04
スクレイピングもあまり定番の方法ないしな
そもそもどういう出力がしたいのかも異なる
テーブルとってくる程度ならエクセルで十分だし
ログイン込みでやるなら面倒だったりするし
ブラウザ制御でやるのかHTTPで会話するのか・・・
0011仕様書無しさん
垢版 |
2020/04/21(火) 03:04:06.80
低偏差値で学歴コンプの奴は
全盛期の自分はクラス(大体小学校w)で10%以上の成績だった→本気出せばMARCH余裕だった→環境良ければ早慶余裕、MARCH以下は雑魚みたいな理論で自分を慰めてる
0012仕様書無しさん
垢版 |
2020/04/21(火) 03:12:30.36
数ヶ月前に立教を蹴って専門に行ったというスレをスクレイピングで見つけた
進学校によくあるパターンで国立がダメなら専門にでも行ってやるという友人を思い出した
彼は今、派遣のオペレーターだ
俗に言う子供部屋おじさんで自称発達障害なのだが、医者では否定されたらしく、ただの低IQ無能だったらしい
彼は元々小学校の算数は公文で出来たのだが所詮はパターン学習に過ぎないため、論理的思考力に欠けていて中学3年くらいで落ちこぼれた

この前自分のおごりで寿司食わせてやったよ
高校時代を思い出すと泣けてくる
自民党批判を盛んにしていたが笑って流した。
昔のよしみもあって、彼には幸せになって欲しいのだが、いつになったら実は自分に非があると理解するのだろうか
0013仕様書無しさん
垢版 |
2020/04/21(火) 14:59:49.75
>>7
＞　ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの？

Webプログラマの特徴なんだけど、
そういう幼稚なママゴトを
さもすごいことのように自慢するわけだ。

はっきり言うが、Web屋はプログラマじゃないから。
ただのコーダー
0014仕様書無しさん
垢版 |
2020/04/22(水) 14:55:23.28
>>13
普通に要件定義や設計、バックエンド開発DB開発もすべてやるがな
フロントクソなゴミJavaパーより生産性は圧倒的に上
0015仕様書無しさん
垢版 |
2020/04/23(木) 16:18:33.99
>>14
それはWeb屋じゃなくて普通に業務系じゃないの？
0016仕様書無しさん
垢版 |
2020/04/23(木) 16:32:07.59
Webは場合によってすごく苦労するのよ

客が出来上がったものを見て
デザインから根本的にやり直せ！とか、
もう殺したくなる！
0017仕様書無しさん
垢版 |
2020/04/23(木) 16:38:34.72
>>16
普通モック見せながら進めるからそこまで酷い事は起きた事ないけどな
コンセンサスとるのに苦労するのはあるよね
0018仕様書無しさん
垢版 |
2020/04/23(木) 18:28:51.78
担当者間では問題なくても上長が却下してくることはあるんじゃない？
0019仕様書無しさん
垢版 |
2020/04/23(木) 19:34:44.08
開発プロセスにもよるけどデザインに対する修正要望の締切決めて
それ以降は大きい修正受けないようにするでしょ
ちゃんと変更増分の費用くれるなら付き合うけどな
0020仕様書無しさん
垢版 |
2020/04/23(木) 21:31:59.34
>>15
もはや業務系もWebに変わりないじゃん
ちなみに今開発中の業務アプリはスマホアプリやWebサイト、LPとかとも連動させる奴
営業、接客、広告、経理、人事労務とかもろもろ全てWebで管理する壮大なシステムを俺がほぼ一人で開発してる
といってもあと数人バックエンドしかできない連中もいるけど
0022仕様書無しさん
垢版 |
2020/04/24(金) 17:18:45.34
フロントエンドやるならデザインもやれよ
ていうかバックエンドなんかapi出して後は知らんぷりなんだからどんどんバックエンドは仕事減るから安月給でいいよ
0023仕様書無しさん
垢版 |
2020/04/27(月) 01:37:09.57
>>16
月額固定で金とれる体制までもっていければ気が楽になるぞ
見積もり無料の段階でやり直し連発はどこの段階で金とるか考えてだんだんハイテンションに
0024仕様書無しさん
垢版 |
2020/04/27(月) 02:45:21.71
動的ページでスクリプトをこっちで展開してスクレイピングするとか
さらにレベルが高いぞ
0025仕様書無しさん
垢版 |
2020/04/27(月) 09:00:58.36
ブラウザの自動運転したほうが楽だよね
なんならマウスのマクロで遷移させて取得とか
0026仕様書無しさん
垢版 |
2020/05/03(日) 10:02:24.71
>>23
＞　どこの段階で金とるか考えてだんだんハイテンションに

ああ、あれは麻薬だよね
だんだんと深みにはまってゆく
いくらプレゼン繰り返しても発注も金額も出てこないとき、
ウルトラハイになれる！

たらら〜♪とか歌いだしてしまう
0027仕様書無しさん
垢版 |
2020/05/03(日) 21:06:23.29
スクレイピングの外部サービスが存在しないのは訴訟リスクがあるからだろうな

需要があることは解ってるから、代わりにノンプロミングで出来て客の自己責任なRPAを売り込む
0029仕様書無しさん
垢版 |
2020/05/03(日) 22:39:35.61
>>27
普通にたくさんいくらでもあるんだけど
0030仕様書無しさん
垢版 |
2020/05/05(火) 06:06:03.67
わいもスクレイピング学びたい。
Amazonからセール品だけスクレイピングでまとめるサービスとか作りたい。（電子書籍の司書さんみたいな）
詳しい人いたら法律的にどうなのかとか、勉強手順とか教えてくれそ。
0031仕様書無しさん
垢版 |
2020/05/05(火) 06:27:43.25
>>30
Amazonはスクレイピング禁止している
0032仕様書無しさん
垢版 |
2020/05/05(火) 09:27:00.25
素人がスクレイピングしたいならUWSCの有料版じゃないかな
あと、Amazon等で色々したいならまずはAPIを先にやろう
楽天やヤフーもそうだけど大手モールはだいたいAPI用意してる
0033仕様書無しさん
垢版 |
2020/05/05(火) 10:46:52.14
スクレイピング禁止します
検索用の有料APIあるから使ってね

つまり無料のスクレイピングはダメだと言うだけだろ
業者からしたら一円の金にもならんのにサーバー負荷だけ背負わされるわけだしな
0034仕様書無しさん
垢版 |
2020/05/05(火) 11:12:44.09
amazonはスクレイピングしないとライバルに勝てないぞ
apiは情報が古かったりする
0036仕様書無しさん
垢版 |
2020/05/05(火) 12:04:57.96
Amazonはアカウントと紐づけてスクレイピングしたらバンされるぞ
何年か前にそれが流行った
0037仕様書無しさん
垢版 |
2020/05/05(火) 12:04:59.69
AmazonとかTwitterなんかの規約で禁止してるとこはスクレイピングしてるとアクセス元IP閉じちゃう
関係ない人らもアクセスできなくなる可能性高くて周りが迷惑する事になる（グローバルアクセスは固定IP契約してないと同一IPを皆で共用しているので）
0038仕様書無しさん
垢版 |
2020/05/05(火) 12:08:58.07
ライバル？
転売屋さん？
ネットヤクザの自覚ある？
社会のゴミ
0039仕様書無しさん
垢版 |
2020/05/05(火) 14:26:20.76
api提供されてんだから使えば良いだけ
情報古いとか言ってる人は英語読めないんだろ
英語のドキュメントは最新だからな
0041仕様書無しさん
垢版 |
2021/05/16(日) 16:03:41.72
AmazonのAPI色々触ってみたけど、やりたいことできないんだよな
なんか痒いところに手が届かない感じ

結局、スクレイピングじゃないと…みたいになる
0045仕様書無しさん
垢版 |
2024/03/29(金) 13:34:55.60
残念な判断しかできないアピールもウザい
でもニコ生系の生主とかには向いてると思うしかない
0046仕様書無しさん
垢版 |
2024/03/29(金) 15:01:29.26
先物駄々下がり率上位になれてない
0047仕様書無しさん
垢版 |
2024/03/29(金) 15:30:08.38
写真集が入荷しても
何らかの金銭取引あったろ
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況