Pythonでデータ分析&自動売買 Part1
■ このスレッドは過去ログ倉庫に格納されています
pandas scikit-learn TnesorFlow
優秀なライブラリが豊富なPythonについて語れ 前回高値とかチャートの山の部分でどうゆうコードで表現するんだろ >>114
scipy.signal.argrelmax >>115
あ、そうじゃなくて1番目に高いとこ、2番目に高いとことか各山のポイントね >>115
ごめん、合ってたわ
>>116は忘れてくれ Pythonは簡単でええやん
高卒の俺でも簡単に覚えられたわ sage body
騰がる株
3053ペッパー +8.19%
6440JUKI +6.37%
6208石川製作 +6.14%
富子株(億様の方)凄すぎてワラだす >>121
マジで?凄いね
俺クソ初心者でmt4のコードもろくにかけねーが
それでもできるの?
全然わかんねー >>123
時系列の分析やバックテストくらいなら
1ヶ月くらいでできるよ >>124
いや尊敬っす
でも対応した業者とかFXにあるんすか?
仮想通貨だとbotどうのツイッターでやってるみたいだけど…
クレクレ君ですみません
気を悪くしたら流してください >>125
いや俺は全然できんよ
時系列データを分析してバックテストだけさね
自動発注する方法は今模索中だよ
ただPythonは他の言語に比べると簡単と感じるね 対応してる業者だとOANDAとかあるけどスプレッド広いからやめたわ。
結局いつも使ってる業者のアプリ立ち上げっぱなしにして、PCの操作を自動化してエントリーと全決済のみでやってる。 OANDAはスプ広いけどインターバンク直結だからと勧められた
よくないんかな? 悪くはないと思います。自分の場合はスキャルbotに近い感じなので、エントリー数と勝率考えた時にスプレッドが低い方がよかったってだけです。 win_position :56回
lose_position :46回
total_position:102回
max_profits :40pips
max_loss :30.6pips
profits :363.8pips
loss :274.9pips
total :88.9pips
PF :1.32339
RR :1.087102
勝率 :54.902%
4月頭からFTしてるんだけど他にどんな指標があると良し悪し判定できる? BTの傾向と比較するに過学習はしてなさそうなんだけど… 俺が今やってるのはTwitter APIで任意のワードの頻出度数やAmazon APIで商品のランキングの推移などを取得して、scrapyで取得した株価や出来高などの市場データとの相関関係の調査
まだデータが集まってないから何とも言えんが、面白い結果が出たらここで報告したるよ twitterはたまにAPI使いすぎると垢banなるからこわい 繧ス繝ュ繧ケ縺ョ蜀榊クー諤ァ逅?隲悶▲縺ヲ縺ョ縺後≠繧九s縺縺代←縲∽セ九∴縺ー邁。蜊倥↑繝「繝?繝ォ繧定?縺医k縺ィ
譬ェ萓。縺御ク翫′繧銀?定ゥア鬘後↓縺ェ繧銀?剃ココ縺碁寔縺セ縺」縺ヲ雋キ縺?縺悟?・繧頑ェ萓。縺梧峩縺ォ荳翫k竊偵h繧翫>縺」縺昴≧隧ア鬘後↓縺ェ繧銀?堤ケー繧願ソ斐@繝サ繝サ繝サ
縺薙?ョ豬√l縺ッ諤昴▲縺溘h繧翫b縺壹▲縺ィ邯壹″縲√ヰ繝悶Ν縺ョ繧医≧縺ェ蜍輔″縺悟ス「謌舌&繧後k縲ゅ◎繧後?ッ邨碁ィ鍋噪縺ォ繧ょ??縺九k繧薙§繧?縺ェ縺?縺九↑
繝?繝シ繧ソ蛻?譫舌b蜊倥↑繧狗嶌髢「縺倥c縺ェ縺上※縲√◎縺?縺?縺?蜀榊クー逧?縺ェ蠑キ蛹悶?励Ο繧サ繧ケ繧呈э隴倥☆繧九→濶ッ縺?繧薙§繧?縺ェ縺?縺九↑繝シ なんか文字化けしたわ
ソロスの再帰性理論を応用して、単に相関を分析するのでなく、話題性と株価の自己強化プロセスを意識するようなデータ分析とか良いんじゃないかなー
みたいな事をもうちょっと詳しく書いたけどまた書くのめんどくせえわ ソロスの再帰性理論ってのがあるんだけど、例えば簡単なモデルを考えると
株価が上がる→話題になる→人が集まって買いが入り株価が更に上る→よりいっそう話題になる→繰り返し・・・
この流れは思ったよりもずっと続き、バブルのような動きが形成される。それは経験的にも分かるんじゃないかな
データ分析も単なる相関じゃなくて、そういう再帰的な強化プロセスを意識すると良いんじゃないかなー 相関を分析といってもいろいろやり方はあると思うけど、
何かと価格の変化の関係を調べた時点で、そういった相乗効果も含まれた結果が返ってくるのでは?
というか、統計結果を見て再帰的な効果か一次的な変化かを判断するほうが難しそう
それともそういうのとはまた違ったやり方があるのだろうか 投資家の心理を定量化して株価との相関を取るのなんか2000年代からやり尽くされてる
「市場心理とトレード」って本、読んでおけよ >>143
>何かと価格の変化の関係を調べた時点で、そういった相乗効果も含まれた結果が返ってくるのでは?
>というか、統計結果を見て再帰的な効果か一次的な変化かを判断するほうが難しそう
そう、だから単に相関を分析するのではなく、時間と話題と株価から強化プロセスの始動を見分けられるような仕組みを考える
上に書いたのは適当に考えた単純なモデルだけど、それが有効だと仮定して話すと、時間の変化とともに↓のような流れが起きるわけじゃん
株価が上がる→話題になる→更に株価が上がる→更に話題になる
株価とツイート数と時間の変化から上の流れを読み取ることは出来るよね
まあだから見れば分かるんだけど、機械的にやるのは不可能なのかな?
俺は詳しくないから分からんけど、詳しい人なら出来るんじゃないかなーと思って レベルの低いスレだな
そんな相関を調べる前にまず価格変動の時系列相関を調べてみろよ
たとえばWEBサイトをクローリングして価格データをスクレイピングで取得して、その連続福利収益率を連検定してみりゃええやん
ちな俺は証券アナリストの資格持ってるからファンダ分析やポートフォリオ理論、統計解析のことなら答えてやるよ >>142
共産党とかマスゴミとかがそっち方面の研究してそうだ 螳溽クセ縺ェ縺?縺ョ縺ォ隰幃亥桙繧後※蝟懊?カ繧「繝翫Μ繧ケ繝医&繧薙↓闊亥袖縺ェ縺?縺ァ縺? >>147
みんなしてるよ
社会的事象の研究してる人たちはこの程度のことはみんな考えてる
統計知ってるなら正規分布とかべき分布くらい分かるだろうし
正規分布しない社会現象の性質(株価もね)と、それはどういう要素から生まれるのか世界の構造を考えて
その構造に合ったことすれば投機で稼ぐのは簡単だよ
ブラックスワンと反脆弱性読めば8割くらい事足りる
あとは実践と経験積むしかない
完璧な机上の空論を考えてノーベル賞取った経済学者みたいな奴らのあとを追っては駄目だよ
奴らの末路を見ても、なぜか分からない人の方が多いっぽい現実! シラー教授は純粋合理的に行動する「経済人」だけが存在する、言わば「仮想空間」における一種のパズル思考で現実を分析する理論経済学だけでは説明しきれない経済現象が存在することを重視し、
現実の経済分析を行うには、非合理的な側面をも有する人間の行動に光を当てなければ、現実を説明する理論にはならないことを強調したのである。
シラー教授は著書のなかで、一種の群集心理が価格バブルを生み出すメカニズムを説明する例示として分かりやすいケースを提示してみせる。
ある人が初めて訪れた場所で二軒の似たようなレストランを見つけたときに、一方のレストランを特に理由もなく選択する。あとから訪れる同じ属性を持った人々は、先人が一方のレストランを選択したことを根拠に、同じレストランを選択する。
二つのレストランに格差は存在しないのに、一方のレストランのみに人が集まる。
こうした人間行動のメカニズムを探り、このような人間行動が価格決定に重要な役割を果たすことがあり得ることを重視するのである。
↑こんなのも見つけたよ。分かりやすいね
と、だいぶスレの趣旨とはズレてしまったし、このへんで消えるわ
一つ言えるのは、現実が見れて正しい判断と行動が出来れば儲かる
当たり前だけど。まあ頑張れ ここでいくら合理的な行動を説明しても本質的に無意味じゃないか?
と言うのも、それを完全に解析できるプログラムがあったとしても、
両者のプログラムが売買で勝負したら結果はどうなる?
ある優秀なプログラムでも長期で見ると50%の確率でしか上下が予測できないし
最近こんな事を思う機会が増えた 解読してやったよ>>149
実績ないのに講釈垂れて喜ぶアナリストさんに興味ないで 縺昴l縺ッ縺励↑縺上※縺?縺?繧医?サ繝サ繝サ
繧上*縺ィ譁?蟄怜喧縺代&縺帙◆縺ョ縺ォ繝サ繝サ繝サ せっかくだからデータ提供してやるよ
俺は半年前から、上場企業約4000社の週次株価四本値、出来高、EPS、BPS、一株当たり売上高、信用買残、売残を取得して標準化、それらをリターンと重回帰分析できるシステムを作った
それぞれの偏回帰係数とt値は順に
0.94 0.76
1.35 1.56
1.08 1.22
1.27 1.41
0.81 0.49
0.89 0.56 結局のところ有意なt値は得られず短期的なリターンとファンダメンタルズにの関係性は薄い
長期的に分析してけば傾向がわかるかもしれないから、これからも続けてく
お前らも抽象的なことばっかじゃなくて具体的なデータや検証結果の情報交換をしようぜ こういうのに走る奴って裁量じゃ全然勝てないんだろうな 解読>>154
それはしなくていいよ・・・
わざと文字化けさせたのに・・・ 株は分析で上手くいってる人も多いだろうし、論文の題材にもなりやすいから
やはりやりやすいのだろう
自分でも少しやってみたが多少プラスになるぐらいのものならいけたと思う
でも・・・FXで上手くいかなきゃ意味がないんだ >>160
これは俺個人でプログラミングの勉強も兼ねてやってるだけ
クォンツ部門なら、もっと厳密でもっと広範囲でもっと高度なことやってる
こういうマルチファクターモデルの基本くらいはCMA持ちなら皆できるだろう >>162
もう少しレベルの高いデータを提供してくれないか? >>163
give-and-takeでやろうやw
そっちも情報提供してくれたら、対数リターンとPERやPBRの指標との相関係数なんかも教えたるよ おいおい、pythonでデータ分析スレなのに、ここまで具体的なデータを出したの俺だけじゃねえか
どうせお前らモジュールに変数ぶっ込んだだけで「ディープランニングしました(キリッ)」とか言ってんだろw
まぁ素人じゃこんなもんか >>156
上でも書いたけど、色々な分析をしても他の奴もやってるわけで
原理的に有意なt値は存在しないのでは? >>10
某銘柄でそれやったられやったら証券会社からBAN食らいそうになったw >>169
証券会社損しないでしょ?なんでBANされるの? >>170
終値関与の証券会社の内部規約に掛かった 去年の為替チャートをLSTMのディープラーニングで覚えさせて
過去の推定ならほぼ100%再現出来る自作のAIモデルを作ったんだけど、
まだ未来の予測が全然出来ないんだよな
絶対値だと上下に数%ずれただけで同じ形だと認識されなくなるから
今度は相対値の差分で覚えさせてみようと思う
チャートの機械学習にGTX1070〜80のグラボでも数日掛かるから
それだけでGWが終わりそうだけど… >>172
ほぼ100%だとそれって単に過学習になってるだけじゃないのか? >>168
俺もこの程度の分析で超過リターンが得られるとは思ってない
遊び半分でやってる
それと多変量解析で有意なt値が生じることは珍しくない
有名なのはファーマ・フレンチの3ファクターモデル
β値、時価総額とPBRの逆数を基にした分位ポートフォリオのリターンを説明変数、投資収益率を従属変数として重回帰分析すると有名なt値が得られることが証明された
といっても理解できんかな
このスレにはCAPMすら知らないやつ多そう >>173
訓練用データから切り分けた評価用データのlossの最小値で止めているから、過学習ではないと思う
長周期波形の記憶には256〜512ユニットぐらいの大きなLSTMが必要だから、
数千エポック程度じゃ再現出来ないことも分かってる >>172
学習データは当然tickだよな?
1分足とかお笑いだぞ >>174
それなら、他の投資家も解析しているわけで
なぜ彼らはその有意な結果の現れた方法で投資をしない?
もっと言えば、その方法で投資を行えば株価は逆方向に動き
t値の優位性はなくなると思うが?
>>175
でも、訓練用データでしか予測ができないわけだよね
仮に過学習ではないとしたら、多くの人が使うモデルだからそこから先は予想が破綻したとか?
色々やってると一時期は規則性があるような動きをしても
それがどの程度の期間続くか予測できないし
乱数で作ったチャートの予想をしているみたいだわ
試しに乱数でそれっぽい時系列データを作って学習させたらどうなるだろ?
案外同じような結果が出るかもw あなたは心の病気だよ
相手が誰でも喧嘩を吹っかけて勝った気にならないと落ち着かない症状
しかしそんな事じゃ本質的な解決を避けてるだけだから
いつまでも満たされずにいつも不安になる
そして不安を一時的に誤魔化す為にまた喧嘩してマウント
3Dプリンターの事など全く関係が無い
少しでも勝てそうなポイントばっかり探して勝とうとするだろ
負けそうになったらすぐ退散か話題をブチ切り
医者に相談するレベルで異常だよ
少なからずあなたのような人はいるけどいつまでもやってると全員にNGされて一人で絶叫するだけ
以前にも指摘されてたろ
こう書いても無視か絶叫だろうが
何らも会話する要素が無い
知らない人はあなたのコメントに惑わされることもあるだろうが
ウンザリ Pythonでのデータ分析や自動売買を研究するスレッドなのに
関係なさそうな人が割り込んでいる様な気がするな
ディープラーニングAIでの取引はまだ実用レベルじゃないかもしれないけど、
Python使いで興味がある人に何らかの情報提供が出来れば…と思って書いているわけで
ちなみに今買える1080クラスの高性能PCでも数万プロットのデータ学習に数日掛かるから、多分5分足10分足ぐらいまでが限界
すぐに使いたい、Tickで処理したい、みたいな人はスルーしてもらえばいいと思う >>178
小型株効果や低PBRが超過リターンを得られる理由は流動性プレミアムや潜在的な問題抱えてるためリスクプレミアムが上乗せされていると考えるのが妥当
だが、それも認知されてきたために、近年は小型株効果は薄れてきているという実証分析もある
そこんとこや株価の定量分析法については、CMA推奨本の「新証券投資論」でも読んでちょ それと個人でtickや分足使った超短期トレードはやめときな
今や東証内にあるサーバからHFTが行われてるんだから、証券会社を通した個人の通信速度で太刀打ちできるわけがない
JASDAQやマザーズのようなアナリストのカバーが少ない市場の流動性の少ない銘柄でファンダメンタルズや統計解析で長期的な目線で運用したほうが、まだαリターンを得られる可能性がある まあ 程度の低い情報戦ってとこだなw
俺はそもそも現物株に興味ないし
指数先物や為替が主戦場のやつのほうが多いでしょ 実際にPythonを使っている人の話が全然出てこないな
理論はどうでもいいから、まず実装方法について情報交換したい 本格的にトレードするのならば、FIXを覚えるのは今のうちだと思う
金融界ではスタンダードらしい Python使うならLinuxが良いだろうな
自動売買ならwebブラウザを通した取引を
パケット解析すればいいんだし >>185
どんな実装してるの?
また、広く聞きたいんだけど、そもそも予測できた?
予測できるならどの程度の精度が出てる?
こっちは、セクタを集めてランダムフォレストで試したが
乱数表でも解析しているような結果しか出ない><
株価って乱数表? 難しいよねぇ
5分足システム作り中だけど無駄打ちが多くてダメだ
移動平均でフィルターかけっかと思ったけど
そしたら機械学習なんか使わないで既存テクニカルの組み合わせでいいんじゃね? とへこたれ中 >>191
テクニカルでエントリーしてそれがあってるかどうかの分類問題にした方がうまくいくよ >>192
どの程度の精度が出た?
>>190でランダムフォレストやってるから基本的にはテクニカルだと思うが乱数表との違いがよく分からない結果になってる >>156
漠然としてんだけど、こういうのってリターンに対してじゃなくてボラティリティに対して重回帰分析できないの?
ボラは比較的予測可能聞くし、将来ボラが予想出来ればリターン予測無しでも
高シャープレシオポートフォリオ作れないか >>194
標準偏差を従属変数にすればいいだけだからできるが、やる意味あるか?
確かにボラは過去の推移からある程度予測できるらしい
http://manemyu.net/simulation/mean-variance.html
だとしたら重回帰分析なんかする必要ないだろ
リターンは過去の価格推移だけでは予測はほぼ無理だから、精度を高めるために財務データや経済指標を説明変数として重回帰させる
これがマルチファクターモデルといわれる、証券投資の基本的な分析手法の一つ >>196
そっか。
出来高が将来ボラを予想出来ると論文で読んだから
他に過去ボラより将来ボラを予想出来るファクター見つけられれば、良い最小分散ポートフォリオ作れないかと思って。 たぶん俺もその論文を読んだことあるかもしれない
システムトレードやる人はだいたいみんな似たような論文や本を読んで似たような実験をしてるんだろうな
勉強するのは秀でるためではなく遅れを取らないための最低限のラインなのだろう >>196
このサイトのFX破産確率シミュレーターで俺の勝率とリスクリワードで計算したら、10年後の破産確率0%になったんだが信用していいのか? zaifのapiでレバ取引って可能ですか?
可能なら優しい人書き方教えてくださいorz >>202
ttp://techbureau-api-document.readthedocs.io/ja/latest/trade_leverage/index.html >>200
たぶんその勝率で乱数発生させてシミュレーションしてるだけだろ
たいてい高いパフォーマンスってのは一時的なもの
長く続ければ中心極限定理に従ってトントンくらいに収斂していくもんだ ゼロから作るDeep Learningって本買ってみたが意味わかんなすぎてワロタ PHPでいろんなモノ作って放置して10年近くたつけど、Pythonかー ゼロから図書館で借りてきた。オライリーのpythonではじめる機械学習も同時進行で読んでるけど、機械学習のほうがわけわからんぞ… Pythonの入門書読むのほんと苦痛。文法違いすぎるんじゃ。 >>207
新しいの楽しいよ
漏れアンチphpだからお勧め 「ゼロから〜」はCNN(画像認識AI)だから、株や為替にはあまり役に立たないと思う
相場予測なら、時系列とかRNNって書いてある本を探さないと・・・
自分が一番分かり易かったのは「詳解ディープラーニング」かな
TensorflowとKerasのソースも載っていて実用的だった ■ このスレッドは過去ログ倉庫に格納されています