Pythonでデータ分析&自動売買 Part1
■ このスレッドは過去ログ倉庫に格納されています
pandas scikit-learn TnesorFlow
優秀なライブラリが豊富なPythonについて語れ Pythonいいよね
データ分析やシステムトレードにPython使ってる人
情報交換しまくろうぜ scikit-learnで聖杯らしいものを見つけたかもや知れん 明日の日経平均(騰落)をすごい精度で予想できたw
プログラミング初心者の漏れが一週間勉強してゴニョゴニョしただけなのに的中率7割
Pythonすげーな。。。
機械学習って難しいものだと思ってたけど簡単だし。。。 パラメーター適当にいじってたらさらに
的中率が上がったぞw
でもFXは6割程度しか当たらない。。
なんでだろう FX6割でも十分すごい
勝率ではなく、PFやリスクリワードレシオはどんな感じ? 時系列のデータをぶっこんで次の日の日足が陽線か陰線かを予測させるだけの簡単なものだよ
日経平均の利益は機械学習のシグナル通り買ってれば10年で91000円*枚数くらい
手数料、スプレッド考慮なしですw
あまり詳しくないんだけど先物とかやればいいのかな。。。 始値で買って終値で売る
あるいは始値で売って終値で買う
場合の計算です
10年で2454回(毎日)トレード
91000/2454=37
平均37円は抜けるそう
手数料とか考慮しても勝てそうだな 先物のminiをやる場合は一枚で37円に×100をすればいいんだよね?
毎日3700円か〜悪くないな
もう少し頑張って精度を上げれば使えそう >>11
まずはデモトレードやってみ
一ヶ月続けてある程度の結果が出ればいいよ 勉強って本呼んでるの?
学ぶに当たってオススメの方法あったら教えてください >>13
うん。CFDあたりのデモやってみようかな。
>>14
俺はPythonではじめる機械学習って本買った。
株価予想とかには全く触れてないけどscikit-learnの使い方はなんとなくわかった。 pythonでやってみてるけど1年で6円分(600pips),月50pips取るのがやっとぐらい(スプレッドは0.3pipsで決めうちで計算)
勝率は55%前後、あと1年分の検証用データの推移見ると1,2ヶ月分くらいすごい勝率悪そうな時期があるのが気になる
汎用性あるモデル作るの難しい…
運用は最近動かし始めたばかりだから実績なし、あくまでも理論値 5分足でやってる、どちらかと言えばスキャルbot的な感じなので。とは言え1時間程度ポジション保持しますが…
日足とかはあんまり使いたくない、あまり長い区間の足使えば使うほどファンダメンタルズ的要素、地政学的リスク大きくなる気がしているので…
あくまで目指すのは投機bot
長期運用視野に入れてやるなら、それこそw2v作ってニュース記事解析したりとかしないとまずそう…それなりの開発&実行環境が必要だと思う 五分足か〜。
自分は日足の陽線・陰線が結構な精度で当たりそうなので5分足とかと組み合わせて
日足で陽線の時に買いシグナル、陰線の時に売りシグナルを出すシステムで勝負したらどうかな
と作戦をたててるw
上手く行けば退職届けやな Keras+TensorflowでLSTM多層積みのリカレントネットワークを作って
Dukascopyから落としてきた去年数ヶ月分の10分足を覚えさせているところ
複数の通貨ペアを取り扱える様に改造しようとすると、モデル設計の難易度が一気に上がるね うはw
すごい逆指標が完成したw
これ使えるかも
機械学習が馬鹿なのか俺の使い方があかんのか。。。
わろたw 自分の売買のやり方をそっくりプログラムに落とせればなあ
それを逆指標にして一気に億万長者だよ >>20
自分は5分足だけどstaked LSTMにしてもあんま精度向上の傾向はみられない感じです スプレッドなんてどうでもええがな
どんだけスキャルピングしてんねん LSTMやGRUはSimpleRNNの5倍10倍ぐらいのつもりで学習させないと波形を覚えてくれないよ
RNNのサンプルや解説記事は1ステップ先だけを計算して出来たつもりになっている物が多いけど、実用レベルにするにはAIに数十ステップ分自己生成させた波形で最適エポックを判断する必要があると思う EarlyStoppingを使うと局所解で止まることが多くて、いかにも過学習っぽいlossの山を越えた先にまた下がって、そこそこのステップ数を予測出来るポイントがあったりする
時系列分析は本当に難しい >>28
確かにEarlyStopping使うと意図してないタイミングで止まる可能性ありますね。
自分はEarlyStopping使わずに各epoch事のモデル保存してます。validation lossが上がり続けるくらいにepoch回しておいて後で全ての精度集計してみれば問題ないかと… >>30
自分もそんな感じで、上がり続けた山の倍ぐらいまで回してる
さすがに1000エポック以上になると全部見るのがキツいから、調整中の時は5飛びか10飛びぐらいにすることもあるけど FX(外国為替証拠金取引)のEA(自動売買ツール)を開発・公開しております。
興味がありましたら見てみてください。
http://dcfvghbjk098.officeblog.jp/archives/7206121.html ただ、ただデータ集めしてる段階
100営業日分のデータ集まったらscikitlearnしてみる サイキットラーンええな
脳に障害のある俺でも簡単に使えたw
これ本当に無料でええのかw >>35
株価(OHLC)じゃない、とあるデータ群です
今まで通り自分の手法で銘柄選択するけど
補助的にどの銘柄に多目に資金を振り向けるか機械学習で決めれないかなと >>37
なるほど、銘柄選択をシステムから判断するのは有効かもしれないですね
以前どこかのスレでも市場全体から何かを抽出するような方法で
上手くいっているというようなレスは見たことあります みんな、すごいな
俺なんか1年前からちょいちょい入門書読んでるけど、
いまたにデータ収集分析
バックテストなどpythonでどうやるかイメージすらわかないw 仮想通貨の自動取引したいんだが集めたtickerデータってsqlに保管したらエエのか おまえらちゃんと非同期にしてるか?
つーか、発注と受信別プロセスにわけてる? なんちゃってpythonのコードと、ガチ勢が組んだアルゴでは執行速度で大きな差がつくね。 アルゴリズムの差よりもGPUやTPUのスペックの差の方がはるかに大きいよ
ガチ勢は数千万円のサーバ使うしな 名前だけ変えて騙す商品は買う人がいる限りどうやっても減らないね 本当のAIファンドは大体ロボアドに負けてるけどね。
https://nikkeiyosoku.com/fund_ranking/ai_fund
AI投信言っても平均すればインデックスに勝てないだろうから
インデックス投資のロボアドにも負ける aiでアクティブ運用は事務ロジャースの頭のなかコピーでもしない限りまだ無理じゃないかなぁ 良スレ発見
>>15で紹介してくれた本を買ってみるわ
全くの文系人間だけど、銭のためにMT4でEAを組むところまでこれたw
Pythonも頑張って動かしたい Pythonはマジで簡単
何よりコードが見やすくていいね >>52
でも億万長者じゃん
基本的に投資なんて外す方が多いよ。常勝とか吹いてるのは仮想通貨界隈にもいっぱいいる情報商材売りたいトレーダー()だけ みんなすごいな
このスレの存在を週末に知って、刺激受けて本読んだりしてるけど分析までたどり着ける気がしない 自分の場合は、AIの入門書を2冊ぐらい読んだ後に「詳解ディープラーニング」でRNNを勉強して
あとはサンプルソースやブログの記事を見ながらLSTMやGRMの実装を試してる
Pythonは実装が楽な言語だけど、機械学習で多次元のベクトルやテンソルをいじるのはそんなに簡単じゃないよ TensorflowはC++のAPIもあるから、C#でもDllImportすれば使えるはず
あとはTensorFlowShapとかAccord.NETとか?使ってみたことないけど 俺の作ったAIはカナダドルの下落を予測していた。。。
AI恐るべし 昨日、入門書を買ってきて読み始めた
>>57
>Pythonは実装が楽な言語だけど、機械学習で多次元のベクトルやテンソルをいじるのはそんなに簡単じゃないよ
↑の意味が分かった
少しずつでも攻略したい pythonの書籍は何がおすすめ?
初心者向けのはいらない ディープラーニングで波形分析したかったら、タイトルや副題に「RNN」がついている本を探す
「CNN」は2次元の画像認識だから間違えない様に
RNNは翻訳や言語生成の本も多いけど、翻訳用のAIも長周期の波形推定に応用出来るから
RNN・LSTM・GRUの仕組みを一通り理解したあとに勉強してみるといい qiitaとかで見かける次の足が陽線か陰線かって評価は間違っていると思う Python使えばこんなに簡単にバックテストもできるんだね
pandasあればExcelいらんなw pythonのpandasでExcelをいじって、matplotlibでグラフを描くだけで作業効率が変わるね
ディープラーニングやらない人でもこの2つだけは覚えておいた方がいいと思う そういやExcelに搭載されるって話どうなったん? 変な方言とか独自仕様組み込むなら無理にExcelに入れなくていいよ
今でもPythonからExcelは使えるんだから PythonからExcel使えるって言ってもExcelファイルを読み書きするだけじゃないの?
Excelに組み込まれるとExcelをGUIとして使えるのが魅力なんだけど vbaで書くよりはpythonのが楽そうだからexcelに統合して欲しい 俺も家ではExcel使わないでLibreOfficeとかpandasだけど、
Pythonを組み込むならExcelに金払ってもいいかもw 今のままでいーよ
excelで試作したら、pythonに置き換えるでしょ 楽天のリアルタイムスプレッドシートはExcelないと使えないから
Excel使えるとかなり敷居が下がるのよねえ
早くExcelとPythonが融合しないかしらん >>69
qiitaの記事は1ステップ先のlossしか計算していない人が多いから、実用では役に立たないね
seq2seqのEncorder-Decorderを回帰モデルに改造すれば、多重ステップのlossが計算出来て精度が上がると思う
短い波はキレイに再現出来る様になったけど、データのサンプル期間を伸ばそうとすると計算がキツくなる
LSTM(GRM)の素子数や段積みを増やすと、GTX1000番台の最新GPUでもパワーが全然足りないよ pythonの勉強してるけど分析までたどり着くのはまだ先になりそうだ USDJPYの1分足スキャルピング型EA(自動売買ツール)とサインツールを開発・公開しております。
興味がありましたら見てみてください。
http://wsedrftgyu1234567890.teamblog.jp/archives/7206121.html >>88
いやだ
お前らとpythonの話をしたいんだ!
だからpythonじゃないと駄目なんだ!! まあPython使えん奴に他の言語は無理やがな
Python頑張れ windowsだとpip installとVS絡みの既に入っているものとのごちゃごちゃしたエラーが関門 Windowsは公式PythonよりもAnacondaの方がハマリが少ないと思う
Anacondaでもconda install使わずにpip installで入れられるし へーこんなスレあったんだ
ライバルが増えると面倒なんでスクリプトで荒らしていいですか? anacondaははまってもすぐ捨てられるのがメリット windowsでプログラミングするっていうのが間違い でたwいるんだよね、プログラミングもできないのに、こーゆう事言い始める奴 WindowsのゲーミングノートPCにCUDAとAnaconda入れると楽しいよ
スタバでドヤりながらGTX1060でディープラーニングが出来る attention付けたら逆に精度下がって草も生えない 256素子のLSTM1層でEncDecモデルを作って
ドル円とユロルの10分足の終値を2次元ベクトルで覚えさせてみた
GeForce1060のGPU演算でも1日分のチャート学習に一晩ぐらい掛かってる
1年分のチャートを覚えさせるには、一体何ヶ月掛かるんだろう… EncDecモデル作ろうとしたことないからデコードのアルゴリズムがいまいちわからん。
最終出力のベクトルをどうやって推測したの単語(自然言語の場合)に変換するん?全単語の分散表現と近似値?loss?とって近い値の単語に変換とかするんだろうか?
でもw2vに入ってる全部の単語と比較してたらめっちゃ時間かかるよね?誰か詳しい人教えて… >>105
encdec の話と、ベクトルからラベルを持ってくる話は別の話
ベクトルからラベルを持ってくるのは、最近傍探索とかでググれ
基本的には何らかの空間分割を行って、ハッシュとか木を使って空間内の近傍点候補を絞って、あとは全部調べるみたいなパターンが多いかと お前らすげー
何言ってるか全然分からん
情報系の学部とか出たの? >>107
なるほど、助かる!
家帰ったらググってみる 回帰系問題の場合はEmbed層やパディング処理は不要で、複数のレート値を別々に正規化してLSTMに入れるだけでいい
次元が多過ぎると学習が進まないから、最初は1レートだけで実験した方がいいと思う
出力層はレートと同数の素子の全結合でsoftmaxを恒等関数にして、損失はクロスエントロピーを二乗誤差平均に変える
出てきた値がそれぞれのレートの正規化値になる様にラベルを作ればOK 少ないロットで新たなモデルのft始めた、前のモデルが月50pipsくらいだったから取り敢えずそれを更新して欲しいが… 株式投資をやるなら下の2つの記事で知識と技術を仕入れとけ!!
この2つの記事は有料レベルの内容を教えてくれてるマジ凄い内容だぞ!!
★『日本株式市場で総資産1億円達成!!!』
http://www.legend2.net/kabushiki/index.html
★『日本株式市場で億トレーダーをめざせ!!』
http://www.legend2.net/kabushiki/2index.html
かつて、ここまでカッコ良く、
参考になる記事があっただろうか!!
勝利と衝撃と革命をもたらす内容だ!!
読まなかったら遅かれ早かれ確実に退場するぞ!!
生き残りたかったら必ず読んでおけ!! 64bit系のPython3で取引やバックテストをしようとしたら、何がいいんだろう?
MT4(MQL4)だと古いPythonに対応した物しかないみたいだし、TCPソケットで通信するぐらいかな
C++で共有メモリのDLLやsoを作ってもいいけど、コード3つ書くのはTCPよりも手間が増えそう
OANDAだとREST APIをPython3で直叩きか、QSTraderを組み合わせるとか
Windows版AnacondaでもQSTrader入れられるかな 前回高値とかチャートの山の部分でどうゆうコードで表現するんだろ >>114
scipy.signal.argrelmax >>115
あ、そうじゃなくて1番目に高いとこ、2番目に高いとことか各山のポイントね >>115
ごめん、合ってたわ
>>116は忘れてくれ Pythonは簡単でええやん
高卒の俺でも簡単に覚えられたわ sage body
騰がる株
3053ペッパー +8.19%
6440JUKI +6.37%
6208石川製作 +6.14%
富子株(億様の方)凄すぎてワラだす >>121
マジで?凄いね
俺クソ初心者でmt4のコードもろくにかけねーが
それでもできるの?
全然わかんねー >>123
時系列の分析やバックテストくらいなら
1ヶ月くらいでできるよ >>124
いや尊敬っす
でも対応した業者とかFXにあるんすか?
仮想通貨だとbotどうのツイッターでやってるみたいだけど…
クレクレ君ですみません
気を悪くしたら流してください >>125
いや俺は全然できんよ
時系列データを分析してバックテストだけさね
自動発注する方法は今模索中だよ
ただPythonは他の言語に比べると簡単と感じるね 対応してる業者だとOANDAとかあるけどスプレッド広いからやめたわ。
結局いつも使ってる業者のアプリ立ち上げっぱなしにして、PCの操作を自動化してエントリーと全決済のみでやってる。 OANDAはスプ広いけどインターバンク直結だからと勧められた
よくないんかな? 悪くはないと思います。自分の場合はスキャルbotに近い感じなので、エントリー数と勝率考えた時にスプレッドが低い方がよかったってだけです。 win_position :56回
lose_position :46回
total_position:102回
max_profits :40pips
max_loss :30.6pips
profits :363.8pips
loss :274.9pips
total :88.9pips
PF :1.32339
RR :1.087102
勝率 :54.902%
4月頭からFTしてるんだけど他にどんな指標があると良し悪し判定できる? BTの傾向と比較するに過学習はしてなさそうなんだけど… 俺が今やってるのはTwitter APIで任意のワードの頻出度数やAmazon APIで商品のランキングの推移などを取得して、scrapyで取得した株価や出来高などの市場データとの相関関係の調査
まだデータが集まってないから何とも言えんが、面白い結果が出たらここで報告したるよ twitterはたまにAPI使いすぎると垢banなるからこわい 繧ス繝ュ繧ケ縺ョ蜀榊クー諤ァ逅?隲悶▲縺ヲ縺ョ縺後≠繧九s縺縺代←縲∽セ九∴縺ー邁。蜊倥↑繝「繝?繝ォ繧定?縺医k縺ィ
譬ェ萓。縺御ク翫′繧銀?定ゥア鬘後↓縺ェ繧銀?剃ココ縺碁寔縺セ縺」縺ヲ雋キ縺?縺悟?・繧頑ェ萓。縺梧峩縺ォ荳翫k竊偵h繧翫>縺」縺昴≧隧ア鬘後↓縺ェ繧銀?堤ケー繧願ソ斐@繝サ繝サ繝サ
縺薙?ョ豬√l縺ッ諤昴▲縺溘h繧翫b縺壹▲縺ィ邯壹″縲√ヰ繝悶Ν縺ョ繧医≧縺ェ蜍輔″縺悟ス「謌舌&繧後k縲ゅ◎繧後?ッ邨碁ィ鍋噪縺ォ繧ょ??縺九k繧薙§繧?縺ェ縺?縺九↑
繝?繝シ繧ソ蛻?譫舌b蜊倥↑繧狗嶌髢「縺倥c縺ェ縺上※縲√◎縺?縺?縺?蜀榊クー逧?縺ェ蠑キ蛹悶?励Ο繧サ繧ケ繧呈э隴倥☆繧九→濶ッ縺?繧薙§繧?縺ェ縺?縺九↑繝シ なんか文字化けしたわ
ソロスの再帰性理論を応用して、単に相関を分析するのでなく、話題性と株価の自己強化プロセスを意識するようなデータ分析とか良いんじゃないかなー
みたいな事をもうちょっと詳しく書いたけどまた書くのめんどくせえわ ソロスの再帰性理論ってのがあるんだけど、例えば簡単なモデルを考えると
株価が上がる→話題になる→人が集まって買いが入り株価が更に上る→よりいっそう話題になる→繰り返し・・・
この流れは思ったよりもずっと続き、バブルのような動きが形成される。それは経験的にも分かるんじゃないかな
データ分析も単なる相関じゃなくて、そういう再帰的な強化プロセスを意識すると良いんじゃないかなー 相関を分析といってもいろいろやり方はあると思うけど、
何かと価格の変化の関係を調べた時点で、そういった相乗効果も含まれた結果が返ってくるのでは?
というか、統計結果を見て再帰的な効果か一次的な変化かを判断するほうが難しそう
それともそういうのとはまた違ったやり方があるのだろうか 投資家の心理を定量化して株価との相関を取るのなんか2000年代からやり尽くされてる
「市場心理とトレード」って本、読んでおけよ >>143
>何かと価格の変化の関係を調べた時点で、そういった相乗効果も含まれた結果が返ってくるのでは?
>というか、統計結果を見て再帰的な効果か一次的な変化かを判断するほうが難しそう
そう、だから単に相関を分析するのではなく、時間と話題と株価から強化プロセスの始動を見分けられるような仕組みを考える
上に書いたのは適当に考えた単純なモデルだけど、それが有効だと仮定して話すと、時間の変化とともに↓のような流れが起きるわけじゃん
株価が上がる→話題になる→更に株価が上がる→更に話題になる
株価とツイート数と時間の変化から上の流れを読み取ることは出来るよね
まあだから見れば分かるんだけど、機械的にやるのは不可能なのかな?
俺は詳しくないから分からんけど、詳しい人なら出来るんじゃないかなーと思って レベルの低いスレだな
そんな相関を調べる前にまず価格変動の時系列相関を調べてみろよ
たとえばWEBサイトをクローリングして価格データをスクレイピングで取得して、その連続福利収益率を連検定してみりゃええやん
ちな俺は証券アナリストの資格持ってるからファンダ分析やポートフォリオ理論、統計解析のことなら答えてやるよ >>142
共産党とかマスゴミとかがそっち方面の研究してそうだ 螳溽クセ縺ェ縺?縺ョ縺ォ隰幃亥桙繧後※蝟懊?カ繧「繝翫Μ繧ケ繝医&繧薙↓闊亥袖縺ェ縺?縺ァ縺? >>147
みんなしてるよ
社会的事象の研究してる人たちはこの程度のことはみんな考えてる
統計知ってるなら正規分布とかべき分布くらい分かるだろうし
正規分布しない社会現象の性質(株価もね)と、それはどういう要素から生まれるのか世界の構造を考えて
その構造に合ったことすれば投機で稼ぐのは簡単だよ
ブラックスワンと反脆弱性読めば8割くらい事足りる
あとは実践と経験積むしかない
完璧な机上の空論を考えてノーベル賞取った経済学者みたいな奴らのあとを追っては駄目だよ
奴らの末路を見ても、なぜか分からない人の方が多いっぽい現実! シラー教授は純粋合理的に行動する「経済人」だけが存在する、言わば「仮想空間」における一種のパズル思考で現実を分析する理論経済学だけでは説明しきれない経済現象が存在することを重視し、
現実の経済分析を行うには、非合理的な側面をも有する人間の行動に光を当てなければ、現実を説明する理論にはならないことを強調したのである。
シラー教授は著書のなかで、一種の群集心理が価格バブルを生み出すメカニズムを説明する例示として分かりやすいケースを提示してみせる。
ある人が初めて訪れた場所で二軒の似たようなレストランを見つけたときに、一方のレストランを特に理由もなく選択する。あとから訪れる同じ属性を持った人々は、先人が一方のレストランを選択したことを根拠に、同じレストランを選択する。
二つのレストランに格差は存在しないのに、一方のレストランのみに人が集まる。
こうした人間行動のメカニズムを探り、このような人間行動が価格決定に重要な役割を果たすことがあり得ることを重視するのである。
↑こんなのも見つけたよ。分かりやすいね
と、だいぶスレの趣旨とはズレてしまったし、このへんで消えるわ
一つ言えるのは、現実が見れて正しい判断と行動が出来れば儲かる
当たり前だけど。まあ頑張れ ここでいくら合理的な行動を説明しても本質的に無意味じゃないか?
と言うのも、それを完全に解析できるプログラムがあったとしても、
両者のプログラムが売買で勝負したら結果はどうなる?
ある優秀なプログラムでも長期で見ると50%の確率でしか上下が予測できないし
最近こんな事を思う機会が増えた 解読してやったよ>>149
実績ないのに講釈垂れて喜ぶアナリストさんに興味ないで 縺昴l縺ッ縺励↑縺上※縺?縺?繧医?サ繝サ繝サ
繧上*縺ィ譁?蟄怜喧縺代&縺帙◆縺ョ縺ォ繝サ繝サ繝サ せっかくだからデータ提供してやるよ
俺は半年前から、上場企業約4000社の週次株価四本値、出来高、EPS、BPS、一株当たり売上高、信用買残、売残を取得して標準化、それらをリターンと重回帰分析できるシステムを作った
それぞれの偏回帰係数とt値は順に
0.94 0.76
1.35 1.56
1.08 1.22
1.27 1.41
0.81 0.49
0.89 0.56 結局のところ有意なt値は得られず短期的なリターンとファンダメンタルズにの関係性は薄い
長期的に分析してけば傾向がわかるかもしれないから、これからも続けてく
お前らも抽象的なことばっかじゃなくて具体的なデータや検証結果の情報交換をしようぜ こういうのに走る奴って裁量じゃ全然勝てないんだろうな 解読>>154
それはしなくていいよ・・・
わざと文字化けさせたのに・・・ 株は分析で上手くいってる人も多いだろうし、論文の題材にもなりやすいから
やはりやりやすいのだろう
自分でも少しやってみたが多少プラスになるぐらいのものならいけたと思う
でも・・・FXで上手くいかなきゃ意味がないんだ >>160
これは俺個人でプログラミングの勉強も兼ねてやってるだけ
クォンツ部門なら、もっと厳密でもっと広範囲でもっと高度なことやってる
こういうマルチファクターモデルの基本くらいはCMA持ちなら皆できるだろう >>162
もう少しレベルの高いデータを提供してくれないか? >>163
give-and-takeでやろうやw
そっちも情報提供してくれたら、対数リターンとPERやPBRの指標との相関係数なんかも教えたるよ おいおい、pythonでデータ分析スレなのに、ここまで具体的なデータを出したの俺だけじゃねえか
どうせお前らモジュールに変数ぶっ込んだだけで「ディープランニングしました(キリッ)」とか言ってんだろw
まぁ素人じゃこんなもんか >>156
上でも書いたけど、色々な分析をしても他の奴もやってるわけで
原理的に有意なt値は存在しないのでは? >>10
某銘柄でそれやったられやったら証券会社からBAN食らいそうになったw >>169
証券会社損しないでしょ?なんでBANされるの? >>170
終値関与の証券会社の内部規約に掛かった 去年の為替チャートをLSTMのディープラーニングで覚えさせて
過去の推定ならほぼ100%再現出来る自作のAIモデルを作ったんだけど、
まだ未来の予測が全然出来ないんだよな
絶対値だと上下に数%ずれただけで同じ形だと認識されなくなるから
今度は相対値の差分で覚えさせてみようと思う
チャートの機械学習にGTX1070〜80のグラボでも数日掛かるから
それだけでGWが終わりそうだけど… >>172
ほぼ100%だとそれって単に過学習になってるだけじゃないのか? >>168
俺もこの程度の分析で超過リターンが得られるとは思ってない
遊び半分でやってる
それと多変量解析で有意なt値が生じることは珍しくない
有名なのはファーマ・フレンチの3ファクターモデル
β値、時価総額とPBRの逆数を基にした分位ポートフォリオのリターンを説明変数、投資収益率を従属変数として重回帰分析すると有名なt値が得られることが証明された
といっても理解できんかな
このスレにはCAPMすら知らないやつ多そう >>173
訓練用データから切り分けた評価用データのlossの最小値で止めているから、過学習ではないと思う
長周期波形の記憶には256〜512ユニットぐらいの大きなLSTMが必要だから、
数千エポック程度じゃ再現出来ないことも分かってる >>172
学習データは当然tickだよな?
1分足とかお笑いだぞ >>174
それなら、他の投資家も解析しているわけで
なぜ彼らはその有意な結果の現れた方法で投資をしない?
もっと言えば、その方法で投資を行えば株価は逆方向に動き
t値の優位性はなくなると思うが?
>>175
でも、訓練用データでしか予測ができないわけだよね
仮に過学習ではないとしたら、多くの人が使うモデルだからそこから先は予想が破綻したとか?
色々やってると一時期は規則性があるような動きをしても
それがどの程度の期間続くか予測できないし
乱数で作ったチャートの予想をしているみたいだわ
試しに乱数でそれっぽい時系列データを作って学習させたらどうなるだろ?
案外同じような結果が出るかもw あなたは心の病気だよ
相手が誰でも喧嘩を吹っかけて勝った気にならないと落ち着かない症状
しかしそんな事じゃ本質的な解決を避けてるだけだから
いつまでも満たされずにいつも不安になる
そして不安を一時的に誤魔化す為にまた喧嘩してマウント
3Dプリンターの事など全く関係が無い
少しでも勝てそうなポイントばっかり探して勝とうとするだろ
負けそうになったらすぐ退散か話題をブチ切り
医者に相談するレベルで異常だよ
少なからずあなたのような人はいるけどいつまでもやってると全員にNGされて一人で絶叫するだけ
以前にも指摘されてたろ
こう書いても無視か絶叫だろうが
何らも会話する要素が無い
知らない人はあなたのコメントに惑わされることもあるだろうが
ウンザリ Pythonでのデータ分析や自動売買を研究するスレッドなのに
関係なさそうな人が割り込んでいる様な気がするな
ディープラーニングAIでの取引はまだ実用レベルじゃないかもしれないけど、
Python使いで興味がある人に何らかの情報提供が出来れば…と思って書いているわけで
ちなみに今買える1080クラスの高性能PCでも数万プロットのデータ学習に数日掛かるから、多分5分足10分足ぐらいまでが限界
すぐに使いたい、Tickで処理したい、みたいな人はスルーしてもらえばいいと思う >>178
小型株効果や低PBRが超過リターンを得られる理由は流動性プレミアムや潜在的な問題抱えてるためリスクプレミアムが上乗せされていると考えるのが妥当
だが、それも認知されてきたために、近年は小型株効果は薄れてきているという実証分析もある
そこんとこや株価の定量分析法については、CMA推奨本の「新証券投資論」でも読んでちょ それと個人でtickや分足使った超短期トレードはやめときな
今や東証内にあるサーバからHFTが行われてるんだから、証券会社を通した個人の通信速度で太刀打ちできるわけがない
JASDAQやマザーズのようなアナリストのカバーが少ない市場の流動性の少ない銘柄でファンダメンタルズや統計解析で長期的な目線で運用したほうが、まだαリターンを得られる可能性がある まあ 程度の低い情報戦ってとこだなw
俺はそもそも現物株に興味ないし
指数先物や為替が主戦場のやつのほうが多いでしょ 実際にPythonを使っている人の話が全然出てこないな
理論はどうでもいいから、まず実装方法について情報交換したい 本格的にトレードするのならば、FIXを覚えるのは今のうちだと思う
金融界ではスタンダードらしい Python使うならLinuxが良いだろうな
自動売買ならwebブラウザを通した取引を
パケット解析すればいいんだし >>185
どんな実装してるの?
また、広く聞きたいんだけど、そもそも予測できた?
予測できるならどの程度の精度が出てる?
こっちは、セクタを集めてランダムフォレストで試したが
乱数表でも解析しているような結果しか出ない><
株価って乱数表? 難しいよねぇ
5分足システム作り中だけど無駄打ちが多くてダメだ
移動平均でフィルターかけっかと思ったけど
そしたら機械学習なんか使わないで既存テクニカルの組み合わせでいいんじゃね? とへこたれ中 >>191
テクニカルでエントリーしてそれがあってるかどうかの分類問題にした方がうまくいくよ >>192
どの程度の精度が出た?
>>190でランダムフォレストやってるから基本的にはテクニカルだと思うが乱数表との違いがよく分からない結果になってる >>156
漠然としてんだけど、こういうのってリターンに対してじゃなくてボラティリティに対して重回帰分析できないの?
ボラは比較的予測可能聞くし、将来ボラが予想出来ればリターン予測無しでも
高シャープレシオポートフォリオ作れないか >>194
標準偏差を従属変数にすればいいだけだからできるが、やる意味あるか?
確かにボラは過去の推移からある程度予測できるらしい
http://manemyu.net/simulation/mean-variance.html
だとしたら重回帰分析なんかする必要ないだろ
リターンは過去の価格推移だけでは予測はほぼ無理だから、精度を高めるために財務データや経済指標を説明変数として重回帰させる
これがマルチファクターモデルといわれる、証券投資の基本的な分析手法の一つ >>196
そっか。
出来高が将来ボラを予想出来ると論文で読んだから
他に過去ボラより将来ボラを予想出来るファクター見つけられれば、良い最小分散ポートフォリオ作れないかと思って。 たぶん俺もその論文を読んだことあるかもしれない
システムトレードやる人はだいたいみんな似たような論文や本を読んで似たような実験をしてるんだろうな
勉強するのは秀でるためではなく遅れを取らないための最低限のラインなのだろう >>196
このサイトのFX破産確率シミュレーターで俺の勝率とリスクリワードで計算したら、10年後の破産確率0%になったんだが信用していいのか? zaifのapiでレバ取引って可能ですか?
可能なら優しい人書き方教えてくださいorz >>202
ttp://techbureau-api-document.readthedocs.io/ja/latest/trade_leverage/index.html >>200
たぶんその勝率で乱数発生させてシミュレーションしてるだけだろ
たいてい高いパフォーマンスってのは一時的なもの
長く続ければ中心極限定理に従ってトントンくらいに収斂していくもんだ ゼロから作るDeep Learningって本買ってみたが意味わかんなすぎてワロタ PHPでいろんなモノ作って放置して10年近くたつけど、Pythonかー ゼロから図書館で借りてきた。オライリーのpythonではじめる機械学習も同時進行で読んでるけど、機械学習のほうがわけわからんぞ… Pythonの入門書読むのほんと苦痛。文法違いすぎるんじゃ。 >>207
新しいの楽しいよ
漏れアンチphpだからお勧め 「ゼロから〜」はCNN(画像認識AI)だから、株や為替にはあまり役に立たないと思う
相場予測なら、時系列とかRNNって書いてある本を探さないと・・・
自分が一番分かり易かったのは「詳解ディープラーニング」かな
TensorflowとKerasのソースも載っていて実用的だった RNNは複数の波形を関連付けて数ステップ先の予測値を求めることが出来る
ただし、絶対値で学習させるとちょっと上下にずれただけで別パターンだと認識されるから、相対値に変換した波形を学習させる必要がある
為替はキリのいい所で止まるから差分で入力パターンを作ればいいけど、株価だと変動率やlogに変換している人が多いみたい 今年ブルームバーグが開いた「金融においての機械学習」での
ファンドが使っているモデルのアンケート結果
https://i.imgur.com/JrEPow8.jpg >>216
でも、多くの人がそのモデルが役立つと同じモデルを使ったら
パフォーマンス悪化しないかな? >>217
へー!!
まあ、最もどのくらい正直に回答してるかっていうのはあるけど興味深いね >>219
No1が線形回帰って・・・
これ機械学習なのか?
あと、ランダムフォレストはやってみたけど
一時期トレンドは現れる物の長期で見ると
それっぽい傾向がつかめなかった pineスクリプトでポジション保有中を判定するにはどうすれば良いですか? , --―-- 、
/`ヽ_o .o_/´ヽ.
l / `ー´ヽ. .l Python!
|. l三三三l .|
.| l三三三l |
| .l三三三l .|
.| l三三三l |
l .l三三三l .| 勉強する順が逆やねん
統計解析やリターンのパフォーマンス評価もできないのに、いきなり機械学習したって過剰学習やカーブフィッティングするだけ
例えば価格の連続複利収益率で連検定したりヒストグラム作ったりしただけでも、いかにヒストリカルデータで将来予測をするのかが難しいかわかる
まずはオライリーのデータ分析入門でも読んどけ 大量のデータがあるけどその殆どは僅かずつに関連し合い株価を形成しているわけだけど
これって具体的にどうやって分析すればいいの?
ランダムフォレスト使ってみたけど、関係の薄いデータが多いのかまともな予想ができなかった
寧ろ、予想できる割合が低すぎて、予想と逆をやった方が利回りがあがるような変な事になった
長期で見ると逆転したり元に戻ったり、全く予想が出来なかった >>223
いいね、基本は大事といことですね
良くわかってないですが、横文字に流されない様に頑張る >>228
>予想と逆をやった方が利回りがあがる
予想がうまくいかないときは負のフィードバック
予想がうまいったら正のフィードバック http://regwfrg4tg.doorblog.jp/archives/7206121.html 👀
Rock54: Caution(BBR-MD5:f2c519fe5384e767e1c9e99abdcfc293) 立ち読みしようと思ったらカバー付いてるんだよな
買うかどうか迷ってる 機械学習で為替予想wwwwwプークス
やれるもんならやってみな
すっげーモデル出来た→現実では過剰適合で利益出ず 詳しいね。やってみたけど失敗したくちか?ご苦労さん。 永久機関は不可能だと証明されてるが
株で儲けるのが不可能とはまだ決まってないんじゃないの
もちろん仮に儲かるシステムが出来ても他人に使わせようとは思わないけど >>235
スレの最初の方で百発百中チョロいとか言ってた人がいたじゃん ここ数ヶ月でFTした感じまぁ大体想定通りぐらい…たまたまの可能性も捨てきれない…
実際のbotのトレードをtwitterで配信しようとか考えてるんだけど需要ある? 土日で自動tweetするように設定してみますかね…
ちなみに想定通りとは言ったが勝ってるとは言ってないぞ >>241
プププ無理無理
6ヶ月フォワードテストして成績良かったらパソコンの前で土下座してあげる
twitter botはみたい 配信しなくていーよ、他人のためにやっても仕方ないから twitterにbot設定しようと思ったけど取得してるレートと実際に運用しているレートの差異がどうにもならない
OCR使えばなんとかなりそうだがめんどくさし遅延が…
取り敢えず成績だけ貼っときます
上手くいってるのがBT(最新約1年)で上手くいってないのがFT、やはり現実は甘くない
ただFTは4回ぐらいモデル変えてる上に今のBT結果のモデルではないからあんま当てにならないです
またなんか進捗あったら結果貼り来ます
あとほかにニューラルネットワーク(主にLSTMとか)使ってやってる人いたらどんな成績か見てみたいんでいたら報告よろしくお願いします
https://i.imgur.com/yoZxCGI.jpg
https://i.imgur.com/Mg55zxl.jpg
https://i.imgur.com/icp5Eer.jpg
https://i.imgur.com/aQqF30z.jpg >>252
レポ乙です。MT4は使ってないようですね。
予測はトリガーに達したらいくつか特徴量だして上下6pipsくらいの2クラス分類のような感じでしょうか? 機械学習の場合はモデルよりもインプットが大事なんだろうなと思う 結果と相関の薄いインプットをいくら学習させても結果が良くなるわけないんだよな だから機械学習を株為替に応用するのは難しいんだよ、画像認識や言語処理の学習とは訳が違う 経済学的に筋が通ってるインプット
過去の市場環境と未来の市場環境は異なってくるから、統計から探すより
経済学的仮説からインプット候補を探す方が善き 例えば、仮に月の満ち欠けをインプットとして良い結果が出たとする
それが経済学的に説明出来ないなら、恐らくほぼ100%過剰適合だ けーざいがくの教科書に複雑なマクロ的な分析よりも単純な価格分析の方が当たりやすいとか書いてなかったかw 後出しの分析と未来のレートの予測も関係ないなあ
こうなるだろうという予測の裏をかく仕掛けとかあるとなおさらね
少数のプレイヤーが意図的にレートに影響を与えることは規則性も理屈も無いし 予測の裏をかく仕掛けww
そんなんだからしょうもない統計解析を信奉してんだよw もう何も信じてないからな
値動きは主観的には乱数と同等これが結論
レートを動かせるだけの札束を用意するか偶然黒字になるまで我慢するしか勝負に勝つ方法はない 値動きが完全に乱数同等と信じてるならnp.randomで20-30銘柄選んで等価で投資すると良い
バックテストして見れば分かるけど
平均で時価総額型指数を上回るリスクリターン(何故かリターンも)が実現できる >>272
上の人じゃないけど、それを50組、1000銘柄程度やったら
25組目は上回わるけど25組は下回る
こんな結果になった
(ランダムフォレスト利用)
もし、上回るコードあるなら晒して欲しい 真に受けるな
どうせろくな乱数使ってないしサンプルもゴミ程度なんだろ 乱数を使うとサンプルに傾向が出るよ
乱数って短いスパンで見ると人の眼には想像以上に結構偏ってるように見える
ただ、数が多くなってくると、あー、乱数だなってなる >>275
それは MT(メルセンヌツイスタ)を使ってないからでは? >>273
ボラティリティに対してのリターン(リスクリターン)だと指数に勝てない?
てか、これは良く知られた現象で時価総額加重平均指数は自然と割高銘柄が多く占められる事になる。
よって、適当に20-30銘柄を選んで等価投資するとリスクリターンは上回る。
ただ、上昇相場だと割高銘柄のモメンタム効果が得られないからリターンは劣後する事がある。 株は現物派が多くいるからこそこういった糸口があるのだろうと思う
FXは売りも買いも自由に入れるからそういう偏りが出にくいのも難度を上げてる要因かも >>278
歩み値や板情報がなく、大抵のフローはマーケットメイカーの手のひらだからね。やりにくいよ、FXは。 7月はプラスで終わりそうだがトランプの発言がなければ…という感じ。
stopのうまい仕組みなんか考えたいけど… 7月だけだとこんな感じです、ストップもっと浅目にいれてもいい気はしてますが…
8月は今週末にモデルの更新だけして継続予定
https://i.imgur.com/cCY3vHi.jpg
https://i.imgur.com/IsI6bvo.jpg >>283
リアル取引?
どうやって取引してるの? >>284
リアル取引です。
取引ツール起動しっぱなしにしてPCの操作を自動化してます。
自動化といってもエントリーと全決済しかしてませんが… リアル取引ってことはスプレッドも考慮されての成績なの?
だったら継続できれば素直に凄いと思うんだけど >>286
注文レート、約定レートで計算してるのでもちろんスプレッドありです。
継続しては難しいでしょうね、現に6月はマイナスですし。1年で600pips前後かなと見てます。 黒猫アイランド、松崎美子、ひいらぎの3人が書いたSP本オススメです。Python未経験の方でも分かりやすく説明してます。 悪くないけど1000円が妥当かな。ほんと初心者向け。 時系列データを定常系列に変換
説明変数はよくあるテクニカル指標(ローソク足N本の関数)
被説明変数は損切りにならずに利確できるか0-1、もしくはt時間後の損益
こんな感じで決定係数どれくらい?
それともフィルタ加えて連検定で有意なときとかにしたほうがいいの? 英語読めれば
他人のソースコピペで余裕で作れそうですね 実際、個人でディープラーニング使ってFXで勝ててる奴ここにいるの?
こういうのって、AI使える人がごく少数だからこそ優位性があるのであって、
ゼロサムの世界でみんながみんなAI使うようになったら、究極的には相場が動かなくなる。 動かないと言っても完全に微分0ではないし
時差もあるので微妙なアップダウンで利ザヤを稼ぐんだろ
もちろん手数料取られる立場だと絶対損する胴元ウハウハ業界 botはRSI使って勝ててるけどディープラーニング系はLSTM でいくら分析とバックテストしてもいいリターン出せないわ。 出せてる人いたらアドバイス欲しい botっていうのはEAのことかな
ディープラーニングでそれを再現すればいいのでは SQ値を当てるソフトって作れるかな?
ディープラーニングで ■ このスレッドは過去ログ倉庫に格納されています