アマチュアですが、東証のデータを手元に吸い取って、裁定取引を個人で行うことを検討しています。
Java/jdbc ベースで、ちまちまと SQL を組み立てて select/select/select/select/update/insert into を乱発していますが、そのため遅いのが問題となっています。
（各銘柄ごとに相関係数を求めるので、このままだと、大引けから翌朝の取引開始までに計算が終わらない見込みになっています。）

プロはこんなときに、どんなからくりを導入するのでしょうか？
将来は米国 S&P500 にも挑戦したいと考えています。アドバイスをお願いいたします。