今回は、Posted: 26 Nov 2024に掲載された自動取引のための非マルコフ過程ダイナミクス 解説記事の論文を分かりやすく解説・要約しました。
元の論文は下記の通りです。
Non-Markovian Dynamics for Automated Trading
出典元：SSRN
それでは早速見ていきましょう。
革新的データ拡張技術による金融トレーディングの最適化
概要:
本論文は、モリ-ズワンジグ形式を介した非マルコフダイナミクスを活用して、自動取引のための強化学習（RL）ベースの資産配分を改善する革新的なアプローチを紹介します。研究は、RLトレーニングデータセットを豊かにするための合成データ拡張手法を提案し、Soft Actor-Critic（SAC）エージェントを複数の金融資産で評価します。
1. はじめに:
金融業界において自動取引は重要性を増しており、深層学習モデルが注目を集めています。しかし、高頻度データの限られた入手可能性は、RLベースの資産配分に課題を提起しています。本研究では、モリ-ズワンジグ形式を使用してより多くのデータを合成的に生成する新しいアプローチを提案しています。
2. 関連研究:
機械学習の進歩は自動取引に影響を与え、教師あり学習やRLなどの手法が意思決定プロセスを最適化しています。伝統的なML技術は動的な金融市場ダイナミクスを捉える際に課題を抱えており、データ拡張手法の必要性を促しています。
3. 当社のモデル:
このセクションでは、金融取引におけるディープ強化学習のためのモリ-ズワンジグ射影に基づく合成データ拡張手法が提案されています。モリ-ズワンジグ形式は、観測可能関数の関数をヒルベルト空間に射影する方法を提供し、RLモデルのパフォーマンスと汎化能力を向上させます。
本記事では、金融取引におけるデータの制約を克服するための統計力学の概念に基づいた革新的なデータ拡張技術に関する洞察を提供しています。モリ-ズワンジグ形式を用いた非マルコフダイナミクスの統合は、RLベースの取引戦略を最適化する有望な方向性を示しています。
SACによる確率ポリシーの最適化
SACは、連続したアクションと観測を持つ確率ポリシーを最適化するために使用されます。SACはDDPGやTD3アプローチを取り入れつつ、いくつかの改良を施しています。SACの特徴は、エントロピーの最適化にあります。
結果の分析
論文では、Mori-Zwanzig（MZ）プロジェクション法を使用して、株式資産の予測とポートフォリオ割り当てのパフォーマンスを評価しました。
株式資産の予測
GoogleやAdobeなどの特定の主要株式資産に対しては、MZプロジェクションが非常にポジティブな結果をもたらしました。プロジェクションはダイナミクスをうまく捉えており、一部の資産では正確性が低いことも示されています。
ポートフォリオ割り当てのパフォーマンス
一部のトレーニングイテレーションでは、データ拡張なしのエージェントの方が良い結果を示しましたが、テストフェーズではデータ拡張を行ったエージェントの方が高い利益を上げることができました。結果は、データ拡張を行わないエージェントがトレーニングデータに過剰に最適化されており、汎化能力が不足していることを示唆しています。
議論
MZプロジェクション法は、データの増強に有効であることが示されました。今後の研究では、様々な要因をより詳細に調査し、自動取引エージェントの効率的な構築につながる可能性があります。
このように、金融取引におけるデータ拡張技術とSACによる確率ポリシー最適化の重要性を考察し、革新的な手法が取引戦略の最適化に与える影響について述べました。
