日曜プログラマー

プログラミングが趣味の個人投資家です。 noteでは、プログラミングに関すること、株式…

日曜プログラマー

プログラミングが趣味の個人投資家です。 noteでは、プログラミングに関すること、株式投資に関することをメインに発信していきます。

恐怖指数で予測精度70%越えを達成!! AIを使って日経平均株価の予測に挑戦 そろそろ限界?編

前回ようやく翌営業日の日経平均株価が上がるか下がるか(二値分類)の予測精度が65%を超えましたこれまで、翌営業日の日経平均株価が上がるか下がるか(二値分類)をAIモデルに予測させるために、アレコレやってきました。 そして、前回行ったアメリカの株価指数との組み合わせでAIモデルを学習させた結果、予測精度が65.6%となり、過去最高記録を更新することができました。 今回は、イギリスや中国の株価指数や為替、等も加えてAIモデルを学習させた場合の結果を確認しました。 用意した

日曜プログラマー

    • 恥ずかしながら知りませんでした 為替データがバラバラな件

      衝撃の事実を知りましたある日、AIモデルの学習向けに為替データをダウンロードするPythonプログラムを作成していました。 ダウンロードした為替データが正しいかどうかを確認するため、インターネットで過去の為替データを検索したのですが、その時に初めて衝撃の事実を知りました。 衝撃の事実 各ウェブサイトで掲載されている為替データがバラバラである 私は、恥ずかしながら知りませんでした。 各ウェブサイトの為替データを比較しました2024年4月19日のドル円為替データについ

      日曜プログラマー

      • 意外!! 二値分類の予測精度が向上 AIを使って日経平均株価の予測に挑戦 アメリカがくしゃみをすると日本が風邪をひく編

        説明変数にダウ、S&P500, ナスダックの指標を追加Pythonプログラムをバージョンアップし、説明変数にダウ、S&P500, ナスダックの指標を追加しました。 詳細は、下記の記事を参照ください。 そこで、早速、日経平均株価の二値分類を行うAIモデルの学習および評価への影響を確認することにしました。 ダウ、S&P500, ナスダックの指標がAIモデルの学習および評価に与える影響を確認ダウ、S&P500, ナスダックの指標が日経平均株価の二値分類を行うAIモデルの学習

        日曜プログラマー

        • AIで明日の日経平均株価を予測しよう 学習済みAIモデルの推論を実行してみた編

          AIで明日の日経平均株価を予測しようAIモデルに対する過学習の問題が解決できない状況が続いています。 一方で、AIモデルによる日経平均株価の予測精度(Accuracy)は60%強まで実現できています。 このあたりで、一度、学習済みAIモデルを使って明日の日経平均株価の予測を行ってみたいと思います。 学習済みAIモデルを使って何らかのデータや情報、等を導き出す行為を、専門用語では、AIによる推論と表現するようです。 Neural Network Consoleによる学

          日曜プログラマー

        恐怖指数で予測精度70%越えを達成!! AIを使って日経平均株価の予測に挑戦 そろそろ限界?編

        日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 一目均衡表の遅行スパン問題検討編

          一目均衡表の遅行スパンに関する取扱いについて前回の記事にて、一目均衡表の遅行スパンの影響により、日経平均株価の予測を行うことができない問題点が明らかになりました。 詳細は、下記の記事を参照ください。 今回は、一目均衡表の遅行スパンをどう扱えば良いのかについて検討していきたいと思います。 とりあえず、私が思いついたのが下記の2通りです。 一目均衡表の遅行スパンに対する取扱い案 学習データおよび評価データから全ての遅行スパンを削除する 遅行スパンのデータが欠落してい

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 一目均衡表の遅行スパン問題検討編

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 学習データマシマシ編 Part 2

          日経平均株価が上がるか下がるかを予測する二値分類を行うAIモデルの作成を再開しばしの間、AIモデル用の学習データおよび評価データを作成するPythonプログラムのコーディングを行っていました。 そのPythonプログラムもとりあえず完成しましたので、日経平均株価が上がるか下がるかを予測する二値分類を行うAIモデルの作成を再開します。 2層Affine構造のAIモデルを使用して学習および評価を実施様々な学習データおよび評価データを簡単に用意できるPythonプログラムを作

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 学習データマシマシ編 Part 2

          日曜プログラマー

          やっぱりPython AIモデル用の学習データ作成プログラムをバージョンアップした編

          これまではExcelを使用してAIモデル用の学習データおよび評価データを作成していました。 しかし、手作業による煩雑さから徐々にやる気が低下してしまいました。 そこで、気を取り直して、PythonによるAIモデル用の学習データ作成プログラムを作りました。 詳細は、下記の記事を参照ください。 今回の記事の内容は、前回作成したPythonプログラムのカスタマイズに関するものです。 カスタマイズの内容 今後の要素追加を考慮し、拡張性を向上させました 新規要素として一

          日曜プログラマー

          やっぱりPython AIモデル用の学習データ作成プログラムをバージョンアップした編

          日曜プログラマー

          信じた私がバカでした Pythonで株価をダウンロードする際はご注意ください編

          Pythonプログラムに一目均衡表を加えようとデバッグしていた時でした以前の記事で、Neural Network Console向けAIモデル用の学習データおよび評価データを作成するPythonプログラムを公開しました。 上記のPythonプログラムがサポートしているのは、ローソク足データ、SMA, ボリンジャーバンド、MACDです。 このPythonプログラムに一目均衡表を加えようとデバッグしていた時でした。 私は、SBI証券のHYPER SBI 2という株式トレー

          日曜プログラマー

          信じた私がバカでした Pythonで株価をダウンロードする際はご注意ください編

          日曜プログラマー

          そりゃないよPython 安易なアップデートでエラーが出ちゃった編

          不幸の始まり、それはアップデート前回作成したPythonプログラムの更新を行っている最中に、print文の挙動が不安定なことに気がつきました。 変数の中身を表示させた際に、表示の形式が変わってしまうのです。 そこで、Python環境のアップデートを実行しました。 conda update --all これが不幸の始まりでした。 Pythonプログラムを実行するとエラーが…Python環境のアップデートにより、print文の問題が解決するどころか、以下のエラーが出る

          日曜プログラマー

          そりゃないよPython 安易なアップデートでエラーが出ちゃった編

          日曜プログラマー

          やっぱりPython AIモデル用の学習データを用意するのに疲れてしまった編

          手作業でAIモデル用の学習データを用意していたのですが…回数を重ねるにつれ、AIモデル用の学習データを用意するのに疲れてしまいました。 そこで、気分転換も兼ねて、AIモデル用の学習データを作成するPythonプログラムを作ることにしました。 久しぶりのPythonなので、いろいろと忘れていることもあり思いのほか時間がかかってしまいましたが、とりあえず、できました。 作成したPythonプログラムはこんな感じ作成したPythonプログラムで出来ることは以下の通りです。

          日曜プログラマー

          やっぱりPython AIモデル用の学習データを用意するのに疲れてしまった編

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 学習データのツボはどこ?編

          前回の記事より、今後の課題を振り返る前回は、翌営業日の日経平均株価が上がるか、下がるかを予測する二値分類に関して、評価データの特徴を学習データに与える目的での説明変数の追加(データマシマシ)とAIモデルの簡素化による過学習への影響を確認しました。 結果は、二値分類としてのAccuracyが61.37%となりました。 これまではAccuracyが50%前後だったので、驚きの結果でした。 過学習の指標であるVALIDATION ERRORの右肩上がりの状況は続いていますが

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 学習データのツボはどこ?編

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 データマシマシ&AIモデル簡素化編

          前回の記事より、今後の課題を振り返る前回は、翌営業日の日経平均株価が上がるか、下がるかを予測する二値分類に関して、学習データの標準化による過学習への影響を確認しました。 結論としては、学習データを標準化したことでより過学習が進んだ(状況が悪化した)と言えます。 私なりに過学習が進むことの意味について、次のように考えました。 一つは、学習データと評価データの特徴が異なっているのではないかということです。 どちらも似た特徴を有しているならば、VALIDATION ERR

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 データマシマシ&AIモデル簡素化編

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 標準化ってどうなのよ編

          前回の記事より、今後の課題を振り返る前回は、翌営業日の日経平均株価が上がるか、下がるかを予測する二値分類に関して、学習データと評価データの隔たりによる影響を確認しました。 結論としては、データの隔たりによる特筆すべき影響を確認することはできませんでした。 壁にぶつかったので、インターネットに突破口を求めてさまよったところ、キノコードさんの動画にたどり着きました。 キノコードさん作成の動画内容を私なりにまとめると、以下のようになります。 キノコードさん作成の動画内容

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 標準化ってどうなのよ編

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 データの隔たり確認編

          前回の記事より、今後の課題を振り返る前回は、翌営業日の日経平均株価が上がるか、下がるかを予測する二値分類に関して、過学習の状態に陥ってしまったことへの対策として中間層を4層Affine化したことによる効果を確認しました。 中間層を4層Affine化したことによる効果は、特になしという結論でした。 ただし、その過程において、学習データと評価データに隔たりがあることに気がつきました。 学習データと評価データの隔たりは、以下の通りです。 学習データと評価データの隔たり

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 データの隔たり確認編

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 中間層を4層Affineにしてみた編

          前回の記事より、今後の課題を振り返る前回は、翌営業日の日経平均株価が上がるか、下がるかを予測する二値分類に関して、過学習の状態に陥ってしまったことへの対策としてドロップアウトの効果を確認しました。 過学習対策としてのドロップアウトの効果は確認できました。 しかし、期待していたVALIDATION ERRORを低下させる効果は確認できませんでした。 そこで、過学習を抑え、かつ、VALIDATION ERRORを低下させる目的で、今回はAIモデルの中間層を4層Affine

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 中間層を4層Affineにしてみた編

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 ドロップアウトってどうなのよ編

          前回の記事より、今後の課題を振り返る前回は、翌営業日の日経平均株価が上がるか、下がるかを予測する二値分類に関して、過学習の状態に陥ってしまったことへの対策の検討を行いました。 具体的には、学習データの見直しとして、5日分のローソク足(終値、始値、高値、安値)に下記のデータを追加しました。 新たに追加した学習データ 移動平均(5, 25, 75日) ボリンジャーバンド(±2σ, ±1σ, 中心線) MACD(MACD, MACDシグナル) しかし、期待むなしくAc

          日曜プログラマー

          二値分類の過学習対策 AIを使って日経平均株価の予測に挑戦 ドロップアウトってどうなのよ編

          日曜プログラマー