見出し画像

開発方針が大まか決定

hiroly

そんなこんな、ここからは完全に競馬予想とは掛け離れた投稿となります、すみません。
でも、私のような一技術者にとって「いよいよ本当に楽しみな領域に入ってきた！」と思っています。
数年前データ屋さんをやっていましたが、好きな分野でPython（読み易いプログラム言語です、基本的なfor文やwhile文とかループを覚えましょう）とMySQL（データベース/DBと言われるデータ格納サーバです）を駆使できるというね、、なかなかなワクワクが詰まっています。

すみません、ここから妄想タイムに入ります（苦笑）
何しろ、完成したらWEB上で即時性のあるマイニングデータが表示でき、且つ、、胴元の購入サイトのAPI連携（Application Programming Interfaceといい、サーバ間で双方のアプリケーションを共有する仕組み）で接続できれば、、自動購入も出来るというシームレスなシステム環境も構築できる夢のある未来が待っている訳で！
Scraping（WEBよりデータを収集する仕組み）やこの自動展開予想なども機械学習を匙加減で導入すればAI予想と言えるモノにいよいよ近付ける！！
更に更に、結果を分析できる機能も研究開発できれば、、見？か勝負か？や券種なども見える化出来るし、閾値設定次第で自動購入を調整出来たり。。。
本当にそんなワクワクや夢が詰まっていますｗ

開発方針

大体の方針としては、以下の通りです。

  1. データをPython/Scrapingによって収集し、MySQLのテーブルへJson（テキストデータをDB格納し易く成形する仕組み）にて格納、レース後数時間で差分を自動更新する。（主データというか大元のテーブルデータ更新。）

  2. 即時性がある更新（オッズや体重）は、D3js（JavascriptというWEBプログラム言語のライブラリ追加機能でグラフなど見える化するビジュアル表現に特化している）にて取得、Jsonにてテーブルへ自動格納。（←実はここがかなり厳しいでしょうね。使用するライブラリ等で昔苦労したことがあります。ってかPGで正規表現（文字列をパターン化する手法）すら知らなかった時代でしたｗ）

  3. これら集約データの馬名データとしても抽出する。（向こう数年間の走破データを出走時にJoin[テーブル間を繋げて抽出・表示する]でダッシュボード表示したいなぁ。）

  4. 各馬の個体データについてもテーブル作成したい。（血統とか走法とか格納したい、重要なデータになるし。）

  5. 出来れば、走破ラップデータを軸に差分秒数調整を図ってレース結果用の出走馬毎の想定ラップをレース後に自動作成しそれも大元のテーブルへアップデートしたい。（これも展開予想にハネる重要データになるだろうな…）

  6. 出馬表はD3jsを使用してダッシュボード表示とする。（ダッシュボード表示時はプロットで使用しているフィルタにて各馬の優劣を数値表示する。）

  7. 上記作成しながら格納データも大きくなることが想定できるので、DBのパフォチュー（Perfomance Tuning→動作性能を上げる）も併せてやっていく。

開発環境

開発環境が作れてきたので、備忘録と言うか一旦、初期の使用環境を表記します。
UI（User Interface/見た目で操作する方法）たるD3Jsは未だ手を付けられないから今回割愛します。
ライブラリとかトンでもなくなる気がするので。

Editor:Visual Studio Code 1.8.1
言語:Python 3.11.9（Latest）
DB:MySQL 8.0.36

現在、開発環境たるPythonの各ライブラリ（ライブラリから機能追加しなければ動かないプログラムがあります）やMySQLのLocal環境（自分のPC内での環境、サーバ化する前に開発しなければならないので）などは作成して簡単な動作チェックは完了しました。
今後説明というか、ご興味ある方々と一緒に学習出来ればなぁと思っております。
しかしながら、Python/Scrapingの導入部分などについては他の方も説明されているので多分説明は致しません。
そして後述で触れますが、、今後に於いて非常にセンシティヴな事項でもあります、すみません。
なので主に、DBやD3js開発部分に関してなどをラーニングの題材に出来ればなぁと思っております。
何せPythonでテストDBやテーブル作成、Scrapingテストを行ったばかりなのでマダマダひよっ子です！そして何より開発ブランクもあるので、上記方針の内容にて間違った表現や語彙が使われているかも知れませんが、、何卒ご留意ください<(_ _)>
（JavaとD3を使用したデータマイニングとかは昔やっていましたが。。。）
何とか思っている事や考え、やりたい事が伝われば幸いです。
私的には年甲斐もなく凄く楽しみなので、頑張ってPG（プログラム）にチャレンジしていこうと思っております。

ここは敢えて強調文字には致しません、悪しからずです<(_ _)>
怖いのは現在非常にセンシティヴなのですが、、今後株式ファイナンスやFXの取引みたいにWEBサイトでScrapingへの禁止対策が広まるのが辛いですよね。
なので、Scraping実行時は相手サーバへ負荷を掛けないように物理的にもプログラム上でも、ウエイト（実行時の待ち時間）調整は必須です。
何度も何度も拾ってくるとかの乱用は避けたいところですので、皆様も注意しましょう！

もう一つ、ご注意です。
基本的に分らないことはググることが前提なのです。
なのでそういった努力というのは先々実を結ぶので、Syntax Errorなど特にキーワードをどんどんググって調べて自分の知識の素としましょう～。
知識は命までとは言いませんが、お金より大事な財産なのです！

それでは、また。

この記事が気に入ったらサポートをしてみませんか？