競馬予想AIをLightGBMでも作ってみた|馬連124.7%でも、すぐには乗り換えない理由

競馬予想AIを LightGBMでも作ったAI開発記

※本記事には広告が含まれます。馬券の購入は20歳以上・自己責任でお願いします。

こんにちは、たれぞうです。自作の競馬予想AIの開発記、3本目です。

これまでの記事では、オッズを出発点にする「ベンター方式」のモデルを紹介し、どの要素が効いたかをまとめてきました。今回は、機械学習でよく使われる「LightGBM(ライトジービーエム)」で別バージョンを作り、いまのモデルと比べてみた結果です。

スポンサーリンク

結論

  • LightGBM版は、馬連の回収率が124.7%と、いまのモデルより大幅に良い結果が出た
  • ただしぶれ幅が±10%と大きく、検証も1回分だけ。単勝・複勝は大きく負けている
  • すぐには乗り換えず、しばらく両方を並べて様子を見ることにした

2つのモデルの違い

いまのモデル:条件付きロジット(ベンター方式)

いま使っているモデルは、オッズから計算した勝率をスタート地点にして、血統や脚質など約30の要素で「オッズに表れていない分」を足し引きする考え方です。それぞれの要素がどれくらい効いているかを数字(係数)で確認できるので、中身が分かりやすいのが長所です。

新しく作ったモデル:LightGBM版

LightGBMは、たくさんの「決定木(はい・いいえで枝分かれしていく判断の木)」を組み合わせて予測する手法です。表形式のデータに強く、データ分析のコンテストでもよく使われています。

今回のLightGBM版は、こんな2段階の作りにしました。

  1. オッズを使わずに、馬や騎手、血統などのデータだけで「勝つ確率」を学習する
  2. その確率と、オッズから計算した確率を、検証用の期間でいちばん当たるように混ぜ合わせる

2段階に分けるのは、最初からオッズを入れると、AIがオッズの真似ばかりしてしまうからです。これもベンター方式の考え方を参考にしています。

面白かったのは、混ぜる割合を学習させた結果が「LightGBM 1.08、オッズ −0.07」になったことです。ほぼLightGBMの予想だけを使い、オッズはほんの少し差し引く、という形でした。

比べ方

LightGBM版は、2021年9月より前のデータで学習・調整し、2021年9月〜2026年10月の16,789レースを「テスト期間」として成績を測りました。テスト期間のレースは学習に一切使っていないので、未来のレースを予想したのと同じ条件です。

買い方はどちらも同じで、期待値が1.0を超える馬券を100円ずつ買う「万札式」です。

結果:券種ごとの回収率

券種LightGBM版ぶれ幅いまのモデル(参考)
馬連124.7%±10.0約99%
馬単108.1%±15.8約100%
3連単104.9%±17.0約94%
枠連103.7%±14.3約113%
3連複92.9%±8.0約93%
ワイド91.5%±7.2約92%
単勝74.0%±16.4約95%
複勝56.4%±12.0約91%
いまのモデルは、ほぼ同じ期間(2022〜2026年)の前向き検証の年ごとの回収率を平均したおおよその値

目を引くのは馬連の124.7%です。5,329点買って207回当たり、いまのモデルの約99%を大きく上回りました。馬単や3連単も100%を超えています。

一方で、単勝は74.0%、複勝は56.4%と、いまのモデルよりはっきり悪い結果でした。枠連も、いまのモデルのほうが良い成績です。

喜ぶのはまだ早い理由

馬連124.7%は魅力的な数字ですが、正直に言うと、まだ信用しきれません。理由は3つあります。

  1. ぶれ幅が大きい:±10%というのは、「本当の実力は105%〜145%くらいのどこか」という意味です。100%を下回る可能性は低そうですが、124.7%がそのまま続くとは限りません。
  2. 検証が1回分だけ:いまのモデルは16年分を1年ずつ区切って検証していますが、LightGBM版は1回の区切りでしか測っていません。たまたま相性の良い期間だった可能性があります。
  3. 勝ち馬の当てやすさは、ほとんど変わらない:「勝ち馬にどれだけ高い確率を付けられたか」という指標で比べると、オッズだけの予想(−1.9115)に対して、LightGBM版は−1.9098。ほんのわずかしか良くなっていません。それなのに馬連だけ大きく勝っているのは、少し出来すぎに見えます。

これからどうするか

アプリには、予想に使うモデルをボタン一つで切り替えられる機能を付けています。ただ今回は、すぐに乗り換えるのではなく、次のように進めることにしました。

  • しばらく両方の予想を記録して、実際のレースで比べる
  • LightGBM版も、いまのモデルと同じように1年ずつ区切った検証をやり直す
  • 馬連はLightGBM、枠連はいまのモデル、のように券種ごとに使い分ける方法も試す

なお、いまのモデルも学習し直しを続けていて、最新版では勝負レースの回収率が101.5%(±2.1、33,548レース)になっています。

※本記事には広告が含まれます。データで競馬を考える方法や、予想AIで使っている機械学習を自分でも学んでみたい方は、入門書から始めるのがおすすめです。

まとめ

  • LightGBM版は馬連で124.7%と良い結果。ただしぶれ幅が大きく、検証も1回分だけ
  • 単勝・複勝はいまのモデルのほうがずっと良い
  • 「良い数字が出たらすぐ飛びつく」のではなく、実際のレースで比べてから判断する

AIの数字は、良い結果ほど疑ってかかるのが大事だと思っています。実際のレースで比べた結果は、また記事にします。

コメント

タイトルとURLをコピーしました