MatchLens

検証

検証

2つの成績を分けて示します。過去データでのモデル検証と、実際に公開した予測の成績です。 どちらも外れを含む全件が対象です。

指標の読み方(はじめての方へ)

Brier：予測確率の正確さ。0が完璧で、当てずっぽう(一様予測)は0.667。小さいほど良い。

的中率：最も高い確率をつけた結果が当たった割合。

較正誤差(ECE)：「70%と言った試合が本当に約70%起きるか」のズレ。小さいほど、確率が正直。

比較対象：市場＝ブックメーカーのオッズから逆算した確率(実質の上限)。ホーム勝率＝ホームが勝つ頻度だけの素朴な予測。一様＝勝分敗を1/3ずつ。

モデルの過去検証backtest

オッズ収録期プール(n=9,457)。Brier・logは小さいほど良い。

手法Brierlogloss的中率較正
MatchLens 0.639 1.059 45.2% 0.010
市場(Shin) 0.627 1.042 46.3% 0.016
市場(比例) 0.627 1.043 46.4% 0.014
ホーム勝率 0.656 1.083 40.2% 0.012
一様 0.667 1.099 40.2% 0.069

較正(予測 vs 実現)

棒＝その確率帯での平均予測、縦線＝実際の 実現率。両者が近いほど、確率が正直です。

0.3–0.4
0.4–0.5
0.5–0.6
0.6–0.7
0.7–0.8
0.8–0.9

リーグ×シーズン別

リーグ季nBrier
(model)		Brier
(市場)		的中
(model)
J12017209 0.621 0.615 50.2%
J12018306 0.647 0.646 42.2%
J12019306 0.634 0.620 48.0%
J12020306 0.615 0.603 50.7%
J12021380 0.609 0.599 50.5%
J12022306 0.652 0.628 42.5%
J12023306 0.637 0.628 45.8%
J12024380 0.653 0.647 41.8%
J12025380 0.628 0.617 49.5%
J22017319 0.628 0.617 46.4%
J22018381 0.643 0.635 44.4%
J22019462 0.635 0.614 46.3%
J22020462 0.644 0.633 43.7%
J22021462 0.635 0.618 46.3%
J22022465 0.654 0.649 39.8%
J22023465 0.649 0.639 42.2%
J22024383 0.618 0.596 47.5%
J22025383 0.643 0.625 44.9%
J32019291 0.651 0.623 41.6%
J32020304 0.635 0.624 44.4%
J32021210 0.649 0.646 43.8%
J32022306 0.600 0.597 53.9%
J32023380 0.666 0.664 40.0%
J32024383 0.643 0.621 44.1%
J32025384 0.624 0.625 48.7%
J1 100YV2026178 0.652 0.643 43.3%
J2/J3 100YV2026360 0.666 0.650 41.9%

公開実績live

採点済み
0
公開 0 件
的中率
—
Brier
—
較正誤差
—

まだ採点対象の公開予測がありません。開幕後、結果が出るたび積み上がります。

公開実績は、公開済み予測の確率だけを使って採点しています(後からモデルを回し直して数値を作ることはしません)。