# 後段モデル精度比較 方針

## 1. ゴール

完成した AI モデル候補を、同じ学習データ・同じ特徴量・同じ評価指標で比較し、採用候補を判断できる状態にする。

比較したいのは「どのモデル名が強いか」だけではなく、次の切り分けです。

- 機械学習が固定配点より明確に上回るか。
- 少量データでも Ridge のような単純モデルで十分か。
- Random Forest、XGBoost、LightGBM の非線形モデルが実務上意味のある改善を出すか。
- 精度不足の原因が、後段モデルではなく画像特徴量・撮影品質・評価ラベル側にあるか。

## 2. 入力データ

最低限必要な列は次の通りです。

| 種別 | 例 | 備考 |
|---|---|---|
| ID | `sample_id` | 画像・動画・評価結果を追跡するための一意キー |
| 正解スコア | `total_score` または `soup_score` | 人間評価。どちらを目的変数にするか固定する |
| Brix | `brix` | 画像特徴とは別入力 |
| 時間帯 | `slot` / `dinner` | 開店前・営業中など |
| 視覚特徴 | `visual_density` など | 方針書の schema と同期 |
| 撮影品質 | `image_condition_score` / `photo_quality` | 除外・ablation 用 |

視覚特徴は `APIテスト/豚山スープ画像評価プロンプト方針.md` の固定 schema に合わせます。特に `visual_density` の 11/12 境界は方針書の三点ルールを維持します。

## 3. 比較対象

### 固定配点

学習なしの基準値です。Excel でも再現できる形にし、Python/pandas では同じ計算式を実装します。

用途:

- 社内説明用の基準線
- ML 導入による改善幅の確認
- 少量データ時の堅牢な fallback

### 線形回帰

最も単純な学習モデルです。各特徴がスコアにどう効くかを説明しやすい一方、少量データや相関の強い特徴では係数が不安定になる可能性があります。

### Ridge 回帰

線形回帰に正則化を加えたモデルです。データ数が少ない段階では、線形回帰より Ridge を実務候補として重視します。

### Random Forest

非線形パターンを拾えるモデルです。特徴量の重要度を確認できますが、データが少ないと安定性に注意します。

### XGBoost

BytePlus 提案方式との比較軸です。高精度候補ですが、test 件数が少ない場合は cross validation と validation の推移を見ます。

### LightGBM

XGBoost 系の代替候補です。XGBoost と同程度の精度が出るか、学習速度・安定性・扱いやすさを比較します。

## 4. 分割

原則は次の固定分割です。

| split | 比率 | 用途 |
|---|---:|---|
| train | 70% | モデル学習 |
| validation | 10% | パラメータ調整・方式判断 |
| test | 20% | 最終評価のみ |

分割は A/B/C/D グレードで層別化し、seed を固定します。test は最終評価まで見ません。

## 5. 評価指標

| 指標 | 意味 | 判断 |
|---|---|---|
| `rho` | 順位相関 | 高いほど、人間評価の並び順に近い |
| `mae` | 平均絶対誤差 | 低いほど、点数のズレが小さい |
| `grade_match` | A/B/C/D 一致率 | 現場判断の一致度 |
| `anomaly_recall` | 60点未満の検出率 | 要確認案件の取りこぼし防止 |

BytePlus 公表値は `rho=0.53`、`mae=11.7`、`grade_match=0.74`、`anomaly_recall=0.44` を基準線として並べます。

## 6. 判断ロジック

| 結果 | 解釈 | 次アクション |
|---|---|---|
| 固定配点が ML と同等 | ML の効果が薄い | 固定配点または Ridge を優先 |
| Ridge が安定して高い | 単純な関係で説明可能 | Ridge を第一候補 |
| XGBoost/LightGBM だけ高い | 非線形の価値あり | 過学習確認後に採用検討 |
| Random Forest だけ高い | 閾値・相互作用の可能性 | 特徴重要度と個別誤差を確認 |
| 全モデルが低い | 後段ではなく前段が弱い | 特徴量、画像品質、ラベルを見直す |
| 良品質画像のみで改善 | 撮影条件がボトルネック | 撮影品質ゲートを導入 |

## 7. 結果記録

各実験は `検証/results/comparison_template.csv` に以下の単位で記録します。

- データ版
- 特徴量セット
- 目的変数
- split seed
- モデル
- validation 指標
- test 指標
- コメント

あとで社長向け資料に転記できるよう、実験メモは日本語で簡潔に残します。