# 教師ラベル監査 サマリ

作成日: 2026-06-19 / 追加課金ゼロ。対象 = assessable=1（採点対象346件）。

## 監査方法

「観測状態シグネチャ」= LLM評価（visual_density / water_level / oil_emulsification / boiling_heat_state / photo_quality）＋ 濃度brix ＋ 時間slot。
**同一シグネチャ（＝モデルから見て区別できない状態）の群内で、人間スコアがどれだけ割れているか**を測定し、
モデルで原理的に当てられない「ノイズ床（精度天井）」を定量化した。

## 1. 中核結果: スコア分散の半分は観測状態で説明できない

| 指標 | total | soup |
|---|---:|---:|
| 全分散 | 168.9 | 130.7 |
| 群間分散（観測状態で説明可能） | 84.7 | 57.2 |
| 群内分散（ノイズ床＝説明不能） | 84.2 | 73.5 |
| **説明可能上限（R²上限）** | **50%** | **44%** |
| **ノイズ床 MAE**（群平均予測でも残る誤差） | **7.13** | **6.88** |
| ノイズ床 std | 9.2点 | 8.6点 |

- **観測状態が同じでも人間スコアは std 約9点ばらつく。** 人間スコア分散の約半分は、LLM評価＋濃度＋時間では説明できない。
- 現行モデルの実MAEは total 8.56 / soup 8.04。**ノイズ床(7.1/6.9)まで残り約1〜1.5点しかない**＝モデルはほぼ天井に達している。

## 2. 観測状態の解像度が低い（LLM出力が粗い）

- 346件が**わずか42種類の観測状態**に圧縮される（平均8.2件/状態、最大62件が同一状態）。
- LLMのカテゴリ出力が粗く「引き分け」が多発 → 人間が違う点をつけるスープを区別できていない。
- 群内でグレード(A/B/C/D)が割れる件数: total 269 / soup 243（326件中）。

## 3. 矛盾の大きい群（例）

| 群（観測状態） | n | スコア範囲 | 例 |
|---|---:|---|---|
| brix=13, dens=13, 全項目良好 | 59〜62 | 65〜100（total）/ 60〜100（soup） | 同じ「良い濃いスープ」評価で35〜40点差 |
| brix=11, dens=11 | 3 | **0〜90** | sample 358=0点 vs 568,863=90点 |

## 4. 疑わしいラベル（要レビュー）

群中央値から25点以上外れたサンプル: total 8件 / soup 10件 → `suspected_label_outliers.csv`。
- 最有力: **sample 358**（群中央値70に対し0点）。データ入力ミス or 非代表フレームの可能性大。
- 790 / 833 / 800 / 251 など（群中央値100付近で70/65点）は、味・工程段階など画像外要因の可能性。

## 5. 結論と示唆

1. **目標95%/98%は、現在の観測特徴量では原理的に到達不能。** 同一観測状態が複数グレードに跨っており、どんなモデルでも分離できない。
2. **後段モデルの改善余地はほぼ無い**（実MAEはノイズ床まで約1点）。伸びしろはモデルではなく**入力情報の解像度**にある。
3. 精度を上げる現実的な道は2つ:
   - **(a) ラベル品質の改善**: 疑わしい18件の確認・補正（特に358）。少数だが天井を下げている。
   - **(b) 観測情報の高解像度化**: LLM出力を細かくする（連続スケール・評価軸追加・識別的プロンプト）。42状態への圧縮を緩和。ただしLLM再実行を伴う。
4. 非視覚要因（味・香り・塩分・工程段階）は単一フレームに写らず、一定のノイズ床は**不可避**。

## 成果物
- `label_contradictions_total.csv` / `label_contradictions_soup.csv` … 同一観測状態の群とスコア範囲
- `suspected_label_outliers.csv` … 群中央値から大きく外れた要レビュー18件