AnalyzegearコードレビューをAIに任せる話はよく聞きますが、その指摘が当たっているかはあまり語られません。自社プロダクトの実際のPRで測ると、「AIの精度」ではなく「AIに何を見せるか」で結果が変わりました。
課題
指摘が正しいか分からないまま導入しても、確認の手間が増えるだけです。「入れました」で終わらせず、指摘の正しさを人が検証するところまで作りました。
AIにレビューさせるだけでなく、その指摘が正しいかを人が確かめるところまで作りました。
自社プロダクトの実際の変更20本を対象にしました。
変更部分だけでなく「変更したファイル全体」も渡すと、誤った指摘が消え、見落としも減りました。
テストが1件も無かった計算ロジックに106件を生成し、実際に通ることを確認しました（網羅率87%）。
重大な指摘は人が全数確認。取り込むかどうかは人が判断します。
AIが返す“自信度”は誤りにも高い値が出るため当てにできません。だから重大な指摘は必ず人が確認します。
結果（かんたんに）
同じ20本のPRを、AIに渡す情報だけ変えて2回レビューしました。変更部分（差分）だけを渡すと、重大と判定された指摘の半分が誤り。変更ファイル全体も渡すと誤りは0件になり、見落としていた重大な指摘が4→8件に増えました。1本あたり費用は23→46円に倍増します。
さらに、テストが1件も無かった計算ロジック（1,012行）に106件のテストを生成し、実際に通ることを確認しました（網羅率87%）。
学び
- AIに何を見せるかで、精度が決まる。渡す情報の設計の問題でした。
- 測り方を先に疑う。最初は数字が良く見えても、測り方が甘いと当てになりません。
- 人が見る範囲を絞る。マージに直結する「重大」だけ全数検証。
レビュー負荷が高いチーム、テストが薄いコード、品質を保って速度を上げたい案件に応用できます。ご相談はお問い合わせから。
計測の条件
- 対象：自社プロダクトの実際のPR 20本
- 重大と判定された指摘（12件）は全数を人が検証。それ以外の175件は件数のみ記録
- 費用：1本あたり 差分のみ23円／全体も渡す46円（実測）
- CI連携は未実装（ローカル実行）
「AIに何を見せるか」を変えて2回レビューし、人が指摘の正しさを採点しました。
1,012行）に106件生成。CI未連携（手元実行）。AIの“自信度”は誤りにも高値が出るため採否判断には使わない。
測り方を先に疑う
最初の計測では判定40件すべてが「妥当」に見えました。原因は採点画面にAIの主張しか表示していなかったこと。読んで筋が通っていれば通ってしまう作りでした。判定画面に実際のコードを併記し、どちらの条件の指摘かを伏せて測り直しています。
AIの「自信」は当てにならない
AIは判定ごとに自信度（0〜100）を返します。正解した42件は平均94、誤った8件は平均77。差はありますが、誤りの中に92・92・95が含まれます。「自信が高いものは人が見なくてよい」という運用はできません。
ここは測っていない
- 「レビュー工数が◯%減った」… 人の作業時間を測っていません
- 「不具合が◯%減った」… 導入前後の障害件数を比べていません
- 「AIレビューの精度は◯%」… 検証したのは重大12件のみ
- CI に組み込んだ効果／生成テストが将来のバグを捕まえた実績 … ありません