保守レポートをAIが下書きし、数字は機械が検算する

保守では毎日監視データが溜まりますが、そのままでは顧客に渡せません。AIに書かせるには「数字を作られる」不安があります。そこで「AIに数字を作らせない」を、方針ではなく仕組みと検証で担保しました。下書きはAI、確定は人です。

課題

スコアやミリ秒をそのまま並べても、サイトの持ち主には伝わりません。毎月書き起こすのは手間で、生成AIに任せると数値の正しさが担保できません。

やり方(かんたんに)

  1. 監視データをプログラムで集計する
  2. AIには集計値だけを渡し、文章にさせる
  3. 書かれた数値を機械で元データと突き合わせる
  4. 一致しなければ警告し、担当者が確認して確定
処理の流れと役割 ─ 保守レポートのAI下書き

「AIに数字を作らせない」を、方針ではなく仕組みで担保しています。下書きはAI、確定は人です。

自動処理(プログラム)AI(Claude)担当者(人)
1
自動処理(プログラム)
監視データを集計する

回数・最小・最大・平均などをプログラムで計算します。AIには元データを渡しません。

ポイント:AIに数字を作らせないため、計算済みの値だけを渡します。
2
AI(Claude)
集計値を文章にする

渡された値を、読みやすい日本語のレポートにします。専門用語もやさしく言い換えます。

3
自動処理(プログラム)
数値を機械で検算する

文章中の数値を全部抜き出し、元の値と突き合わせます。一致しない数値は警告します(4本で138個中136個が一致)。

4
担当者(人)
確認して確定する

警告を見て担当者が確定します。顧客に出すのは、人の確認を経てからです。

検証は自社2サイトで実施し、顧客サイトのデータは使っていません。顧客への送付実績はまだありません。

生成された保守レポート
生成されたレポート。冒頭に数値の照合結果が出て、確定前であることが分かります。

結果

項目実測値
本文中の数値が元データと一致した割合138個中136個(98.6%)
1本あたりの生成費用3.78円
1本あたりの生成時間約25秒
自社サイト2件 × 2か月の4本で。数値の一致は機械照合(人の評価ではありません)。

検証が、人では見つけられない誤りを捕まえた

…平均3712ミリ秒(最小3678ミリ秒、最大3779ミリ秒)と、いずれの回も3.6秒台後半〜3.7秒台にとどまっています

3678ミリ秒を「3.6秒台」と言い換えたものです。算数は合っていますが、元データに「3.6」という値は無く、これは明示的に禁じていた言い換えでした。数字が正しく見えるので人は素通りし、機械で突き合わせたから見つかりました。

この仕組みは、定期レポート・報告書・議事録など「数字が入る文章をAIに書かせたいが、間違いが許されない」場面に応用できます。ご相談はお問い合わせから。