問い合わせに埋もれた「本当の相談」を取りこぼさないための仕組みです。自社サイトに届いた554件を調べると98%が営業・売り込みでした。AIで仕分けをして、人が見る件数を 554件から10件 に減らしました。
課題
問い合わせは月30件ほど。中身は自治体アンケート・相互リンク依頼・求人勧誘・投資案内など、98%が売り込みでした。全部見るのは非現実的、流し読みは本当の相談を見落とします。
やり方(かんたんに)
- 対応が必要なものだけを担当者に見せる
- 返信の下書きは作るが、送信は必ず人(送信機能は持たない)
- 氏名・連絡先はそもそも取り込まない
大量の受信から、対応すべきものだけを人に見せます。送信は必ず人が行います。
氏名・会社名・電話・メールはそもそも取り込まず、本文だけを扱います。本文に混ざる連絡先も伏せ字にします。
「対応が必要/営業」を判定し、必要そうなものには返信の下書きを作ります。送信はしません。
554件が10件に絞られ、その分だけ人が見ます。拾うかどうかの最終判断は人が行います。
下書きを参考に、人が内容を決めて送信します(送信する機能はAIに持たせていません)。
「正解率が上がっても、拾うべきものを取りこぼす」ことがあるため、正解率ではなく“取りこぼさないか”で調整しています。画面はダミーデータです。

結果
| 項目 | 実測値 |
|---|---|
| 対象 | 554件(2025年9月〜2026年9月) |
| 営業・売り込み | 544件(98.2%) |
| AIが「対応が必要」と拾った件数 | 10件 |
| 担当者が見る件数 | 554件 → 10件 |
50件を人が採点した内訳:AI「対応」×人「対応」2件/AI「対応」×人「営業」8件/AI「営業」×人「対応」0件/AI「営業」×人「営業」40件。営業と判定した40件に、拾うべきものはありませんでした(層化抽出のため全体比率ではありません)。
「正解率を上げる修正」が、目的を悪化させた
指示を強めると正解率は84%→92%に上がりましたが、拾うべき2件を両方とも取りこぼしました。正解率だけ見れば「改善」に見えます。目的は“取りこぼさない”ことなので、最初の版に戻しています。
問い合わせ・応募・申込など「量が多く、大半が対応不要」な受信箱に応用できます。ご相談はお問い合わせから。
評価方法
同じ画面・同じ計り方で比較しました。所要はサーバ側で計測、タグ候補は両条件に同じものを提示、同一案件は二度出さず、空確定は母数から除外。全体からランダムだとほぼ営業になるため、拾われた10件すべて+営業判定から40件を抜き出す層化抽出(計50件)で人が採点。採点時はAIの判定を伏せ、引きずられないようにしています。
個人情報は最初から取り込まず、AIは仕分けと下書きまで。送信は人です。
0.24円/約 2.6秒)。評価は50件を層化抽出して人が採点(AIの答えを見る前に採点)。正解率ではなく“取りこぼさないか”で調整。


同じ指示比較(母数つき)
| 指示 | 正解率 | 拾った中の本物 | 取りこぼし |
|---|---|---|---|
| 最初の版 | 84% | 2/10 | 0件 |
| 売り込む側かを明示 | 92% | 0/2 | 2件 |
| さらに「迷ったら拾う」 | 92% | 0/2 | 2件 |
ここは測っていない
- 「返信下書きの採用率は◯%」… 対応が必要なものが2件しかなく、測っていません
- 「取りこぼしはゼロ」… 抽出40件では0件ですが、率として出せる母数がありません
- 一次応答が◯分速くなった … 導入前の対応時間を記録していません
- 「営業を自動で捨てる」「問い合わせ対応を自動化」… 送信機能は実装していません
Analyzegear