AIエージェントが効く場面、効かない場面を測る

「AIが自分で考えて作業する」——エージェントと呼ばれる仕組みです。実際に作って、人が書いた固定手順と比べました。結果は、同じでした。時間と費用だけが増えました。どこで効いて、どこで効かないのかを切り分けた事例です。

何を作ったか

URLを渡すと、AIが調べる項目を自分で選んで順に実行し、サイトの持ち主に分かる言葉で診断レポートにまとめる仕組みです。調べるのは7項目——表示の応答速度、SSL証明書の期限、ドメインの期限、SEOの基本設定、リンク切れ、法令表記の有無、セキュリティ設定。

数値はすべてプログラムが実測します。AIがするのは「どれを、どの順で調べるか」を決めることと、結果を平易な文章にまとめることだけです。

結果

自社5サイトを、2つのやり方で診断しました。道具もレポートの作り方も同じで、違うのは「調べる順番を誰が決めるか」だけです。

AIは5サイトすべてで、7項目を全部調べました（順番も5サイト中4サイトで完全に同じ）。検査そのものは両方式とも約14秒で、差の32秒はすべてAIが「次に何をするか」を考えていた時間です。つまりAIが決めた段取りは、人が書いた手順と実質同じで、そこに時間1.9倍・費用2.0倍を払っていたことになります。

AIは正しかった。間違っていたのは道具だった

診断が「このサイトに会社情報が見当たりません」と報告しました。しかし実際にはフッターに「運営者情報」があります。原因は判定に使う言葉で、「会社概要」「運営会社」「企業情報」しか探しておらず、「運営者情報」を拾えていなかったのです。

AIは、渡された結果を正確に伝えただけでした。「AIに数値を作らせない」を徹底しても、渡す数値が間違っていれば、正しく間違いを伝えます。確かめるべきはAIだけではありませんでした。

「AIエージェントを入れれば効率化できる」とは限りません。効く場面かどうかを、小さく作って測るところからご支援します。ご相談はお問い合わせから。

構成と計測条件

• エージェント基盤：Claude の tool use（項目の選択・実行順の決定）。数値は各チェックのプログラム実測で、AIは段取りと要約のみ。
• 比較：同じ7項目・同じ道具・同じレポート生成で、「順番を誰が決めるか」だけを変えた2方式。対象は自社5サイト（各方式1回＝計10件）。

暴走させないために先に決めたこと

対象サイトには読み取りしかしません。負荷をかけないよう、リンク検査は件数を絞り、間隔を空けています。

数値は正しく伝わっていた

レポートに書かれた数値が実測値に含まれるかを機械照合しました。10件・151個すべてが実測値と一致し、AIが作った数値は1つもありませんでした（母数＝5サイト×2方式の合計）。

学び

• エージェント化が効くかは、測らないと分からない。調べる項目が決まっていて、どの対象にも同じ手順が使える作業では、段取りをAIに任せる意味がありませんでした。
• AIが正しくても、道具が間違っていれば結果は間違う。検証はAIだけでは足りません。
• 止め方を先に決める。対象・道具・回数・費用の4つを決めてから動かしました。

ここは測っていない

• 「人が手作業で調べるより◯%速い」… 人が同じ7項目を手で調べる時間は測っていません（工数削減は主張しません）
• 表示速度（Lighthouse・Core Web Vitals）・表示崩れ検出 … 未実装。測ったのは1回の取得の応答時間だけです
• エージェントが「効く場面」… 効かない場面を測っただけで、効く場面は測っていません（推測を断定で書きません）