Analyzegearサイトが「ちゃんと表示されているか」は、数値では分かりません。表示崩れも、第三者による書き換えも、見て初めて気づくものです。外観のスクリーンショットをAIに見せて、それができるかを試しました。
課題
保守サービスでは、毎日サイトの外観を撮影しています。ただし従来の確認は「前回の画像と何％違うか」という変化量の数値でした。数値では「何がどうおかしいのか」が分かりません。記事が1本増えただけでも数値は動きますし、逆に画像が消えても数値上はわずかな差にしかなりません。
やったこと
スクリーンショットをAIに見せて、正常／表示崩れの疑い／改ざんの疑いを判定させ、画面のどこがどうなっているかを言葉で説明させました。これは「疑い」を担当者に知らせる仕組みで、防御ではありません。自動でアラートは飛ばしません。検証用の異常サンプルは、実際にサイトのCSSを壊して表示させ、撮影して作りました。画像を後から加工すると「加工の跡」を見つけているだけになり、本物の表示崩れを見つけられるかの検証になりません。
毎日の外観スクリーンショットをAIが「見て」、疑いのあるものだけを担当者に上げます。AIは判定と説明を担当し、通知の可否は確信度で自動的に足切りします。
保守サービスが毎日撮っている外観スクリーンショットをそのまま使います。対象は自社サイトのみです。
スクリーンショットを見て「正常／崩れの疑い／改ざんの疑い」を判定し、あわせてどれくらい自信があるか（確信度）を返します。
確信度が低い判定は担当者に上げません。誤報で「またか」と思われた時点で仕組みは使われなくなるためです。
「見出しの絵文字が空白になっている」のように、画面のどの部分がどうなっているかを言葉で説明します。
上がってきた疑いを人が確認して判断します。AIが自動で何かを直したり止めたりはしません。
結果
正常20枚・異常20枚の計40枚で測りました（異常サンプルは自作）。
| AIが「異常」と判定 | AIが「正常」と判定 | |
|---|---|---|
| 実際に異常 | 18 | 2 |
| 実際は正常 | 6 | 14 |
- 検知率 90%（異常20枚のうち18枚を発見）
- 誤検知率 30%（正常20枚のうち6枚を異常と判定）
崩れと改ざんの区別は、異常と判定できた18枚すべてで正解でした。1枚あたりの費用は1.03円、処理時間は約5.7秒です（40枚の平均）。
確信度で足切りすると、誤報が止まる
AIは判定ごとに「どれくらい自信があるか」を返します。調べると、誤報6件はすべて自信30〜40、正しい判定はすべて60以上でした。自信60以上のものだけを担当者に知らせる運用にすると——
| 全部知らせる | 自信60以上だけ知らせる | |
|---|---|---|
| 知らせる異常 | 18/20 | 17/20 |
| 知らせる誤報 | 6/20 | 0/20 |
毎日届く通知が「またか」と思われた時点で、仕組みは機能しなくなります。見つけられる異常を1枚減らす代わりに、人に上がる誤報を0にできました。
誤検知を調べたら、こちらの正解が間違っていた
誤検知とされた6枚は、すべて同じサイトの、監視システムが撮影した分でした（同じサイトの監視撮影分9枚のうち6枚。他サイトでは0件）。自分の手元で撮った同じサイトの画像では、誤検知は0件です。AIの説明はこうでした。
本来絵文字が入るはずの見出し「「 」とは?アボカド絵文字の意味と使い方」の括弧内が空白になっており、絵文字画像またはテキストが表示されていない可能性があります。
同じ箇所を並べて確認しました。
- 監視システムの撮影: 「 」とは？アボカド絵文字の意味と使い方 —— 絵文字が空白
- 手元での撮影: 「🥑」とは？アボカド絵文字の意味と使い方 —— 正しく表示
監視システムの撮影環境に絵文字フォントが入っておらず、実際に絵文字が欠落していました。このサイトは絵文字を解説するメディアなので、無視できない欠落です。つまり、誤検知とされた6件はAIの指摘が正しく、間違っていたのはこちらが用意した「正常」というラベルのほうでした。AIは「自信は無い」としながら、位置も内容も正確に指摘していました。監視の画面そのものが、実際のサイトを正しく写していなかった——これがこの検証で見つかった、いちばん大きな問題です。
見逃した2枚が教えてくれたこと
見逃した異常は2枚。どちらも「画像が表示されない」というものでした。画像が消えてもレイアウトは整うため、元の姿を知らなければ「そういうデザイン」に見えます。1枚だけを見る判定には限界があり、前回との比較が必要な異常があると分かりました。従来の「変化量を数値で見る」やり方と、今回の「見て意味を理解する」やり方は、得意な領域が違い、補い合う関係にあります。
学び
- 誤検知率を隠さない。30%という数字を出したから中身を調べることになり、監視環境の実際の問題が見つかりました。
- 確信度で足切りすると実用になる。見つけられる異常を少し減らす代わりに、人に上がる誤報を止められます。
- AIの「間違い」は、こちらの正解が間違っているのかもしれない。率だけを見ていたら、絵文字の欠落に気づけませんでした。
「見た目がおかしい」は数値で拾いきれません。画像を見るAIは、疑いを人に知らせる仕組みとして使えます。導入のご相談はお問い合わせから。
構成と計測条件
- 判定：Claude の画像認識で「正常／崩れの疑い／改ざんの疑い」を判定し、根拠（画面のどこか）を言葉で説明。判定ごとに確信度（0〜100）を返す。
- サンプル：正常20枚・異常20枚の計40枚。異常サンプルは自作（実際にCSSを壊して表示させ撮影）。対象は自社サイトのスクリーンショットのみ。
- 足切り：確信度のしきい値を設定可能に。人に上げるのは自信60以上の判定のみ。
スクリーンショットをAIが判定し、確信度で足切りしてから人に上げます。数値化できる指標（変化量）は従来どおりプログラム側で、AIは視覚判断と説明を担当します。
数値化できる指標（前回との変化量）は従来どおりプログラムで測り、AIは視覚判断＋説明に限定。コスト上限・使用量ログを設定。誤検知はゼロにできない前提で、率を明示したうえで確信度で足切りする設計。
混同行列（母数つき）
| AI「異常」 | AI「正常」 | |
|---|---|---|
| 実際に異常（20） | 18 | 2 |
| 実際は正常（20） | 6 | 14 |
見逃しの内訳
見逃した2枚はいずれも「画像が表示されない」異常。画像が消えてもレイアウトは崩れないため、1枚だけの判定では「そういうデザイン」と区別がつかない。前回世代との差分比較が必要な領域で、従来の変化量ベースの監視と補完関係にある。
ここは測っていない・書けないこと
- 「改ざんを防げます」「不正アクセスを防止」… 防御機能はありません。疑いの提示だけです。
- 「見逃しゼロ」「100%検知」… 20枚中2枚を見逃しています。
- 「実際の障害を◯%検知」… 異常サンプルは自作です。実運用の障害では測っていません。
- 「スマートフォン表示も診断」… PC版のみで検証しました。
- 顧客サイトでの実績 … ありません（自社2サイトのみ）。