AIは会議を聞き取れる。ただし名前は間違える

会議の録音から議事録の下書きを作る——それ自体は、いまなら動きます。問題は「どこを間違えるのか」です。自社の会議5本で実際に測りました。

課題

議事録は、作るのに時間がかかるわりに、後から読まれない資料になりがちです。一方で「何が決まったか」「誰がいつまでに何をするか」は、記録が無いと必ず食い違います。自動化を検討するときに問題になるのは精度です。「だいたい合っている」では議事録として配れません。どこがどれだけ間違うのかが分からないと、確認にかかる手間も見積もれません。

やったこと

録音を入力すると、次の4つを出す仕組みを作りました。①文字起こし ②要約 ③決定事項・やること(担当者・期限つき) ④AIが判断できなかった点。4つ目が重要です。AIに「分からなかったことを言わせる」ことで、人が見るべき場所が絞れます。

出てくるのは下書きです。配布するのは人が確認して確定したあとで、確定するまで画面には「未確定(配布しないこと)」と表示されます。自動で配る機能はありません。

処理の流れと役割 ─ 会議の文字起こし・議事録の下書き

音声は手元のマシンで文字に起こし、外部(AI)に送るのは文字だけ。AIは要約と抽出を担当し、配布できる議事録にするかどうかは人が決めます。

担当者(人)AI(Claude)自動処理(手元のマシン)
1
担当者(人)
会議の録音を渡す

対象は自社の会議のみ・参加者の許諾前提。お客様との会議の音声は使いません。

2
自動処理(手元のマシン)
音声を文字に起こす

文字起こしは手元のマシンで実行します。音声そのものはクラウドに出しません。音声は処理後に削除する設定を既定にしています。

ポイント:外に出るのは文字だけ。音声は手元から出ません。
3
AI(Claude)
要約・抽出・不明点を下書きする

文字起こしのテキストを読んで、要約/決定事項・やること/「AIが判断できなかった点」を作ります。AIは音声を聞いていません。

4
担当者(人)
確認して確定する

固有名詞と、AIが挙げた不明点を人が確認します。確定するまで配布しません。

議事録の下書き画面(要約・決定事項・やること・AIが判断できなかった点)
議事録の下書き。要約・決定事項・やること(担当者と期限)・AIが判断できなかった点が出ます。掲載用に作った架空の会議の音声を、実際に同じ仕組みで処理した画面です(社名・人名とも架空)。

音声を外に出さない

会議の音声は個人情報です。この仕組みでは、工程を分けています。

工程処理する場所外に出るもの
音声 → 文字起こし自社の手元のマシンなし
文字起こし → 要約・抽出AI(クラウド)文字だけ
音声ファイルそのものはクラウドに渡りません。検証に使ったのは自社の会議だけで、お客様との会議の音声は使っていません。

結果(1)文字起こしはどこを間違えたか

自社の社内会議5本 / 音声51.8分 / 19,406文字。文字起こしは手元のマシンで行うため、この工程の費用は0円、処理時間は実時間の約10倍速(51.8分の録音が約5.3分)でした。

母数誤変換
専門用語21語2語(9.5%)
人名6人6人(100%)
自社の会議5本の実測。母数の語は規則で機械的に抽出しています(人が選んでいません)。

人名は6人全員が、正しい表記では出ませんでした。5人は音は合っていて表記が違うもの(ひらがなの名前が漢字やカタカナになる)、1人は音そのものが別の名前になっていました。専門用語の間違いは2語です。1つは「ト」が抜けたもの、もう1つは英語由来の言葉の音を取り違えたものでした。

固有名詞・専門用語の誤変換率(人名は伏せ字)
固有名詞・専門用語の誤変換率。自社の会議5本の実測です。人名は伏せ字、専門用語は仮の語に置き換えています(誤り方・回数・率は実測)。

母数の決め方。「どの語を数えるか」を人が選ぶと、都合のいい母数が作れてしまいます。そこで、カタカナ4文字以上などの決まった規則だけで機械的に抽出し、判定より先に母数を固定しました。規則はプログラムに書いてあり、後から動かせません。

結果(2)AIは自分が読んでいる文字の間違いに気づいた

出力の「AIが判断できなかった点」に、人名の誤変換の可能性が並びました。人が「間違い」と確定した6人を、AIは6人とも自分から挙げていました。AIは音声を聞いていません。文字起こしのテキストだけを読んで、日本語として不自然な箇所に気づいています。ただし、これは検品の代わりにはなりません。

AIが「誤りの可能性」と挙げたか
実際に間違っていた人名 6人6人とも挙げた
実際に間違っていた専門用語 2語0語(気づかなかった)
実際は正しかった専門用語2語を「誤りの可能性」として挙げた
人が間違いと確定した6人についての結果。専門用語は0/2でした。

人名は日本語として不自然になるので気づける。専門用語は不自然にならないので気づけない。そのうえ、見慣れない正しい用語を疑ってしまいます。AIの自己申告は「確認する場所のヒント」であって、確認そのものではありません。

間違えた言葉を、次から直す

人が「これは間違い」と判定した言葉は、そのまま用語辞書になります。次の会議からは、その言葉が自動で直ります。ただし日本語には語の切れ目がないため、単純に置き換えると別の言葉を壊します(「尚 → なお」で「尚更」が「なお更」になる、など)。前後の文字が続いている場合は置き換えない、という判定を入れてあります。辞書の効果そのものは、まだ数字にしていません。判定した会議と同じ会議で試しても「直って当たり前」だからです。

人が判定した言葉が用語辞書になり、次から自動で直る画面
人が判定した言葉が用語辞書になり、次から自動で直ります(画面の語は仮のものに置き換えています)。

学び

  • 固有名詞は音声認識のいちばん弱いところで、なかでも人名が弱い。議事録は「誰が何を言ったか」を扱うので、ここは避けて通れません。
  • 「どこを間違えるか」が分かれば、確認の手間が読める。全体をゼロから読み直す必要はなく、固有名詞と、AIが自分で挙げた不明点を見ればよい、と分かりました。
  • AIの自己申告は偏る。人名は全部挙げたのに、専門用語は1つも挙げず、正しい用語を疑いました。自己申告を検品の代わりにはできません。

会議の記録づくりは、下書きまでを任せて、確認を人が持つのが現実的です。どこをどれだけ間違えるかを先に測れば、確認にかかる手間も見積もれます。導入のご相談はお問い合わせから。