Digital
多くの企業が、すでに生成AIのPoCを実施しています。その多くは見栄えのよいデモを生み、運営委員会でも前向きに評価されました。しかし、その先には進んでいません。半年たっても、そのツールを日常業務で使っている人はいません。
原因がモデルにあることはまれです。私たちの経験では、PoCが止まる理由は3つあります。実際の業務と結びついていないこと、専門家が確かめるような方法で検証されていないこと、そしてAIが間違えたときの設計がないことです。ここでは、試作から本番運用に向けて進めてきた生成AIの取り組みから得た5つの教訓を紹介します。
1. モデルではなく、ひとつの業務から始める
「生成AIをどう使えるか」は、最初に立てるべき問いではありません。問うべきは、時間がかかる、品質にばらつきがある、一部の人に依存している判断や作業はどれか、そしてどうなれば「うまくいった」と言えるのか、です。
バイオ医薬品企業に装置を販売するある事業部では、課題は明確でした。顧客が求める答えは外部専門家の講義録画とスライドの中にあり、その在りかを知っているのはごく一部の人だけでした。技術的な質問に確信を持って答えるという、このひとつの業務が、その後のすべてを決めました。
2. 実際の資料と専門家で評価する
都合のよい質問だけを選んだデモでは、ほとんど何も証明できません。ツールを業務で頼りにする前に、実際に寄せられる質問で試し、正解を知っている人が確認する必要があります。
このナレッジアシスタントでは、実際の質問から評価用の質問セットを作成しました。テストでは22問すべてに正しく回答し、すべての回答に出典を示し、資料に答えがない3問にはいずれも回答しませんでした。答えないことは、答えることと同じくらい重要です。推測で答えるツールは、二度と信頼されません。
複数の言語で業務を行うチームでは、最初からそれぞれの言語で評価してください。用語の問題は、デモではなくテストで表面化します。
3. 間違えることを前提に設計する
どの生成AIシステムも、ときには間違えます。問題は、そのときに何が起きるかです。
私たちの経験では、2つのパターンが有効でした。1つ目はすべてに出典を示すことです。どの回答も、元になった講義、タイムスタンプ、スライド、ページを示すため、利用者は数秒で確認できます。2つ目はAIが提案し、人が決めることです。私たちが構築した新規事業探索ツールでは、AIが調査の下書きや変更案を作成しますが、人が承認するまで何も反映されません。また、検証済みの事実ではない根拠を「検証済み」とすることはできません。システムは、誰が何を、なぜ決めたかを記録します。
4. 機密保持は後回しにせず、設計で決める
多くのPoCは、セキュリティ審査で止まります。初日から審査を見据えて設計するほうが確実です。ナレッジアシスタントでは、元の録画がお客様の管理下から出ることはありません。文字起こしと索引の作成はローカルで実行し、言語モデルに送るのは短いテキストの抜粋だけです。その送信も、学習への利用を除外する商用条件のもとで行います。モデルの呼び出しはすべて1つのモジュールに集約しているため、ポリシー上必要になれば別のエンドポイントに切り替えられます。Web検索を使う場合は、信頼できる情報源の許可リストに範囲を限定し、回答では社内情報と公開情報を明確に区別します。
こうした判断によって、IT部門や法務部門との協議ははるかに短くなります。
5. PoCだけでなく、運用の予算を確保する
PoCには予算があります。本番運用にも予算が必要です。新しい資料の索引登録、回答品質の監視、プロンプトやモデルの更新、利用者のサポートのための予算です。運用モデルがビジネスケースに含まれていなければ、PoCは予算が尽きた時点で終わります。
本番運用までの道筋は、あらかじめ明確に計画しておきます。私たちのプロジェクトでは、短いスプリントで価値を検証し、実際の利用者による試行を経て、組織が必要とするセキュリティと運用を備えた本番環境を構築する、という順序で進めます。
どこから始めるか
課題によるコストが明確な業務をひとつ選び、その背後にある実際の質問や文書を集め、回答をどう評価するかを専門家と合意してください。その基準で検証した動く試作からは、デモよりもはるかに多くのことがわかります。そして、意思決定者が承認の判断を下せる具体的な材料になります。
生成AIのPoCがデモの段階で止まっているなら、状況をお聞かせください。