汎用の対話AIと、業務データの検索を分ける

汎用の対話AIは、会話の文脈とモデルが持つ一般的な知識で文を作ります。業務システムが答えるときは、その前に、見てよいデータと、計算で決まる値を分けます。この記事はその境界だけを書きます。どちらを契約すべきか、という製品比較ではありません。

参照するものが違う

汎用の対話では、質問文以外の社内資料を毎回検索するとは限りません。業務向けの構成では、回答の前に検索を置き、当たった記録だけを文の材料にします。

置き場	汎用の対話AI	業務データの検索を挟むシステム
材料	会話と、モデル側の一般知識	権限で絞った文書・記録
当たらないとき	一般知識で文を続けやすい	分からない、と止める
数値や状態	文章の中で推定しやすい	データベースの条件と計算
誰が見るか	対話の利用者	データの公開範囲に従う利用者

権限は検索の前にかける

部署や顧客ごとに見えてよい文書が違う場合、言語モデルに渡す前に範囲を切ります。渡したあとで「秘密は答えないで」と指示しても、材料に入った記述は文に混ざり得ます。索引を分けるか、検索条件に利用者の権限を含めます。

計算はモデルの外

合計、在庫、申請の状態、期限の判定は、ルールとデータベースで確定させます。言語モデルは、その結果と、検索で当たった説明を、読む文にまとめる役に置きます。この分担をしないと、表を見れば決まる値を、文章の言い換えでずらします。

業務ルールと画面の流れ自体は、業務システム開発の範囲です。文書を索引して根拠付きで答える部分は、生成AI・RAGに分けています。

運用で先に見るもの

導入の前に用意するのは、当たるべき質問と、答えてはいけない質問です。正確さの率は、そのセットとデータの整備で変わるため、モデルを接続しただけでは測れません。応答時間や同時利用も、配置するサーバと索引の大きさを決めてから確認します。