AIエージェントを安全に業務へ組み込むには――ガバナンスを考える3つの問い

AIエージェントを安全に業務へ組み込むには――ガバナンスを考える3つの問い

生成AIの活用が、文章作成や検索から「業務を実行する」段階へ進み始めています。

AIエージェントは、社内データを調べるだけでなく、顧客情報を更新したり、申請を処理したり、外部システムを操作したりできます。人が一つひとつ手順を指示しなくても、目的に応じて必要な処理を進められることが大きな特徴です。

その一方で、AIエージェントが実際の業務を担うようになるほど、「何ができるか」だけではなく、「どこまでさせてよいか」が重要になります。

たとえば、社内情報を検索するAIであれば、誤った回答が出た際に人が確認して修正できます。しかし、顧客情報の更新、外部へのメール送信、申請の承認、システムへのデータ登録までAIが行う場合、誤った判断がそのまま業務上の処理につながる可能性があります。

さらに、AIエージェントの活用が部門ごとに広がると、「どのAIが、どのデータを使い、どの処理を実行しているのか」を把握することも難しくなります。

営業部門では顧客情報を扱うAI、経理部門では請求情報を確認するAI、人事部門では社内情報を検索するAIが動いている。それぞれが個別に作られ、異なる方法で権限を設定していれば、IT部門が全体を管理する負担も大きくなります。

だからこそ、AIエージェントのガバナンスは、利用を細かく制限するルールを増やすことから始めるのではなく、まず「AIが業務の中で何をしているのか」を整理することが重要です。

その際、最初に確認したいのが次の3つの問いです。

誰が動いているのか。
何にアクセスできるのか。
実行中も制御できるのか。

この3つを明確にすることで、AIエージェントをどこまで業務に任せられるのか、どこに人の確認が必要なのかを具体的に整理しやすくなります。

1．誰が動いているのか

これまで企業システムの権限管理では、基本的に「人」が中心でした。

営業担当者なら顧客情報を閲覧できる。経理担当者なら請求情報を更新できる。管理者ならより広い範囲を操作できる。

AIエージェントが加わると、ここに新しい主体が生まれます。

一つは、利用者本人の権限を使って動くAIエージェントです。たとえば営業担当者がAIに「この顧客について調べて」と依頼し、その担当者が閲覧できる情報の範囲でAIが処理を行うケースです。

もう一つは、人とは独立した専用の権限を持ち、自動的に動くAIエージェントです。夜間に問い合わせを整理したり、一定条件を満たしたデータを更新したりするような使い方が考えられます。

この違いは重要です。

人の権限を利用するAIであれば、「誰の代わりに処理したのか」を追跡できる必要があります。一方、独立して動くAIには、最初から必要最小限の権限だけを与える必要があります。

人でもAIでも、必要以上に広い権限を持たせないという原則は変わりません。

しかし、AIは人よりもはるかに速い速度で処理を実行できます。人なら一件ずつ確認する操作でも、AIは短時間に大量に実行できます。

そのため、「AIだから特別な権限を与える」のではなく、その業務に本当に必要な権限だけを設定することが重要になります。

2．AIエージェントは何にアクセスできるのか

AIエージェントのアクセスを考える際には、「どのデータを見ることができるか」だけでは十分ではありません。

そのデータを使って、何ができるのかまで考える必要があります。

顧客情報を閲覧できるだけなのか。更新できるのか。返金処理まで実行できるのか。顧客へ直接メールを送れるのか。

AIが業務を実行するようになると、データへのアクセス権限が、そのまま「行動できる範囲」につながります。

そこで、アクセスを3つの層に分けて考えると整理しやすくなります。

まずは、データやAIを動かす環境です。どのシステムやネットワーク上で動作し、どの組織やチームからアクセスできるのかを決めます。

次に、権限を定義する共通のプラットフォームです。誰がどのデータ、アプリ、ワークフロー、AIエージェントを利用できるかを管理します。

そして最後が、実際のアプリやAIエージェントが動く実行時です。利用者ごとに表示するデータを変えたり、特定の項目を非表示にしたり、地域や部門によって参照できる範囲を制限したりします。

重要なのは、アプリやAIエージェントを作るたびに、権限設定を一から考え直さないことです。

AIを使った内製化が広がれば、業務アプリやAIエージェントの数も増えていきます。それぞれが異なる方法でデータや権限を管理するようになると、個々の仕組みは問題なく動いていても、組織全体として「誰が何にアクセスできるのか」が見えにくくなります。

だからこそ、AIの利用範囲が広がるほど、個別のアプリではなく、共通の基盤でアクセスのルールを管理することが重要になります。

3．実行中のAIを制御できるのか

AIエージェントに適切な権限を与えても、それだけで安全な運用が完成するわけではありません。

実際に動いているAIを確認し、必要であれば止めたり、問題の原因を追跡したりできることも必要です。

特に重要なのは、AI自身に「自分が何をしてよいか」を判断させないことです。

生成AIは、与えられた情報をもとに確率的に回答や判断を行います。そのため、「この条件では顧客データを更新してはいけない」と指示文に書くだけでは、企業システムのアクセス制御としては十分ではありません。

AIがどのように判断しても、実行してはいけない操作はシステム側で止める。

こうしたルールを、AIの判断とは独立して設定する必要があります。

また、AIが何をしたのかを後から確認できる状態も欠かせません。

どのAIエージェントが処理したのか。どのデータにアクセスしたのか。どの操作を実行したのか。必要な場面で人による確認や承認が行われたのか。

こうした記録が残っていれば、問題が発生した際にも、どこで何が起きたのかを確認できます。

ガバナンスの目的は、AIの処理をすべて事前に止めることではありません。

必要な範囲でAIに業務を任せながら、企業側がその動きを把握し、必要なときに介入できる状態を保つことです。

ここまで見てきた3つの問いは、それぞれ独立しているわけではありません。

誰の権限で動くのかを決め、その権限でどこまでアクセス・操作できるのかを定め、実際の動きを確認できるようにする。この3つがそろって初めて、AIエージェントを継続的に業務へ組み込みやすくなります。

AIエージェントを本番業務へ取り入れる際には、AIそのものの性能だけでなく、誰の権限で動くのか、どのデータや処理を利用できるのか、実行後の状況をどのように確認するのかまで含めて設計する必要があります。

Retoolでは、業務アプリやワークフロー、AIエージェントを既存システムとつなぎながら、こうした運用を一つの基盤で設計できます。

自社のシステム構成やセキュリティ要件に合わせた活用方法を整理したい方は、お問い合わせください。

お問い合わせ

AIの利用コストも「制御」の一部になる

AIエージェントでは、権限やデータアクセスに加えて、もう一つ管理しておきたいものがあります。

利用コストです。

AIエージェントは、人が毎回操作しなくても繰り返し処理を実行できます。そのため、設計によっては想定以上の回数でAIモデルを利用し、費用が膨らむ可能性があります。

重要なのは、単純に利用回数を制限することではなく、業務の重要度に応じてAIの使い方を分けることです。

簡単な分類や情報整理であれば、必ずしも最も高性能なAIモデルを使う必要はありません。一方で、複数の情報を踏まえた重要な判断を支援する業務では、より高性能なモデルを選ぶ価値があります。

AIのコストを単なるIT費用として見るのではなく、「どの業務に、どの程度のAIを使うのが適切か」という運用設計の一部として考えることが重要です。

AIをAIで監視する方法も出てきている

今後のAIガバナンスでは、AIエージェントを別のAIが確認する方法も考えられています。

たとえば、一つのAIエージェントが顧客対応を進め、その処理内容を別の「監視役」のAIが確認する仕組みです。

個人情報が不適切に含まれていないか。設定されたルールから外れた処理をしていないか。通常とは異なる行動をしていないか。

こうしたチェックをAIに支援させることができます。

もちろん、監視役のAIだけに安全性を任せるわけではありません。

アクセス権限などの明確なルールはシステム側で確実に適用し、その上でAIを使って異常やリスクの兆候を見つける、という組み合わせです。

AIによって新しいリスクが生まれる一方で、AI自体を管理や監視に活用する余地も広がっています。

日本企業では「現場にAIを使わせるか」だけで考えない

日本企業でAI活用を進める際、「現場にどこまでAIを使わせてよいか」という議論になることがあります。

しかし、禁止するか自由に使わせるかという二択では、継続的なAI活用は難しくなります。

現場には、どの業務を改善したいのか、どの判断に時間がかかっているのかという知識があります。

一方、IT部門は、どのシステムを正式なデータソースとするのか、誰がどこまでアクセスできるのか、どの操作を自動化してよいのかを設計する役割を担います。

AI時代の内製化では、この役割を組み合わせることが重要です。

たとえば、営業部門が顧客情報を調べて商談準備を行うAIエージェントを作る場合、営業部門は必要な業務フローや判断基準を整理します。

IT部門は、AIが参照できる顧客情報、更新可能な項目、自動で実行してよい処理を設定します。

現場は業務を設計し、IT部門は安全に動かせる範囲を設計する。

この分担があれば、AI活用のスピードを保ちながら、企業として必要な管理も行いやすくなります。

Retoolで「作る」と「管理する」を同じ基盤へ

Retoolでは、業務アプリ、ワークフロー、AIエージェントを、既存のデータベース、SaaS、API、社内システムと接続して構築できます。

AIエージェントだけを独立して動かすのではなく、業務画面やワークフロー、人による確認と組み合わせられる点が特徴です。

たとえば、AIエージェントが問い合わせ内容を確認し、CRMから顧客情報を取得して回答案を作る。その内容を担当者が業務画面上で確認し、承認後に返信やステータス更新を行う、といった流れを一つの業務として設計できます。

ここで重要になるのが、AIが利用するデータや処理を共通の基盤で管理することです。

誰の権限で動いているのか。どのデータにアクセスできるのか。どの処理まで実行できるのか。

こうしたルールをアプリやAIエージェントごとに個別管理するのではなく、共通の運用基盤で設定することで、内製化の対象が増えても管理しやすくなります。

AIを作るための機能と、企業として運用するための仕組みを分断しないことが、本番業務へ展開するうえでは重要です。

まず一つの業務で3つの問いを確認する

AIガバナンスを整えるために、最初から全社共通の巨大な仕組みを完成させる必要はありません。

まずは、実際にAIを使いたい一つの業務を選びます。

そこで、

誰が動くのか。
人の権限を使うのか、AI専用の権限で動くのか。

何にアクセスできるのか。
どのデータを見られ、どの操作まで実行できるのか。

実行中も制御できるのか。
ルールをシステム側で適用し、操作履歴やコストを確認できるのか。

この3つを答えられる状態にします。

答えが曖昧な部分があれば、そこが整備すべきポイントです。

AIガバナンスを大きな規程づくりから始めるのではなく、実際の業務を一つ取り上げ、その中で必要な権限と管理方法を整理する。

その方が、現場にとってもIT部門にとっても具体的に進めやすくなります。

まとめ：AIガバナンスは、AIを止めるためのものではない

AIエージェントが業務へ入り始めると、企業が管理すべき対象は「人」だけではなくなります。

人の代わりに動くAIもあれば、自律的に処理を行うAIもあります。そしてAIは、データを閲覧するだけでなく、更新や承認、外部への送信といった行動まで行えるようになります。

だからこそ、

誰が動いているのか。
何にアクセスできるのか。
実行中も制御できるのか。

この3つを明確にすることが重要です。

ガバナンスは、AI活用を遅らせるための仕組みではありません。

現場が新しい業務改善を試せる範囲を明確にし、IT部門がデータや権限を管理し、問題が起きた場合にも確認できる状態を作る。

その土台があることで、企業はAIエージェントを一部の実験から、実際の業務へ広げやすくなります。

AIエージェントを本番業務で活用する際には、既存システムへの接続、利用権限、人による確認、実行時の管理まで含めて設計することが重要です。

自社のシステム構成やセキュリティ要件を踏まえて、Retoolをどのように活用できるか整理したい方は、お問い合わせください。

お問い合わせ