私たちは日々の仕事の中で、多くの選択肢の中から何かを選ぶということをしています。最近、この意思決定のプロセスにおいて、AIのサポートが増えています。最終的な決定を下すことは人間の仕事ですが、判断のための材料を集め、整理し、使いやすい形でAIは私たちに提示してくれます。

販売データから現在のトレンドや将来の需要を見つけ出し、今後の生産管理について提案したり、採用において求人情報と候補者のマッチングを行ったり、キャリア開発プログラムにおいて、社員一人一人に必要な研修や学習を提案したりと、AIのサポートは多岐にわたります。

正確で役に立つ意思決定のためには、複数の種類の膨大なデータを収集し、処理しなくてはいけないことが多いので、人間だけで行うのは大変です。人間では扱いきれない量のデータを高速で処理することができるAIのサポートは、今後さらに活躍の場を広げていくと考えられます。

しかし、AIの提案は100％正しいわけではありません。当然ですが、AIが提案の材料として使った元のデータが偏っていたり、抜け落ちがあったりすれば、AIの提案も偏ったものになります。とても有能に見えるAIにも多くの限界があるのです。

しかし私たちには、そんな多くの限界を抱えるAIを信じすぎてしまう傾向である「自動化バイアス」があることはご存じでしょうか？

なぜ自動化バイアスが起こるのか

自動化バイアスとは、人間が自動化システムを過度に信頼し、他の情報源からの矛盾する情報を無視したり、追加情報を十分に検索しなかったりすることを指します[1]。自動化バイアスを強くもっているほど、検討が必要な多くの情報を顧みることなく、AIが出してきた正しそうな選択肢を安易に選んでしまうのです。

なぜ私たちは、自分で情報を精査して判断をするのではなく、AIの提案を信じてしまうのでしょうか？

何かを判断するために情報を集め、それを整理して結論を出すということはとても労力がかかります。意思決定を支援するAIがこの労力を肩代わりしてくれるのであれば大助かりです。AIを信じれば、人間の努力は最小限で済み、他のことに注意を割くことができます。自動化バイアスは省エネのための現象なのです。

自動化バイアスの問題で発生した事件もある

過去に、自動化バイアスが原因の一部であると考えられる事件も発生しています。イギリス郵便局では、会計システムが報告した会計の不一致の原因をシステムの問題ではなく、郵便局員の不正行為にあるとみなし、何百人もの人が無実の罪を着せられるという事件が発生しました。

アメリカでは、自動運転車の試験走行中にブレーキが作動しないという事態が発生したときに、緊急事態に備えて乗っていたドライバーが適切な対処をしなかったことが死亡事故につながってしまったということも起こっています。

自分はAIを信用していないから、自動化バイアスは起こらないと思う

「AIはそんなに信じていない。どちらかというと、本当に大丈夫かと疑っている。」という人もいるでしょう。

実際、私たちには、アルゴリズムが人間よりも優れた結果を出せる場合でも、あえてアルゴリズムの使用を避け、人間の判断を選ぶ傾向である「アルゴリズム嫌悪」があります[2]。

AIの判断を疑い、人間に信頼を置く人は自動化バイアスに陥る心配はないのでしょうか。実は今はAIを信用していない人でも、今後AIを過度に信じてしまう可能性を示している研究があります。

米国やロシア、中国、日本などの複数の国の一般市民を対象とした国際安全保障の分野の研究で、AIに関する経験が最も低いレベルの人はアルゴリズム嫌悪の傾向を示し、経験と知識のレベルが少し高まると、自動化バイアスが発生することを示しています^[3]。

この研究では、示された飛行機が自国のものなのか、敵国のものなのかを、決められた特徴に基づいて識別し、その後にAIアルゴリズムまたは人間の分析者の判断を受け、自分の最初の答えを変更するか、そのままにするかを決定するというタスクを行いました。

その結果、AIに関する知識があったり、AIのニュースなどを見ていて親近感をもっていたり、プログラミング経験やAI技術が用いられたアプリケーションを利用していたりといった、AI経験をある程度もっている人の方が、経験が少ない人よりも、AIの判断を聞いて、自分の最初の回答を変更することが示されました。

今はAIのアドバイスを疑って物事を判断している人でも、今後AIに親しみ、経験を積むことによって、AIを過度に信じて失敗をする可能性があるのです。

何が自動化バイアスを強めるのか

自動化バイアスは誰にでも潜む危険性ですが、何が自動化バイアスを強めたり、抑制してくれたりするのでしょうか。これまでの研究で示されてきた自動化バイアス促進と抑制の要因を見てみましょう。

自動化バイアスの研究は、医療や航空の分野で多く進められています。どちらも業務の正確さの向上や人の負担軽減のためにAIが導入されており、その判断が人命にかかわるような分野です。

1. AI経験

自動化バイアスの発生は、AI経験の程度によって異なることが示されています。

先ほど、AIに関する知識の量や親近感、AI技術の経験などを総合したAI経験が少ない人よりも、AI経験がある程度ある人の方が自動化バイアスの傾向があること示した研究を紹介しましたが、実はこの研究結果には続きがあります。

AI経験の量がさらに増えて、AI経験が豊富な人は、アルゴリズムに対する嫌悪や自動化バイアスが減少し、安定した態度に落ち着くことが示されました。AIをよく知っている人は、過信も不信もせず、バランスの取れた見方ができるようになるのです。

2. 業務経験と知識レベル

AI経験だけでなく、これまでにどれだけ業務の経験を積んできたかということや、業務についての専門知識を持っているかということも、自動化バイアスに影響を与えることが示されています。

医師が前十字靭帯（膝関節内にある主要な靭帯の1つ）断裂のMRI画像の診断を行う際のAI支援の有効性を調べた研究では、医師の専門とそれに付随する診断経験が自動化バイアスに影響することが示されました[4]

この研究では、医師が独力で診断をした後に、診断能力が高くはあるものの、間違った診断を下すこともあるAIの支援を受けて再度診断を行うと、どれくらい正しい診断から間違った診断に変更してしまうという事態が発生するかを検討しています。

前十字靭帯断裂の診断に5～10年の経験をもつスポーツ医学専門の医師と、前十字靭帯断裂の診断経験はまだ少ないスポーツ医学研修生と、一般整形外科での経験は豊富でもスポーツ医学トレーニングは受けていないスポーツ医学以外の臨床医という、特定の症例に対する経験と知識のレベルが異なる医師で検討をしています。

その結果、十分な経験を積んでいるスポーツ医学専門の医師と比較すると、AIに依存し診断ミスを犯す可能性が、スポーツ医学研修生は1.92倍、スポーツ医学以外の臨床医では4.73倍高いことが明らかにされています。

AIの支援を受けながらマンモグラフィの診断をする場合の診断経験の影響を検討した研究でも、経験を積んでいることが自動化バイアスを抑制することが示されました[5]。

この研究ではマンモグラフィの診断を10年近く行っている経験豊富な医師と、マンモグラフィの診断経験が中程度（約1年）の医師、マンモグラフィの診断経験が全くないか2カ月未満である医師で比較しています。

AIによって病気である可能性が実際よりも高く示された場合に、経験が浅い医師（0～2カ月未満）は、経験豊富な医師と中程度の経験を持つ医師と比べると、AIによる誤った提案に従う可能性が高いことが示されました。経験の浅い医師は経験豊富な医師よりも、病気ではない人を誤って病気であると診断する可能性が高いのです。

3. タスクの複雑さや難易度

AIの支援を受けて行う意思決定の複雑さや難易度の違いが自動化バイアスの発生に影響を及ぼすことも示されています。

40本の研究論文をレビューした研究では、シングルタスクの場合には、タスクの難易度が上がると自動化バイアスが生じやすくなることが示され、マルチタスクの場合にはひとつひとつのタスクの難易度が低くても自動化バイアスが生じることが示されています[6]。

また、イギリスの開業医を対象に行われた、薬の処方においてAIの支援の影響を調べた研究では、処方の難易度が高い場合に、医師はAIのアドバイスを受けることによって、自分の最初の処方を変更する傾向があることが示唆されています[7]。

大変なタスクであるほどAIにお任せしてしまう傾向があることは、自動化バイアスが生じる原因が、情報を収集したり精査したりする人間の労力の削減することにあるという考えからも納得がいきます。

自動化バイアスへの対策

自動化バイアスによる悪影響を抑えるためには、何に気をつければよいのでしょうか？

自動化バイアスに影響を与える要因として、「AI経験」「業務経験と知識レベル」「タスクの複雑さや難易度」を挙げましたが、これらは工夫が難しいものです。AI経験や業務の経験はいきなり増えるものではありませんし、タスクの難易度を下げられない場合も多いでしょう。

タスクに従事する人数を増やしてみるのは効果があるのでしょうか？AIの提案を受け取り判断する人が増えれば、AIの提案が不適切だったり、重要なことを見逃したりしていることに気が付く可能性も2倍になりそうな気がします。

しかし、アメリカの航空会社がフライトシミュレーターを用いて、パイロットが1人の場合よりも2人の場合に、自動化バイアスが抑制されるかどうかを検証した研究では、自動化バイアスによるエラーを大きく減少させるためには2人目のパイロットの存在だけでは不十分だという結果が出されています[8]。

AIが指摘しなかったエラーに気が付くことも、AIの間違ったエラーメッセージを見抜くことも、1人と2人で差が見られなかったのです。

他にも、支援を受ける人に、AIの提案だけでなく他の指標を確認するように訓練することや、AIの判断の精度や、自動化バイアスとそれを回避するための情報を提供することなどの方法が検討されていますが[9][10]、自動化バイアスの抑制に対して一貫した成果は上げられていません。自動化バイアス対策は簡単なことではないようです。

しかし、人が意思決定を行う際に情報処理の労力を削減するために自動化バイアスが起こっているならば、この負荷をできるだけ抑えることが自動化バイアスの抑制につながると考えることができます。タスク自体を簡単にすることはできませんから、取り掛かっているタスク以外のものによる負荷を減らす措置をとるというアイデアです[11]。

具体的には、タスクの中断や中断後に元のタスクに戻るということは負荷を高めるので、中断禁止ゾーンを決めて、そこで作業をしている人には質問や雑談をしないというルールを決めるのも一つの方法です。

他にも、システムのユーザーインターフェースの簡略化があります。重要度の低い情報や警告の表示は抑え、重要度の高い情報を目立つ形で提示したり、ユーザーに一度に大量の情報処理をさせないために、情報を分類し段階的に表示したりすることが、ユーザーの負荷を軽減してくれます。

AIに意思決定を支援してもらうことにリスクがあるとしても、AIが与えてくれる恩恵を考えれば、これからも私たちの生活や仕事の中にAIはどんどん進出し、当たり前のものになっていくことは必然だといえます。

人がAIを使うときにどのような現象が発生するのか、そしてそれはどのようなエラーにどのような条件のときにつながるのを明らかにし、しっかりと対処していくことが、今後の私たちの課題です。

自動化バイアスをどうするか考えることは、仕事のやり方が人にとって負荷が高いものになっていることに気づくきっかけにもなります。もともと人間はAIとは異なり、大量の情報を短時間で処理したり、複数の作業を同時に十分な注意を払って行ったりすることは得意ではありません。自動化バイアスの発生と人間の負荷の関係に気を配ることによって、システムや仕事の進め方に改善の余地があることに気が付くことができるかもしれません。

AIだけ、または人間だけではなく、AIと人間の組み合わせで意思決定を行う機会が増えていくことが予想される今、人間の行っている仕事の負荷を見直し、自動化バイアスを抑えることができる働き方を考える必要があるのではないでしょうか。

脚注

[1] Alon-Barkat, S., & Busuioc, M. (2023). Human–AI interactions in public sector decision making: “automation bias” and “selective adherence” to algorithmic advice. Journal of Public Administration Research and Theory, 33(1), 153-169.

[2] アルゴリズム嫌悪については、当社コラムで詳しく解説しています。「アルゴリズム嫌悪の心理学：テクノロジーとの葛藤を紐解く」 https://www.business-research-lab.com/241008-2/

[3] Horowitz, M. C., & Kahn, L. (2024). Bending the Automation Bias Curve: A Study of Human and AI-Based Decision Making in National Security Contexts. International Studies Quarterly, 68(2), sqae020.

[4] Wang, D. Y., Ding, J., Sun, A. L., Liu, S. G., Jiang, D., Li, N., & Yu, J. K. (2023). Artificial intelligence suppression as a strategy to mitigate artificial intelligence automation bias. Journal of the American Medical Informatics Association, 30(10), 1684-1692.

[5] Dratsch, T., Chen, X., Rezazade Mehrizi, M., Kloeckner, R., Mähringer-Kunz, A., Püsken, M., … & Pinto dos Santos, D. (2023). Automation bias in mammography: the impact of artificial intelligence BI-RADS suggestions on reader performance. Radiology, 307(4), e222176.

[6] Lyell, D., & Coiera, E. (2017). Automation bias and verification complexity: a systematic review. Journal of the American Medical Informatics Association, 24(2), 423-431.

[7] Goddard, K., Roudsari, A., & Wyatt, J. C. (2014). Automation bias: empirical results assessing influencing factors. International journal of medical informatics, 83(5), 368-375.

[8] Mosier, K. L., Skitka, L. J., Dunbar, M., & McDonnell, L. (2001). Aircrews and automation bias: the advantages of teamwork? The International Journal of Aviation Psychology, 11(1), 1-14.

[9] 脚注3 (Horowitz & Kahn, 2024)と同じ

[10] 脚注7 (Goddard et al., 2014)と同じ

[11] 脚注5 (Dratsch et al., 2023)と同じ

執筆者

西本 和月　株式会社ビジネスリサーチラボ　アソシエイトフェロー
早稲田大学第一文学部卒業、日本大学大学院文学研究科博士前期課程修了、日本大学大学院文学研究科博士後期課程修了。修士（心理学）、博士（心理学）。暗い場所や狭い空間などのネガティブに評価されがちな環境の価値を探ることに関心があり、環境の性質と、利用者が感じるプライバシーと環境刺激の調整のしやすさとの関係を検討している。環境評価における個人差の影響に関する研究も行っている。