2024年8月6日
組織サーベイで本音の回答を得るには：バイアスを抑制する技術（セミナーレポート）
ビジネスリサーチラボは、2024年6月にセミナー「組織サーベイで本音の回答を得るには：バイアスを抑制する技術」を開催しました。
組織の課題を発見し、改善につなげるために実施される組織サーベイ。しかし、従業員の回答には様々なバイアスが潜んでいます。
そのままでは組織の実態を正確に把握できない可能性があります。本セミナーでは、回答バイアスの存在を理解し、抑制するための方策を解説します。
バイアス抑制のための設計や分析について、具体例を交えながら説明します。組織サーベイを通じて課題解決を目指す人事担当者の方、組織サーベイの設計・分析を支援するHR事業者の方におすすめの内容です。
※本レポートはセミナーの内容を基に編集・再構成したものです。
回答バイアスとは何か
回答バイアスとは、回答者が意図的か否かにかかわらず、実際の状況や意見と異なる回答をすることです。回答者の実態とは異なる回答をしてしまうことで、現実を反映していない回答が生まれます。
回答バイアスが発生すると、組織サーベイのデータの信憑性が損なわれます。収集されたデータが実際の状況を反映していないため、どんなに詳細に分析しても、その結果を活用することができません。
回答バイアスは、系統誤差をもたらす回答エラーです。系統誤差とは、データに一貫した偏りが生じることを意味します。これは、回答者の性格や個人的な特性、測定方法、質問の設計など、さまざまな要因によって引き起こされます。
系統誤差は、回答者の数を増やしても解消できない点が厄介です。大量のデータを集めても、問題は解決しません。そのため、企業の規模に関わらず、回答バイアスには適切に対処する必要があります。
信憑性の低いデータに基づいて意思決定を行うと、適切な判断ができなくなる可能性があります。問題のあるデータからは問題のある意思決定しか生まれないのです。したがって、組織サーベイを設計、実施、分析する際には、回答バイアスをいかに抑えるかが重要になります。
回答バイアスの種類・原因・影響
続いて、組織サーベイで発生しうる主要な回答バイアスを7つ挙げ、それぞれの特徴と影響について解説します。
1. 黙従傾向
黙従傾向とは、質問内容にかかわらず肯定的な回答を選ぶ傾向です。例えば、実際には満足していなくても「満足している」と答えてしまうケースがあります。
原因としては、他者からの承認欲求や、調和を重視する企業文化などが考えられます。黙従傾向が発生すると、実態よりもポジティブな結果となり、データの平均値が高くなり、組織の状況を過大評価する可能性があります。
2. 否定傾向
否定傾向は、質問内容にかかわらず否定的な回答を選ぶ傾向です。例えば、様々な質問に対して「当てはまらない」という選択肢を選び続ける場合です。
調査への不信感や反対意見を表明したい心理などが原因になり得ます。否定傾向が発生すると、実際よりもデータの平均値が低くなり、組織の状況を過小評価することになりかねません。
3. 中間傾向
中間傾向は、質問内容にかかわらず中間の選択肢を選ぶ傾向です。様々な質問に対して「どちらでもない」を選び続けるようなケースが考えられます。
質問内容の曖昧さ、明確な意見の欠如、対立を避けたい心理などが原因として挙げられます。中間傾向のもとでは、データのばらつきが小さくなり、意見の多様性が失われます。また、変数間の関連を分析する際にも支障をきたします。
4. 極端傾向
極端傾向は、極端な選択肢を選びがちな傾向です。5段階評価で1や5といった極端な選択肢を選ぶケースです。
問題に対する強い意見や感情がある場合、極端傾向が作用します。データの変動が増加し、全体の傾向把握が難しくなったり、調査結果が極端な意見に偏る可能性があります。
5. 穏健傾向
穏健傾向は、中庸的な選択をする傾向です。例えば、「やや同意する」「やや当てはまる」といった選択肢に回答が集中します。
はっきりとした意見表明が許されにくい環境の場合、穏健傾向が生まれ、データが中心に集まりやすくなり、強い意見が見逃されるかもしれません。その結果、本来の意見や感情を正確に反映できなくなります。
6. 反応範囲
反応範囲は、特定の範囲内で回答を選ぶ傾向です。7段階の選択肢があるときに、4から6の間にほとんどの回答が集中するケースがあり得ます。
選択肢の幅が広い場合に発生しやすいと言えます。データの分散が制限され、意見の多様性が失われます。
7. 無差別反応
無差別反応は、質問内容を無視してランダムに回答を選ぶ傾向です。質問をほとんど読まずに適当に数字を選んでしまう行動を指します。
質問項目の多さによる疲労や調査テーマへの関心の低さなどが原因となります。無差別反応は深刻で、データの一貫性が失われ、調査結果の信憑性が低下し、有効な分析が困難になります。
回答バイアスへの対処
回答バイアスにどのように対処すれば良いでしょうか。
1. 黙従傾向への対処
肯定傾向は、実際には同意していなくても肯定的な回答を選ぶ傾向です。対策としては・・・
逆転項目の設定
逆転項目とは、測定したい概念と逆の質問を設定することです。例えば、心理的安全性を測定する場合、
- 通常項目：「職場では問題点を提起できる」
- 逆転項目：「職場では失敗したら悪く思われる」
といった形で項目を作れば、回答の一貫性をチェックできます。
ガイドライン提供
調査の案内メールや回答ページの冒頭に、「この回答は評価や異動に用いません。率直に答えてください」といった文言を入れることで、回答者の不安を和らげることができます。
2. 否定傾向への対処
否定傾向は、質問内容にかかわらず否定的な回答を選ぶ傾向です。対策としては・・・
多様な質問形式
同意度を問う質問（リッカート尺度）と行動の頻度を問う質問を組み合わせることで、否定傾向を和らげることができます。
回答分布の確認
ポジティブ・ネガティブな質問内容にかかわらず、どんな質問にも極端に否定的な回答をしている回答者がいないか、度数分布表やヒストグラムを作成してチェックします。必要に応じて、そのような回答を除外することも検討します。
3. 中間傾向への対処
中間傾向は、中間の選択肢を選びがちな傾向です。対策としては・・・
中間選択肢の削除
中間傾向が予想される場合、中間の選択肢をなくすことで意見表明を促すことができます。
具体的な回答を求める質問
例えば、「この1週間で上司からフィードバックを受けた回数は何回か」などのように、具体的な質問では、中間傾向が発生しにくくなります。
4. 極端傾向への対処
極端傾向は、極端な選択肢（例：5段階評価の1や5）を選びがちな傾向です。対策としては・・・
バランスの取れた選択肢
例えば、「非常によく当てはまる」「当てはまる」「どちらとも言えない」「当てはまらない」「全く当てはまらない」のように、等間隔で並んだ選択肢を用意することで、極端な選択を抑制できます。
質問の表現の工夫
感情を強く揺さぶるような表現を避け、より穏健な表現を用いることで極端傾向を和らげることができます。例えば、「上司との関係は良い」とするよりも、「上司がいなくても、私は上司の決めたことを擁護する」のほうがいくらか緩和されるでしょう。
5. 穏健傾向への対処
穏健傾向は、中庸な選択肢を選びがちな傾向です。対策としては・・・
強めの表現を含む質問
例えば、「私は運動する」という項目を「私は毎日1時間以上運動する」とすることで、穏健傾向を和らげることができます。
具体的な状況設定
質問の前に具体的な状況を設定することで、回答者がイメージしやすくなり、より実態を反映した回答が得られやすくなります。例えば、「過去1週間における同僚とのコミュニケーションについてお尋ねします」といった教示文をつけると良いでしょう。
6. 反応範囲への対処
反応範囲は、特定の狭い範囲内で回答を選ぶ傾向です。対策としては・・・
選択肢の数の適切さ
10を超える選択肢は避け、できれば5つ程度の選択肢にすることをお勧めします。多すぎる選択肢は反応範囲を狭くする可能性があります。
7. 無差別反応への対処
無差別反応は、質問内容を無視して適当に回答する傾向です。これを完全に防ぐのは難しいですが、検出と除去は可能です。
確認質問の設置
例えば、「この質問には“当てはまる“と回答してください」といった項目を設けます。このような質問に正しく回答していない回答は、無差別に回答している可能性があります。
回答時間の測定
極端に短い回答時間（例：1問あたり0.5秒以下など）の回答は、質問を読まず無差別に回答している可能性があるため、除外を検討します。
これらの対策を組み合わせることで、回答バイアスの影響を軽減し、より良質なデータを得ることができます。ただし、どの対策を採用するかは、調査の目的や対象者の特性に応じて慎重に判断する必要があります。
調査方法がもたらす心理
調査方法がもたらす心理的影響について、さらに詳しく説明しましょう。いずれも調査結果に影響を与える可能性があります。
まず、社会的望ましさです。これは、その名の通り、社会的に望ましいと思われる回答を選択する傾向のことです。例えば、「同僚と協力的に働いている」という質問項目に対して、実際はあまり協力的に働いていなくても、「当てはまる」と回答するかもしれません。社会的望ましさが働くと、組織の問題点が隠れてしまいます。
この問題に対処するために、組織サーベイの匿名性を確保する方法があります。また、回答が個人の評価や配置に影響しないことを明確に伝えるのも一策です。
次に、コモンメソッドバイアスです。同じ方法で複数の要因を測定すると、それらの間の相関が実際よりも強く出てしまうことです。例えば、エンゲージメントとその要因を同じアンケートで測定すると、両者の関連が実際よりも強く現れる可能性があります。要因間の関連性を過大評価してしまい、誤った意思決定につながりかねません。
そこで、異なる測定方法を組み合わせることが効果的です。例えば、客観的指標と主観的指標を併用したり、組織サーベイを複数回に分けて実施したりする方法があります。また、単一因子テストなどの手法を用いて、コモンメソッドバイアスの程度を確認することも大事です。
最後に、順序効果ですが、これは、質問の順序が回答に影響を与える現象です。例えば、給与に関する質問の直後に職務満足を尋ねると、給与に対する認識に引っ張られます。順序効果が生じると、質問の順序によって回答が左右され、正確な評価ができなくなります。
影響を与えそうな質問の順序に注意を払う必要があります。特に、回答者の感情を強く揺さぶるような質問の配置には、気をつけましょう。
全般的に有効な工夫
全般的に回答バイアスを抑制するための工夫もあります。まず、予備調査の実施です。例えば、全社員が1万人いる場合、いきなり全員に組織サーベイを行うのはリスクが高いと言えます。まずは数十人程度の少数の回答者で予備調査を行います。
その中で、回答バイアスの可能性が見えてきます。例えば、回答が中間に集中している、極端な回答が多いなどの問題を事前に把握できます。また、回答者へのインタビューを通じて、質問の理解度も確認できます。問題のある質問を事前に察知し、修正することができます。
次に、オンラインアンケートの使用もお勧めです。紙のアンケートよりもオンラインの方が優れている点がいくつかあります。回答時間やパターンを記録できる点、分析がしやすい点、そして、回答者にとっても負担が少なく、回答しやすいという利点もあります。
さらに、様々なデバイス（PC、タブレット、スマートフォンなど）で回答できるようにすることも有効です。回答の利便性が高まり、結果として回答バイアスの抑制につながります。
匿名性の確保も工夫の一つです。回答が匿名であることを強調し、個人が特定されないことを保証することで、回答者はより率直に回答できるようになります。
アンケートのデザインも大切な要素です。質問の順序や、回答しやすいレイアウト、同じテーマの質問をまとめるなどの工夫を凝らしましょう。
回答期間については、ゆとりを持った設定が望ましいと考えられます。突然の短い期限を設けると、回答者が適当に回答してしまいます。十分な時間を確保すると良いでしょう。
回答時間も考慮に入れましょう。サーベイ全体の回答時間が長くなりすぎると、回答者が疲れて適当に回答してしまいます。事前に回答時間を測定し、適切な長さに調整します。10分から15分程度が一つの目安です。
忘れてはならないこと
これまで説明してきた方法を実行に移すことは大切ですが、同時に忘れてはならない基本的な事実があります。それは、回答者が忙しい時間の中で回答してくれているという点です。確かに、組織サーベイへの回答は業務の一環ではありますが、それでも多忙な中で時間を割いて回答しているという事実を忘れてはいけません。
そのような状況で回答したにもかかわらず、回答後に何も起こらなかったり、結果がフィードバックされなかったりすると、回答者はどう感じるでしょうか。「結果はどうなったのだろう」という疑問や、「一生懸命考えて答えたのに意味がなかったのではないか」という無力感を抱くことになります。調査に対する不信感にもつながり、次回の調査で回答バイアスを引き起こす原因にもなりかねません。
そのため、回答バイアスを減らす努力と並行して、分析結果をフィードバックすることが求められます。フィードバックすることで、「このサーベイに回答することには意味がある」と回答者に感じてもらえます。
組織サーベイの成功においては、サーベイを実施する人事部門と回答する現場の社員との間の信頼関係が重要です。「このアンケートに答えても何も変わらない」「面倒だ」と思われている状態では、回答バイアスが発生しても不思議ではありません。
信頼関係を構築し、維持するためには次の点に注意を払うと良いでしょう。
- 回答に対する感謝の意を示す：「ありがとうございます」と伝えるだけでも、回答者の姿勢に違いが出ます。
- データに基づいたアクションを取る：感謝するだけでなく、収集したデータを基に実際に改善活動を行うことが重要です。
- 改善の進捗を報告する：改善活動を水面下で行うのではなく、進捗を定期的に回答者に報告することで、自分の意見が反映されている実感を持ってもらえます。
これらの取り組みによって、回答者は「次回もきちんと回答しよう」という気持ちになり、回答バイアスが減少することにつながります。
Q&A
Q：無差別反応を避けるために、サーベイの設問数や回答時間をどのくらいに抑えれば良いでしょうか？
回答時間は10分から15分程度に抑えるのが良いでしょう。質問数については質問の仕方にもよりますが、リッカート尺度の場合、多くても100問程度が一つの目安となります。
Q：逆転項目を含めることのリスクとして、回答結果の分析時にスコアを逆転する必要があり分かりにくい点や、問題をよく読まないと逆転項目と気付かずスコアをつけてしまうリスクがあると思います。こういったリスクへの対応策はありますか。
まず、逆転項目は、一つの概念について複数の質問項目で測定する際に含めるのが良いでしょう。分析時には、逆転項目の得点を逆転させて集計すれば問題ありません。また、逆転項目は回答者が質問をよく読んでいるかを確認する手段にもなります。
Q：調査結果を回答者に公開することのメリット・デメリットがあれば教えてください。
全体傾向を開示することは、メリットの方が大きいです。全社的な傾向、課題、今後の対策などを共有することで、回答者は自分たちの意見が反映され、改善につながっていると感じることができます。
ただし、部署ごとなど細かい単位での結果の公開は、個人の回答が特定される可能性が高まり、評価への懸念から社会的望ましさなどのバイアスが生じる可能性があります。したがって、全体的な傾向は公開し、細かい結果は慎重に扱うことが大事です。
Q：回答済みのデータに対し、個人や組織部門の声に回答バイアスがかかっているかもしれないと気付く違和感を持つためのポイントはありますか？
いくつかの方法があります。
- 回答の分布を確認し、著しい偏りがないか見る。
- 標準偏差を計算し、極端に小さく／大きくないか確認する。
- 項目間や概念間の相関を分析し、予想外のパターンがないか確認する。
- 逆転項目と通常項目を比較し、矛盾する回答がないか確認する。
Q：回答へのインセンティブとして結果レポートをプレゼントするという手法をたまに見かけます。アンケートに興味を持っている人ばかり回答してしまうというバイアスが発生しそうです。このようなインセンティブを設ける手法は効果的だと思われますか。
確かにサンプリングバイアスが生じる可能性はあります。ただし、実際には、バイアスを認識した上で結果を解釈することがより重要になるでしょう。例えば、関心の高い人が回答していることを前提に結果を受け止めるということです。
また、インセンティブを設けることで回答数は上がる可能性がありますが、同時に無差別反応のリスクも高まります。確認質問を設けるなどの対策もあり得ます。
登壇者
伊達 洋駆 株式会社ビジネスリサーチラボ 代表取締役
神戸大学大学院経営学研究科 博士前期課程修了。修士（経営学）。2009年にLLPビジネスリサーチラボ、2011年に株式会社ビジネスリサーチラボを創業。以降、組織・人事領域を中心に、民間企業を対象にした調査・コンサルティング事業を展開。研究知と実践知の両方を活用した「アカデミックリサーチ」をコンセプトに、組織サーベイや人事データ分析のサービスを提供している。著書に『60分でわかる！心理的安全性 超入門』（技術評論社）や『現場でよくある課題への処方箋 人と組織の行動科学』（すばる舎）、『越境学習入門 組織を強くする「冒険人材」の育て方』（共著；日本能率協会マネジメントセンター）などがある。2022年に「日本の人事部 HRアワード2022」書籍部門 最優秀賞を受賞。東京大学大学院情報学環 特任研究員を兼務。
