組織サーベイの質問項目を確認してほしい。当社では、そのようなご相談をいただくことが増えています。実際に質問項目を見てみると、様々な課題が見つかることがあります。

この場合、「問題があるかもしれない」という感覚になり、当社に相談をするという判断に至っています。おそらく、気づかぬうちに問題のある質問項目を作成しているケースも少なくないでしょう。

本コラムでは、質問設計においてどのような問題が起こりうるのか、その問題がどのような弊害につながるのか。なぜ問題のある質問項目を作ってしまうのか、そして項目設計の難しさやそのポイントを解説します。

質問設計で起こる問題の例

質問設計における問題はたくさんあります。その一部として、ダブルバーレルと教示文の問題を取り上げてみましょう。

ダブルバーレルとは、一つの質問項目の中で、二つの異なる概念を同時に尋ねることです。つまり、一つの質問で複数の事柄を同時に聞くことを指します。例えば、「私は仕事に満足していて、会社を辞めたいとは思わない」という質問があったとします。ここでは、「職務満足」と「離職意思」という2つの概念が混在しています。

「仕事に満足していないが、辞めたいとも思わない」という回答者の場合、この質問にどう回答すれば良いのか判断に迷います。仕事への不満はあるものの、離職までは考えていないといったニュアンスをうまく拾えません。

その結果、回答が歪められたり、回答を控えたりする可能性があります。ダブルバーレルの質問は、回答者の真意を正確に捉えられない可能性があるのです。

教示文の問題とは、質問文の前に提示される説明文の内容によって、回答者に特定の回答を促してしまうことを指します。教示文によって、回答者の回答が意図せずに誘導されてしまう問題です。

例えば、「当社は従業員の育成に力を入れています。次の質問にお答えください」という教示文を出した上で「会社は私のスキル開発を支援している」という質問をしたとします。この例の場合、「当社は従業員の育成に力を入れています」という前置きにより、回答者は会社の方針に沿った回答をするよう無意識のうちに誘導されてしまいます。会社のスキル開発支援に不満があったとしても、その不満を表明しにくくなるのです。

その結果、回答者の本当の考えとは異なる回答が引き出されてしまうかもしれません。教示文によって特定の回答を誘導することは、サーベイの結果を歪める要因となります。

これらはよくある問題のごく一部であり、実際には、他にも多くの問題が含まれている可能性があります。質問設計は想像よりも難しく、またミスを伴いやすいものなのです。

ずさんな設計がもたらす弊害

質問設計に問題があると、組織サーベイの品質が損なわれ、様々な弊害が生じます。

例えば、サーベイが職場の実態をうまく捉えられないと、本来改善すべき問題の存在に気づけなくなります。問題を認識せずに放置した結果、職場環境が悪化していくことになります。

測定が適切に行われていないと、「役割が曖昧な方が、満足度が高い」などの誤った結論が導かれるかもしれません（あくまで架空の例です）。そうした結果を真に受け、上司からの指示を減らす施策を実行すると、かえって従業員のストレスが高まり、離職意思が増加することになりかねません。

質の低いサーベイ結果に対して、現場の納得感は得られにくいものです。その結果、組織サーベイを実施した人事の社内での評判が下がり、人事と現場の信頼関係にヒビが入ることもあり得ます。

ずさんな質問設計が特に深刻なのは、従業員にネガティブな影響を及ぼす点です。人事の職業倫理として、このような事態を避ける必要があると言えます。

設計の問題が起こる背景

組織サーベイにおいて、質に問題のある質問項目が作られてしまう背景には、いくつかの要因が考えられます。

一つは、サーベイ設計に必要な心理測定学、心理学、組織行動論、統計学などの知識を持つ人材が不足していることです。質の高いサーベイの設計には高度な専門性が求められます。しかし、そうした人材が社内にいないことも多いのが実情です。

また、質の高いサーベイの設計には時間と費用がかかります。経済的あるいは時間的な制約から、簡便なアプローチを取らざるを得ず、それが品質の低下につながることもあります。

サーベイの目的が曖昧である場合、質問項目の焦点が絞れず、有意義なデータが得られなくなります。組織の現状を把握し、課題を明らかにするためには、サーベイの目的を明確に定義することが必要です。

サーベイの目的が曖昧なまま質問項目を設計すると、質問の内容が焦点を失い、回答者にとって答えにくいものになります。例えば、「職場環境」について漠然と尋ねても、物理的な環境なのか、人間関係なのか、仕事の進め方なのかが不明確です。

回答データを分析する際にも、何を測定していたのかが明確でなければ、結果の解釈が難しくなります。どのような課題があるのかを特定できず、有益な示唆を得られません。

さらに、サーベイ設計に対するフィードバックが不十分な点も挙げられます。そのため、問題点が改善されないまま、低い品質の組織サーベイが継続的に利用されてしまいます。設計の質を高めるには、社内外の専門家による助言や、現場の声を反映させる仕組みが求められます。

このように、人材、リソース、目的、フィードバックなど、様々な課題が絡み合い、問題のある質問設計をもたらしているのです。

質問設計は専門家でも難しい

とはいえ、質問項目の設計は、専門家にとっても難しい領域です。特定の概念を測定するための質問を作成することを、専門的には「（心理）尺度開発」と呼びます。

専門家が行う尺度開発プロセスにおいても、よく陥る問題があることを指摘する研究もあります[1]。例えば、以下の10の限界が指摘されています。

• 研究のサンプルが集団を代表していない。特定の地域、文化、年齢層に偏ったサンプルでは、他の集団に結果を一般化できない恐れがある
• 研究デザインやデータ収集方法が研究目的にとって最適ではない。例えば、横断的研究では因果関係の特定は難しく、自己報告式のデータはバイアスの影響を受けやすいなどの問題がある
• 尺度の信頼性や妥当性が不十分である。尺度が測定対象を正確に、一貫して測定できていない可能性がある
• 質的研究は主観的な解釈やバイアスの影響を受けやすい。尺度開発に質的研究を用いると、項目の選定や理論構築にバイアスがかかる
• データ収集の際に情報の欠損が発生することがあり、それが分析の精度に影響を与える。欠損値に適切に対処しなければ、研究結果の解釈が難しくなる
• 回答者が社会的に望ましいと考えられる回答をする傾向がある。それがデータの真正性を損なう。特に自己報告式のデータで問題となる
• 質問項目が曖昧だったり理解しにくかったりすると、データの質が低下する
• 尺度の長さが適切でないと問題が生じる。短すぎると情報が欠落し、長すぎると回答者の負担が大きくなり、回答の質が落ちる
• 関連する全ての変数を特定し、統制するのは非常に難しい。統制しきれない変数が結果に影響を与える恐れがある
• 尺度の実施手順や使用方法に関する指示が不足している。その結果、データ収集の一貫性や正確性が損なわれる

質問項目の設計には、多岐にわたる専門的な考慮事項があり、綿密な検討が求められます。

それでも設計してしまう理由

質問項目の設計は専門的で難解な作業です。それにもかかわらず、十分に知識を持っているわけではない人が気軽に実行している現実があります。これはなぜでしょうか。

一因としては、インターネット上で簡単にサーベイを作成できるツールを利用できることが挙げられます。ツールの使いやすさはすばらしいことですが、一方で、「アンケートは、誰でも簡単に作成できる」という誤解を生む可能性がなきにしもあらず、です。もちろん、ツールが使いやすいからといって、質問設計が容易というわけではありません。

そして、質の高い設計は見た目からは分かりにくく、その複雑さや専門性が過小評価されがちな点もあるでしょう。多くの人が組織サーベイに回答した経験があり、その経験から、「アンケートは作れそう」と早合点してしまうのかもしれません。

質問設計に必要とされるデータ収集や統計、調査設計の専門知識は、一般的な教育プロセスの中であまり学ぶことのない内容です。そのため、その重要性が認識されにくい面もあります。

知識が少ないと過大評価される

十分に知識を持たない状態で質問設計を行い、問題のある質問が生み出されることを考える上で、ダニングクルーガー効果も参考になります。

推論能力を測る認知反射テスト（CRT）を用いた研究があります[2]。CRTの成績が低い人ほど自分の成績を高く評価し、逆に成績が高い人ほど控えめに自己評価する傾向が見られました。

分析的思考のスキルについても同様の結果が得られています。分析的思考が苦手な人は、自分を過度に分析的だと考え、実際の能力とのギャップが生じていました。

この現象の背景には、自分の思考や推論における弱点や限界を客観的に認識するメタ認知的なモニタリングの不足があるとされています。ある領域の知識や能力が不足している人は、自身のパフォーマンスを適切に評価するのが難しいのです。

これは、もしかすると、組織サーベイの質問設計においても当てはまるのかもしれません。設計の専門知識が十分でないと、自身のスキル不足を認識しにくく、設計能力を過信してしまいます。

もちろん、知識不足だけが問題ではありません。日々の業務に追われる中で、質の高い設計に必要な時間や労力を割くことが難しい事情もあると思います。

専門家の支援を得られない環境では、担当者が試行錯誤を重ねるしかありません。大切なのは、設計の難しさと自身の力量を冷静に見極め、できる範囲で質を高める努力を重ねていくことでしょう。

設計時に考慮すると良いポイント

最後に、質の高い質問項目を設計するために押さえるべきポイントをまとめます。なお、ここでの内容の詳細は、当社の別のコラムで確認することができます[3]。

質問設計において重要なのは、信頼性、妥当性、公平性を担保することです。

• 信頼性：測定に用いる尺度が、測定対象を一貫して測定できている程度
• 妥当性：測定に用いる尺度が、測定対象を正確に捉えられている程度
• 公平性：測定対象とは無関係な属性によって回答者が不当な不利益を被ることなく、全ての回答が適切に評価されている程度

より良い質問設計にしていくために、まずは、サーベイの背景・理由・目的を明確にしましょう。測定したい概念を定義し、その定義の境界および範囲を検討する必要があります。

定義づけが難しい場合は、学術的な議論や既存の尺度を参考にすると良いでしょう。先行研究をレビューし、自社の文脈に当てはめて考えます。

また、測定に関わる様々な人の協力を仰ぎ、質問の内容について議論しましょう。例えば、現場社員と議論を行うことが考えられます。サーベイの目的や測定したい概念について説明した上で、それぞれの立場から質問内容の過不足や表現の分かりやすさについて意見を求めます。

個々の質問については、1つの質問で複数の内容を問うのは避け、シンプルな表現を用います。曖昧な表現は回答を歪めることにつながるので、やめておきましょう。

多くの人が同じ選択肢を選ぶような質問も避ける必要があります。測定したい概念1つにつき、3項目以上の質問を用意することが望ましいと言えます。これは守られていないことも多いので、気をつけたいところです。

さらに、無理に逆転項目を作る必要はありません。逆転項目とは、平たく言えば、質問の意味がほかとは逆になっており、回答値を反転させて用いるものです。逆転項目が有効な状況もありますが、作成自体の難易度が高く、広くおすすめはしません。

組織サーベイの質問設計には高度な専門性が求められます。安易な設計は避け、学術的知見を活用し、関係者との議論を通じて質問を洗練させることが大切です。従業員の声をきちんと拾い上げ、組織の意思決定に役立てるためにも、質の高い質問設計を追求していきましょう。

脚注

[1] Morgado, F. F., Meireles, J. F., Neves, C. M., Amaral, A., and Ferreira, M. E. (2017). Scale development: ten main limitations and recommendations to improve future research practices. Psicologia: Reflexao e Critica, 30.

[2] Pennycook, G., Ross, R. M., Koehler, D. J., and Fugelsang, J. A. (2017). Dunning-Kruger effects in reasoning: Theoretical implications of the failure to recognize incompetence. Psychonomic Bulletin & Review, 24, 1774-1784.

[3] 心理尺度の作り方・考え方：組織サーベイの質問項目作成のポイント

執筆者

伊達 洋駆　株式会社ビジネスリサーチラボ 代表取締役
神戸大学大学院経営学研究科 博士前期課程修了。修士（経営学）。2009年にLLPビジネスリサーチラボ、2011年に株式会社ビジネスリサーチラボを創業。以降、組織・人事領域を中心に、民間企業を対象にした調査・コンサルティング事業を展開。研究知と実践知の両方を活用した「アカデミックリサーチ」をコンセプトに、組織サーベイや人事データ分析のサービスを提供している。著書に『60分でわかる！心理的安全性 超入門』（技術評論社）や『現場でよくある課題への処方箋 人と組織の行動科学』（すばる舎）、『越境学習入門 組織を強くする「冒険人材」の育て方』（共著；日本能率協会マネジメントセンター）などがある。2022年に「日本の人事部 HRアワード2022」書籍部門 最優秀賞を受賞。