ビジネスリサーチラボは、2024年5月にセミナー「質問項目の作り方入門：基礎から学ぶ組織サーベイ設計」を開催しました。

組織サーベイの質問項目にお悩みではありませんか。組織サーベイは、社員の声を集め、組織の改善を図るツールです。

しかし、質問項目の設計を誤ると、組織サーベイの目的を達成できません。実際に、問題のある質問項目が含まれている場合もあります。

項目設計に関する研究知見とデータ分析の経験をもとに解説します。講師を務めるのはビジネスリサーチラボ 代表取締役の伊達洋駆です。

※本レポートはセミナーの内容を基に編集・再構成したものです。

概念と項目の違い

組織サーベイとは、従業員を対象にアンケートの形式で調査を行うことを指します。多くの場合、その目的は人や組織の現状を改善することにあります。組織サーベイは、従業員満足度調査、従業員意識調査、エンゲージメントサーベイなどと呼ばれることもあります。

組織サーベイでは、質問項目を社員に対して投げかけ、社員が選択肢から回答を選びます。回答を数値化することで、統計的な分析が可能になります。これが組織サーベイの特徴であり、利点の一つです。

しかし、数値化の前提として適切な項目設計が行われていないと、数値化したデータの質が低くなってしまう問題があります。優れた統計的分析を行ったとしても、項目設計が適切でなければ、意味が薄れます。

とはいうものの、測定したい概念を質問項目に落とし込むことは簡単ではありません。一見、誰でもできそうですが、実際に作成した人ならわかるように、なかなか難しいものです。一定の知識が必要となるのが、項目設計の難しさです。

当社では、様々な会社から組織サーベイの質問項目に対するアドバイスやコンサルティングの依頼をいただいています。その中には、測定したい概念が適切に測定できていない項目が少なくありません。項目設計は非常に難しい作業なのです。

本セミナーでは、項目設計において何に気をつければよいのか、どのような進め方をすればよいのかを説明します。項目設計で気をつけるべき点は多岐にわたりますが、限られた時間の中で、基礎的な部分を解説していきます。

項目設計を行う際、まず押さえておくべきことは、概念と項目を区別することです。この二つを分けて考えるだけでも、大きな失敗やミスを防ぐことができます。

概念とは、抽象的で直接触れることは難しいが、組織サーベイで捉えたい対象となるものです。例えば、仕事に関連するポジティブで充実した心理状態を指す「ワークエンゲージメント」は概念の一つです。

一方、項目とは、概念を測定するための質問項目のことを指します。概念を可視化するために、回答者に直接質問をします。例えば、ワークエンゲージメントの項目として、「仕事に没頭していると感じる」という質問項目があり得ます。

組織サーベイにおいては、概念を測定するために、項目を投げかけます。項目への回答を通じて、概念の高さや低さを間接的に捉えようとしているのです。

概念と項目を切り分けることが、項目設計の精度を上げていくための基礎となります。項目を設計する際に、概念を意識していかないと、うまく設計することができません。

概念定義と項目作成

項目の設計を行っていく際、最初に概念を定義する必要があります。多くの組織サーベイのアウトプットでは、質問項目そのものではなく、概念が書かれています。しかし、概念の定義がなされていないケースが少なくありません。

例えば、エンゲージメントという言葉一つをとっても、仕事に対するやりがいを指す場合もあれば、組織に対する愛着を指す場合もあります。概念は抽象度が高いがゆえに、様々な形で定義することができてしまうのです。

測定を適切に行うためには、概念をしっかりと定義していかなければなりません。概念の捉え方が人によってバラバラだと、項目設計を適切に行うことができなくなります。例えば、仕事へのやりがいを測定する質問項目と組織への愛着を測定する質問項目では、違いがあります。

概念の定義を行う際には、その概念の中に何が含まれるのか、逆に何が含まれないのかを考えていきます。例えば、エンゲージメントという概念を測定したい場合、仕事への没頭は含まれるが、自社に対する誇りは含まれないと判断するなど、概念の境界を設定します。

概念の定義づけを行うステップとしては、まず、これまでその概念についてどのような定義がなされてきたのかを調べることから始めましょう。学術論文やウェブメディア、書籍などから情報を収集します。

次に、これまでの定義を参考にしつつも、自社の事情や文脈に合わせて概念の定義を修正していきます。最後に、概念の定義を明文化し、関係者に共有します。

概念の定義を行った後は、その概念を捉える項目の設計に移ります。項目を作成する際には、一つの概念につき複数の項目で構成することがポイントです。少なくとも3項目、できれば4項目以上で構成します。

これは、概念が抽象的で複雑であるため、複数の観点から測定することが重要だからです。また、測定の正確性を高め、回答のばらつきを細かく見出すためにも、複数の項目を設けることが有効です。

項目を作成する際には、例えば、定義の核となる言葉を盛り込みます。一方で、概念から外れる内容は避けるべきです。また、専門用語を避け、できるだけ短くシンプルに、そして能動態で表現するようにしましょう。

項目には選択肢も必要になります。選択肢を設定する際は、選択肢間の間隔が等間隔になるようにします。

自社の組織サーベイにおいて、それぞれの概念に対する定義がきちんと整っているかを確認し、項目設計の基礎を固めることが重要です。

項目作成の留意点

実際に項目を作成していく際に、よく陥りがちな問題の一つが「ダブルバーレル」と呼ばれるものです。一つの項目に対して複数の意味を盛り込んでしまうことを指します。

例えば、「職場の人間関係は良く、仕事にやりがいを感じる」という質問項目があったとします。この項目には、職場の人間関係が良いことと仕事にやりがいを感じることの二つの事柄が含まれています。職場の人間関係は良いが仕事にやりがいは感じていない人は、どう答えればいいのかわかりません。回答者が混乱してしまうのです。

この項目で測定した数値は、何を意味しているのかが明確ではありません。両方とも高いのか、一方だけなのかがわからなくなってしまいます。複数の事柄を聞きたい場合は、別々の質問で尋ねましょう。

また、「私は」という文頭で項目を作ってしまうケースがあります。例えば、「私は働きがいを感じている」「私は周囲からサポートをしてもらっている」・・・というように、「私は」が続けて使われることがあります。

しかし、同じ文頭で質問が並ぶと、回答者は同じような回答をしやすくなってしまいます。その結果、本来は別々の概念の相関が高くなってしまいかねません。

さらに、項目を作る際に厳密に説明したい気持ちから、括弧書きを用いてしまうケースもあります。例えば、「職場では多様性（年齢、性別、就業形態、価値観等を含む）が尊重されている」という項目があったとします。

括弧書きを使うと、回答者は混乱してしまいます。どの多様性について言っているのかがわからなくなり、読むための負荷も高くなります。また、この例ではダブルバーレルにもなっています。年齢の多様性は尊重されているが、価値観の多様性は尊重されていない場合、どのように回答すればいいのかがわかりません。

項目を作成する際は、バイアスが生じにくいようにすることも大切です。誘導的な質問や社会的に望ましい回答を誘発するような質問は避けるべきです。例えば、「この会社の公正な人事制度には満足している」という項目は、「公正な」という言葉に引っ張られて、満足していると回答せざるを得なくなってしまいます。

また、「私は協調性を大切にしている」という項目は、日本の文化の中で育ってきた人にとって、当てはまると答える圧力がかかります。このような項目では、測定の精度が下がります。

最後に、自由記述の項目についてですが、回答者にとって負荷が高いことに注意すべきでしょう。大企業の場合、自由記述のデータは膨大な量になり、一つ一つ目を通していくのは大変です。定量的に処理するのも簡単ではありません。ただし、生の声を集める手段としては有効なので、最小限にとどめましょう。

予備調査と本調査

概念を定義し、その定義に基づいて作成した項目は、まず少人数を対象に予備調査を行うと良いでしょう。予備調査を行うことで、項目の回答のしやすさを確認することができます。

予備調査は、本調査（実際の組織サーベイ）の準備段階として位置づけられます。理想的には、本調査の回答者の特徴を代表するような人選が望ましいですが、実践的には難しいかもしれません。

そのような場合でも、身近な人に質問項目を見てもらい、回答してもらいましょう。予備調査のサンプルサイズは、10名から30名程度で十分です。

予備調査では、回答が強制ではないことを伝えた上で、回答してもらいます。回答が得られたら、記述統計量（平均値、標準偏差、度数分布など）を確認します。

これによって、回答の分布や偏りを確認できます。例えば、ほとんどの人が5（最高点）をつけるような項目（天井効果）や、ほとんどの人が1（最低点）をつけるような項目（床効果）は、適切に測定できていない可能性があります。

予備調査では、回答者にヒアリングを行うと良いでしょう。理解しにくい項目、言葉の意味がわかりにくい箇所、回答に困った項目などを聞き出すことで、問題点を把握し、修正することができます。

ただし、予備調査はあくまで少人数で行う調査なので、全ての項目を修正する必要はありません。最低限の修正にとどめましょう。

予備調査が終わり、必要な修正を行った後は、本調査を実施します。本調査の回収後も、項目ごとに回答の分布を確認し、天井効果や床効果が発生していないかを検討します。

また、因子分析やα係数といった手法を用いて、概念と項目の関連性を検証することも大切です。想定通りに項目が概念を測定できているかを確認するのです。

概念間の関連も検証しましょう。例えば、職務満足と離職意思が正の相関になっているなど、理論的に考えられる関連と異なる結果が出た場合は、測定がうまくいっていない可能性があります。なぜそのような結果になったのかを検討しなければなりません。

信頼性、妥当性、公平性

項目設計の品質を守るために重要となる観点があります。信頼性、妥当性、公平性という三つです。

一つ目の信頼性は、測定したい概念を一貫して捉えていることを意味します。信頼性には、一貫性と安定性の二つの側面があります。

一貫性とは、複数の項目が同じ概念を捉えていることを指します。例えば、エンゲージメントという概念を三つの項目で測定する場合、それらの項目間に相関があるべきです。

安定性とは、時間が経っても回答が一貫していることを指します。例えば、月曜日と金曜日に同じ質問項目に答えた場合、結果が大きく異なるようでは信頼性が低いと言えます。

二つ目の妥当性は、測定したい概念を正確に捉えていることを意味します。これは当たり前のようですが、非常に重要な観点です。

妥当性にはいくつかの側面があります。例えば、項目が概念に合致しているか、概念の定義から乖離していないかという表面的妥当性、項目が網羅的であるかどうかを専門家が評価する内容的妥当性、他の概念と想定通りの関連になっているかどうかを検証する収束的妥当性や弁別的妥当性、そして質問項目によって概念がまとまっているかを検証する因子的妥当性などがあります。

三つ目の公平性は、全ての回答者が適切に回答できることを意味します。例えば、社内用語が含まれている組織サーベイでは、新人社員が不利な立場になってしまう可能性があります。全ての回答者にとって答えやすい項目にする必要があります。

信頼性、妥当性、公平性とは別に、回答者に対する倫理的な配慮も忘れてはいけません。センシティブな内容やプライバシーに踏み込みすぎないよう、分析に必要のない情報は取らないようにします。

そして、組織サーベイの冒頭には、調査の目的や回答データの利用範囲を明記しましょう。例えば、「職場改善のために活用し、評価や配置には使用しない」と書いておくことで、安心して回答することができます。

Q&A

Q：括弧書きを設けずに、括弧内のワードについて知りたい場合、それぞれの項目を個別に項目にすべきでしょうか。

その通りです。場合によっては概念が異なる可能性があります。例えば、多様性の中でも、性別の多様性と価値観の多様性は、対象としているものが異なります。そのような場合は、概念ごとに項目を作っていくのがよいでしょう。

Q：設問や概念の良い事例を知るには、過去の学術論文や学術書を参考にするのが良いでしょうか。

項目の参考にしたい場合は、学術研究、特に尺度が参考になります。一方、概念の定義を考えたい場合は、学術研究だけでなく、ビジネス書も参考になります。例えば、エンゲージメントに関する本を読み、自社のエンゲージメントの定義に近いと感じるものを参考にすることで、ゼロから考えるよりも定義がしやすくなります。

Q：社会規範的に高いものを選択しないといけないというバイアスがかかるケースは考えられますか。

測定しようとしているものが社会的に望ましいとされる場合、そのようなバイアスがかかる可能性は考えられます。対して、行動に関する質問や客観的な事実で聞いてみるなどの工夫が考えられます。

Q：複数の概念セットを一つのアンケートで集計することは有効でしょうか。

有効です。例えば、エンゲージメントサーベイとコンプライアンスサーベイを一緒に行えば、従業員エンゲージメントとコンプライアンスリスクを生み出す組織風土の関連を検証することができます。ただし、項目が増えすぎると、回答者の負荷が高くなり精度が落ちてしまうので、10分から15分程度に収めるのがよいでしょう。

Q：エンゲージメントや組織コミットメント、従業員満足度など、似たような概念を一つのアンケートで行うのはどうでしょうか。

似た概念を一つのアンケートで測定することは問題ありません。ただし、概念の定義をきちんと定めましょう。また、似ているからこそ、それぞれを測定する意味を考える必要があります。定義を明確にすることで、それらの概念を測定する必然性を考えやすくなります。

---

登壇者

伊達 洋駆　株式会社ビジネスリサーチラボ 代表取締役
神戸大学大学院経営学研究科 博士前期課程修了。修士（経営学）。2009年にLLPビジネスリサーチラボ、2011年に株式会社ビジネスリサーチラボを創業。以降、組織・人事領域を中心に、民間企業を対象にした調査・コンサルティング事業を展開。研究知と実践知の両方を活用した「アカデミックリサーチ」をコンセプトに、組織サーベイや人事データ分析のサービスを提供している。著書に『60分でわかる！心理的安全性 超入門』（技術評論社）や『現場でよくある課題への処方箋 人と組織の行動科学』（すばる舎）、『越境学習入門 組織を強くする「冒険人材」の育て方』（共著；日本能率協会マネジメントセンター）などがある。2022年に「日本の人事部 HRアワード2022」書籍部門 最優秀賞を受賞。