当社が以前公開したコラム「心理尺度の作り方・考え方：組織サーベイの質問項目作成のポイント」では、妥当性・信頼性・公平性を土台に、良い質問項目の作成方法を解説しました（以降、このコラムを「心理尺度コラム」と呼びます）。 本コラムでは、心理尺度コラムの内容を掘り下げて、組織サーベイにおける質問項目をより良いものにするための詳細なポイントを、その背景知識と合わせて追加解説していきます。

なお、本コラムは発展的な内容を扱うため、心理尺度コラムに加えて、以下のコラムの内容を把握していることを前提に、解説します。
確認的因子分析とは何か
人事のためのデータ分析入門：「相関」とは何か
統制とは何か
α係数とは何か 

質問内容の洗練：定義に何を含め、何を含めないか

心理尺度コラムにおいて、組織サーベイの質問項目を作成する際のポイントとして「概念の定義を定める」ことを強調しました。測定したい物事や概念は、いったい何であって何でないのか、その境界の線引きが重要であると指摘しました。

ここでは、前回のコラムで説明していなかった点として、なぜ定義を考える上で境界の線引きが重要なのか、データ解析の知識を踏まえて詳しく説明します。

この点を理解して質問内容の洗練を行えば、サーベイ実施時の目的に据えた課題に向けて、対策によりつなげやすいデータの測定ができるようになります。

さっそくですが、図 1の質問項目について考えてみましょう。測定したい物事とその定義を定め、質問項目を作成しています。これは架空例ですが、たびたび見かける「良くないデータ測定」をしてしまった質問項目の例です。

図 1
上司のサポートを測定する質問項目の架空例（良くない例）

これらの質問項目は何が良くないか、わかるでしょうか。この質問項目は、概念定義に含めていない側面も取り上げる文言となっている点で、あまり適切ではありません。問題があると考えられる点は、上司のサポート行為の認識を捉える項目全体において、「～してもらえる」「～してくれる」など、感謝やありがたさを感じるポジティブな表現を用いている点です。

測定したい概念は「上司のサポート行為」であり、その定義は「直属の上司はどの程度サポート行為をしていると、部下である回答者が認識しているか」です。この定義から考えて、捉えるべきは「上司が部下である自分に、サポート行為をどの程度していると認識しているか」となります。

一方で、「サポートしてもらえる」「気にかけてくれる」といったありがたさ・感謝の表現は、サポートを受け取っているのみならず、それをポジティブに認識している程度が高くないと、肯定的な回答がされません。

つまり、「上司が部下である自分に、サポート行為をどの程度していると認識しているか」を捉える質問項目であるのに、定義に含まれない側面である「サポートをポジティブに認識している程度」が、回答に入り込んでいるのです。

定義に含めていない側面を捉えた質問項目の問題点

このような質問項目で測定されたデータは、その後のデータ分析において大きな問題を生みます。それは、測定したい物事や概念とは異なる要素によって指標間の関連が示されてしまうことです。その結果として、分析結果から導き出されるアクションを見誤る可能性が出てきます。

例えば、先ほどの質問例について、「部下に対する上司のサポートが、上司部下関係を良くする」という仮説を検証したとします。サポート行為が多い人ほど、上司部下関係の良さを高く評価することが示されれば、仮説が支持されたと見なせます[1]。

この検証のために、上司からのサポートを影響指標、上司部下関係の良さの成果指標として、相関分析を行いました。その結果、上司からのサポートが多い人ほど上司部下関係の良さを高く評価している、有意な正の相関関係が示されたとしましょう。

図 2
上司からのサポートと上司部下関係の良さの相関分析

しかし、この相関分析の結果は、２つの指標間の相関の強さが過大評価されている可能性が高いという問題があります。その理由は、影響指標である上司からのサポートが、単純なサポートの多さの認識のみならず、それに対するありがたさや感謝の実感も含んでいると考えられるからです。

「上司部下関係の良さ」は、上司に対するポジティブな認識が高いほど、部下によって高く評価されると考えられます。すると、図 2で示された２指標間の相関分析の結果は、「上司からのサポート行為でなく、サポートをポジティブに評価していることの影響によって、指標間に相関が生まれている」という懸念があります。

つまり、この相関係数は「上司サポートが多いと、上司部下関係が高く評価される」ことを示しておらず、「上司サポートが多く、かつそれに対してポジティブな認識を持っていると、上司部下関係が高く評価される」ことを示している可能性があるのです。

したがって、この分析結果の解釈を踏まえるなら、実行すべきアクションは「上司からのサポートを増やし、かつサポートに対してありがたみや感謝を感じてもらうこと」となります。測定したデータに従うならば、サポートに対してポジティブな認識を持ってもらうところまでアクションに含めるのが適切です。

しかし、この質問項目は「直属の上司はどの程度サポート行為をしていると、部下である回答者が認識しているか」と定義して作成したものです。すると、上記の相関分析の結果が得られたら、「上司サポートが多いと部下が認識しているほど、上司部下関係が高く評価されるのか」と、納得してしまうでしょう。

すると、その後のアクションとして立案されるのは「上司からのサポートを増やしていくこと」になります。分析結果をしっかり踏まえるなら、サポートを増やすのみでは不十分なはずですが、定義に含めていない側面を測定に含めてしまったことによって、アクションを誤ってしまうのです。

このように、定義に含めていない側面を含めて質問項目を作成した場合、相関分析や回帰分析など関連性の検証において、関連の強さが変わってしまいます。そのため、定義に含めていない側面が質問内容に入らないよう注意することが重要となります。

定義に含める／含めない側面の議論を、心理測定の知識で広げる

ここまでで、定義に含めない側面を質問内容に含めてしまった際に生じる問題について説明してきました。ここからは、その問題をより深く知るために、心理測定に関する知識を学び、問題が生じる背景を掘り下げていきます。

心理尺度コラムで取り上げた話題ですが、心理測定において重視されるのは、測定の妥当性・信頼性・公平性です。本コラムで扱う話題は、主に妥当性の議論となります。

測定の妥当性とは、測定したい物事や概念を正確に捉えられている程度を表すものです。先に述べると、最初に取り上げた図 1の問題のある質問例は、妥当性において問題のある項目です。定義通りの内容が測定できておらず、そこからずれた側面も測定した質問項目なのです。

妥当性が意味するところを、心理測定における回答データの仮定から見ていきましょう。

心理測定では、「測定された回答値は、測定したい概念の程度をそのまま表す」とは考えません。確認的因子分析のコラムでは、測定したい概念を捉えた要素とそれ以外の要素の２つが含まれることを説明しました。

それをさらに細分化し、測定したい概念以外を捉えた要素をさらに２つに分けて捉える考え方があります（南風原, 2011, 2012）。それらは、偶然誤差と系統誤差と呼ばれます（図 3 ）。

図 3
心理測定における「回答値を構成する要素」の仮定

偶然誤差とは、質問への回答において偶然生じる、測定したい概念以外を捉えたデータの要素を表します。例えば、「上司部下関係の良さ」の測定において、回答者である部下がサーベイ実施日に仕事で偶然ミスしてしまい、上司に叱責されたとします。そうすると、その人の回答はいつもより少し低くなるかもしれません。

これは、仕事で偶然ミスしたことが原因で、普段の上司部下関係の良さの回答が変わったことを示しています。偶然の出来事によって本来測定したい概念とは異なる要素が、回答に入りこんだ形です。

一方、系統誤差とは、偶然誤差以外の理由で生じる、測定したい概念以外を捉えたデータの要素全てを表します。系統誤差の大きな特徴は、データの測定方法や回答者の特徴によって、その概念の回答データに測定したい概念以外が「常に」入り込むことです。

例えば、仕事に対する誠実性を測定する質問として、逆に誠実性の低さを問う「私は普段、いくらか手抜きして仕事している」といった質問があったとします。それに対して、実際は多少そうであったとしても、「あてはまる」「非常にあてはまる」といった肯定的選択肢は選びにくいでしょう。

これは、組織サーベイの回答において、より社会的に好ましい回答をしようと回答を歪める社会的望ましさバイアス（Furnham, 1986）として扱われています。回答者ごとに社会的望ましさによる回答の偏りは一貫しているため、すべての回答において、社会的望ましさによる肯定的な回答傾向の要素が常に入り込むのです。

本コラムの解説の焦点はこの系統誤差、特に「質問項目の内容」において生じる系統誤差の問題です。これは、確認的因子分析コラムで取り上げた、表面的妥当性や内容的妥当性といった、質問項目の内容に関する妥当性の議論に該当します。

最初に挙げた質問例について、これら３項目の平均を指標の得点とした「上司からのサポート」について、系統誤差の問題を考えてみましょう。

例に挙げた３項目は、上司のサポート行為の多さに加えて、「～してもらえる」「～してくれる」などサポートへのポジティブな認識も問う質問内容でした。そのため、これら３項目を平均して合算した「上司のサポート」指標も、サポートへのポジティブな認識の要素が含まれることになります。

これは、この指標で本来測定したい上司のサポートの定義「直属の上司はどの程度サポート行為をしていると、部下である回答者が認識しているか」とは異なる特徴であることから、この「サポートへのポジティブな認識」の要素は系統誤差に該当します。

図 4
問題のある質問項目の平均得点における得点の成分イメージ[2]

そして、この系統誤差の要素が得点に混ざることで、相関係数が過大評価されることにつながる可能性があります。系統誤差の要素が他の指標と関係するようなものであった場合、その指標との相関係数が本来算出される値と違ったものになる懸念があるのです。

先ほど例に挙げた、上司サポートと上司部下関係の良さの相関分析の例を、系統誤差も意識しつつ図 5で確認してみましょう。各得点に含まれる成分の色は、色が似ているとより類似した概念で相関が強いイメージで捉えてください。

図 5
相関係数の計算の過大評価：系統誤差による違い

図 5で示したように、仮に「上司のサポートのみ」を測定したデータと上司部下関係の良さの相関係数が、r = .35だったとします。上司のサポート行為が多いこと自体は、上司部下関係の良さと小さい～中程度の相関があるといった具合です。

これに対して、問題のある質問例である「上司のサポート」に加えて「上司のサポートに対するポジティブな認識」も測定したデータと上司部下関係の良さの相関係数は、r = .58だったとします。サポートに対するポジティブな認識が混ざったことで、相関係数が高い値になった形です。

この結果は、上司のサポートのみで測定したデータに対して、上司部下関係の良さと強く関連する「上司のサポートに対するポジティブな認識」の系統誤差が混ざったことで、相関がより大きな値になったのだと考えられます。測定したい概念と関係しない要素によって、不当に相関係数が大きく計算されているわけです。

また、ある指標を測定する質問項目全体に同じような系統誤差が含まれていた場合、系統誤差はやっかいな問題を生み出します。それは、確認的因子分析やα係数を不当に良い結果になってしまうことです。最初に示した上司サポートの質問例は、この問題にも該当する可能性が高いと言えます。

確認的因子分析とα係数は、両方とも「分析に含めた全項目に共通する得点要素」を捉える分析です。質問項目全体に同じような系統誤差が含まれていたとしたら、その系統誤差は「全項目に共通する得点要素」にあてはまってしまいます。

その結果として、確認的因子分析で仮定される共通因子では、本来測定したい概念の要素といっしょに系統誤差の要素も抽出します。すると、データ上では「すべての項目に、共通した成分が多く含まれている」と見なされ、確認的因子分析における因子負荷量は大きく算出されます。

無論、そこで算出された因子負荷量は、測定したい概念とは無関係な系統誤差を含めたものであるため、因子負荷量の値こそ大きくなりますが、それは過大評価された数値であると言えるわけです。

図 6
確認的因子分析における系統誤差の混入イメージ

同じように、α係数は「複数の質問項目において、回答値が一貫している程度」ですが、系統誤差が項目全体に含まれていると、回答値もより一貫しやすくなります。その結果、系統誤差によってα係数も高まってしまう問題が生じるのです。

α係数についても、本来測定したい概念と関係しない要素でα係数が高まっているわけですから、ここで算出されたα係数も過大評価された数値であると言えるでしょう。

このように、質問項目に、定義に含めていない要素を含めることで、回答データに様々な問題が生じます。これは、質問に定義外の内容が含まれることが原因で、系統誤差が発生していると考えられます。

この系統誤差は、測定したい概念と関係のない要素ですが、得点に混ざってしまうことでデータ分析の計算が歪みます。その結果、最終的な意思決定が誤った方向に進む可能性が高まります。[3]

定義に含めていない要素への対処・確認のやり方

以上のように、定義に含めていない側面を質問内容に混ぜこむと、データ分析が歪んでしまう問題があります。したがって、この問題を避けるべく、事前にできるかぎりの対処をして、可能ならば確認する準備もしておきたいところです。

まず、この問題を避ける最良の方法は、当然ながら「測定したい物事や概念について、その定義を設定する際に、何を含めて何を含めないかしっかり決める」ことです。ここが曖昧なまま質問項目を作成すると、不意に定義に含めていない要素が入り込み、問題が生じてしまいます。

測定したい物事や概念の定義をしっかりと定めて、その定義に含めた特徴を捉え、含めていない側面をできるだけ除いた質問項目を作成することは、質問内容による系統誤差の問題を避けるためだったのです。

そして、心理尺度コラムで紹介した「表面的妥当性」は、この点に関する確認作業に該当します。表面的妥当性とは、ある指標を測定する個々の質問内容が、測定したい物事や概念を適切に捉えられているように見えることを指す妥当性です。

これを詳しく述べると「個々の質問項目が、測定したい物事や概念の定義に沿って作成できていると見なせるか」となります。定義に沿うとは、定義が含めるものを含んでおり、含めないものが混ざっていないことを指します。

表面的妥当性を意識して質問項目をチェックし洗練する作業は、質問内容に含まれる系統誤差をできるだけ除くためにあったのです。

例えば、最初に挙げた上司のサポートの質問項目は、「～してくれる」「～してもらえる」といったありがたさ・感謝の要素が余計でした。そうすると、これを除く修正ができるでしょう（図 7）。

図 7
上司のサポートに関する問題のある項目の修正例

このように、定義に含めていない側面に関する系統誤差に対処するには、とにかく最初の定義を確に定め、質問内容を定義に沿って洗練する作業を徹底することが重要です。

しかし、測定したい物事や概念によっては、どうしても測定したい概念と関係のない系統誤差が入り込んでしまうこともあります。その場合、その系統誤差の内容がどういったものか推測できるなら、系統誤差の要素にあたる指標を測定することで、この問題の検証や対処ができるようになります。

例えば、最初の例に挙げた上司のサポートの質問では、上司のサポートに対するありがたさや感謝が問題になると推測しました。それに対して、「上司への感謝」の指標もサーベイで測定しておきます。

そのデータを使うことで、測定したい物事や概念と異なる系統誤差の要素が含まれているか検証できます。また、その検証で測定に問題があることが示されても、その後の分析で問題に対処できるようになるのです。

まず、作成した質問項目に測定したい概念と関係のない系統誤差が含まれる程度は、弁別的妥当性を検証することで確認できます。これは、心理尺度コラムの脚注[4]にてわずかに取り上げていたものです。

弁別的妥当性とは、作成した質問項目が、「測定したいと思っていない別の物事や概念」との間に関連がない程度を指す妥当性です。測定したい概念とは異なる概念との間にあまり関連がなければ、その異なる概念との弁別ができていると見なされます。

弁別的妥当性が検証していることを理解するため、「測定したい物事や概念と類似した物事や概念との間に十分な関連がある程度」を指す収束的妥当性と並べて、分析イメージを見てみましょう。

図 8
収束的妥当性と弁別的妥当性の検証イメージ

図 8は、上司のサポートのみを測定したデータと、それにサポートへのポジティブな認識を含めて測定したデータで、２種の妥当性を検証した架空例です。

なお、ここでいう支援型リーダーシップは「リーダーである上司が、部下の成長や成功を果たすことを目的として、自身の利益を超えて部下に尽くすこと」を指します[4]。また、上司への感謝は、指標のラベルどおり「上司に感謝の念を抱いていること」を指す概念です。

２つの指標はいずれも、収束的妥当性を検証する指標である支援型リーダーシップとの間に中程度～強い正の相関が示されています。この点でいえば、上司のサポートのみ測定したデータと、サポートへのポジティブな認識も混ぜて測定したデータの両方で、測定したい概念をうまく測定できている証拠が得られています。

一方で、弁別的妥当性を検証する指標の上司への感謝との間には、上司のサポートのみ測定したデータは弱い～中程度の相関にとどまっていますが、サポートへのポジティブな認識も混ぜて測定したデータでは中程度～強い相関が示されています。

この結果から、上司のサポートに加えてサポートへのポジティブな認識も混ぜて測定したデータは、測定したい概念の定義に含めていない「上司への感謝」の要素も大きく含んだ指標であると判断できます。つまり、この問題ある項目は弁別的妥当性が低いということです。

このように、測定したデータに混ざりこんだ懸念のある系統誤差の概念があるならば、そのデータもサーベイで測定しておくことで、定義に含めていない側面が混入している程度を評価・判断できるようになります。

そして、この検証により弁別的妥当性が低い、つまり測定したデータに定義に含めていない要素が混入している問題が示されても、その後の分析で統計的統制を駆使することで、ある程度対処できます。

統計的統制とは、２つの指標がどのくらい関連するか検証するときに、その関連を歪める懸念のある概念のデータも同時に測定して分析に加えることで、その悪影響を統計的に取り除く手続きを指します（VandenBos, 2015）。

例えば、上司のサポートと上司部下関係の良さの相関分析にて統計的統制をするならば、上司への感謝も測定しておき、上司への感謝を統制した偏相関分析を行います。統計的統制をしない相関分析と、偏相関分析の結果の架空例が図 9です。

図 9
単相関分析と偏相関分析の結果の比較例

統計的統制をせず、サポートへのポジティブな認識が混ざった上司のサポートと上司部下関係の良さの相関係数を算出すると、r = .58と中程度～強い相関が示されています。先ほど説明した通り、この相関は上司のサポートに対するポジティブな認識という系統誤差の要素によって大きめに計算された懸念があります。

それに対して、上司への感謝を統制した偏相関分析をすると、相関係数はr = .31となり、小さい～中程度の相関になりました。サポートに対するポジティブな認識の要素で生じた相関の歪みを、「上司への感謝」を統制することで抑えた結果といえます。

このように、系統誤差が混ざりこんだ測定をしたデータであっても、その系統誤差の要素に該当するデータも追加で測定してあるならば、統計的統制によってそれを取り除くことで、この問題を緩和できるのです。

以上のように、定義に含めていない側面の確認・対処には、「質問項目作成時点で、内容をしっかり確認する」ことと、「定義に含めていない要素が混ざりこむ懸念があるなら、その要素に関する指標も追加で測定しておく」ことが有効です。

 

本コラムでは、心理尺度の作り方を掘り下げて、質問内容から生じる系統誤差を中心に「定義に含めていない側面を含めてしまう問題」を解説しました。心理尺度コラムにて定義が取り上げる特徴の境界について強調していたのは、この問題があるためでした。

こうした問題を意識せず、最初の例に挙げたような質問項目をふと作成してしまったことはないでしょうか。この問題は、しっかり意識して取り組まないと、気づかぬうちに質問項目に混ざりこみ、サーベイの結果を歪めてしまうやっかいなものです。

これからサーベイの質問項目を洗練する際には、測定したい物事や概念の定義を定めた際に「何を含めて、何を含めないのか」をしっかり定め、特に「定義に含めていない側面が質問内容に入り込んでいないか」をよく確認するようにしましょう。

 

引用文献

Furnham, A. (1986). Response bias, social desirability and dissimulation. Personality and individual differences, 7(3), 385-400. https://doi.org/10.1016/0191-8869(86)90014-0

南風原 朝和 (2011).　妥当性と信頼性の数理 テストの開発・評価への応用の視点から　CRET（教育テスト研究開発センター）研究会　CRET（教育テスト開発センター）Retrieved April 21, 2023 from https://www.cret.or.jp/files/350846125ec3f223f3f058cd88605095.pdf

南風原 朝和 (2012).　尺度の作成・使用と妥当性の検討　吉田 寿夫・石井 秀宗・南風原 朝和　研究委員会企画チュートリアルセミナー　尺度の作成・使用と妥当性の検討　教育心理学年報, 51, 213-217. https://doi.org/10.5926/arepj.51.213

Podsakoff, P. M., MacKenzie, S. B., Lee, J. Y., & Podsakoff, N. P. (2003). Common method biases in behavioral research: a critical review of the literature and recommended remedies. Journal of applied psychology, 88(5), 879-903. DOI: 10.1037/0021-9010.88.5.879

Song, C., Park, K. R., & Kang, S. W. (2015). Servant leadership and team performance: The mediating role of knowledge-sharing climate. Social Behavior and Personality: an international journal, 43(10), 1749-1760. http://dx.doi.org/10.2224/sbp.2015.43.10.1749

VandenBos, G. R. （Ed.). (2015). APA dictionary of psychology. American Psychological Association.

脚注

[1] 本コラムの主題とずれるため、このように簡略化して述べていますが、この仮説を検証するにあたって、１回のサーベイで得られたデータに対する相関分析のみ行うようなアプローチでは不十分です。詳しくは、弊社コラム「因果関係とはなにか？ 相関関係との違い・検証方法」をご覧ください。

[2] 図 4にある「それ以外の得点要素（系統誤差）」は、前述した社会的望ましさを含めた様々な理由による、測定したい概念と関係ない要素になります。この詳細は、南風原（2011, 2012）やPodsakoff et al. (2003) で詳しく解説されています。

[3] 発展的な議論になりますが、この問題は「ある指標を測定する質問項目全体の内、問題となる系統誤差の要素を含んだ項目がどの程度あるか」で、その影響は違ってきます。この例では全ての項目で「サポートへのポジティブな認識」という同様の系統誤差を捉えていました。仮に、これが３項目中２項目ならば、指標全体の項目の大半を占めるため、やはり同じ問題が生じます。また、３項目それぞれが別個の系統誤差的成分を含むような構成ならば、ここで述べた問題はほぼ生じませんが、α係数が低くなりやすい問題があります。社会心理学における態度測定は、最後のパターンのアプローチを採用しています。

[4] ここで述べたリーダーシップはSong et al. (2015) によるサーバントリーダーシップの説明を参照しています。

---

執筆者

能渡真澄
株式会社ビジネスリサーチラボ フェロー。信州大学人文学部卒業，信州大学大学院人文科学研究科修士課程修了。修士（文学）。価値観の多様化が進む現代における個人のアイデンティティや自己意識の在り方を、他者との相互作用や対人関係の変容から明らかにする理論研究や実証研究を行っている。高いデータ解析技術を有しており、通常では捉えることが困難な、様々なデータの背後にある特徴や関係性を分析・可視化し、その実態を把握する支援を行っている。