2024年5月16日
「有意差」とは何か：人事データ分析の基礎を学ぶ（セミナーレポート）
ビジネスリサーチラボは、2024年4月にセミナー「『有意差』とは何か：人事データ分析の基礎を学ぶ」を開催しました。
皆さんは「有意差」という言葉を聞いたことがありますか。「統計的に有意な差がある」という言い方もします。データ分析の結果を報告する際に聞いたことのある方もいるかもしれません。
今回のセミナーでは、「有意差」とは何を意味するのかを解説します。人的資本経営が進む中、データドリブンな人事の重要性が増しています。データ分析の知識を持つことは有用で、有意差を理解することはその一歩になります。
講師は、株式会社ビジネスリサーチラボ 代表取締役の伊達洋駆と、チーフフェローの藤井貴之が務めます。人事領域の分析経験が豊富な両名が、初学者の方にも理解していただけるように解説します。
※本レポートはセミナーの内容を基に編集・再構成したものです。
「有意差」とは何か
有意差の概要と重要性
藤井：
私からは、有意差とは何かをお話します。まず、有意差という表現に普段から接している方もいれば、今回、初めて有意差について学ぶという方もいると思います。
「有意差」という表現に出会うのはデータ分析の場面です。特に心理学などの学術分野では、論文の結果報告などで頻繁に登場する言葉です。
近年では、人的資本への注目が高まる中で、組織内でのデータ分析や収集、調査が重要視されるようになりました。そうした中で、業務で初めてデータ分析を行う方もいらっしゃると思いますので、そのことを意識しながら説明を進めていきたいと思います。
まず、データを比較することについて考えてみましょう。私たちは現状を確認するときに、データを見て分析します。データには様々な情報が含まれていますので、それを整理し比較していくだけでも、新たな発見があるかもしれません。
例えば、社員の満足度を把握するために、毎年調査を実施し、満足度の指標となるデータを収集するケースを考えてみます。
昨年度の満足度の点数と、本年度の調査で得られた点数があるとします。そのデータを見比べた際、昨年度よりも本年度の点数が下がっていないこと、本年度の方が高そうだということは、一見してある程度わかるかもしれません。
しかし、感覚だけで施策の効果や満足度の向上に言及することは難しいでしょう。そのためには、客観的な根拠を示す必要があります。
一見して数値に差があるように見える場合でも、それが単なる誤差の範囲内である可能性があります。そこで、統計学的な手法を用いて検証を行い、その差が意味のある差であるかどうかを確認する必要があります。
ある施策が満足度の向上に効果的かどうかを確認したい、という場面を考えてみましょう。施策実施前の状態を測定し、実施後に再度満足度を調査します。これにより、施策の前後でデータを比較することができます。
例えば、実施前と比べて満足度の平均点が0.6点上昇していたとします。しかし、この上昇がたまたま起こっただけではないのか、という疑問が生じるかもしれません。
この差が本当に意味のあるものなのかを確認することが重要です。調査の目的は、その施策に効果があるかどうかを知ることにあります。もし効果があるのであれば、施策を推進していくことになるでしょう。逆に効果がないと判断されれば、施策を中止することを検討する必要があります。
そのため、単に数値の差を見るだけでなく、統計学的な手法を用いて、その差が意味のある差であるかどうかを確認することが求められます。この検証により、施策の効果について客観的な判断を下すことができるのです。
統計学的な検証に基づいて、エビデンスに基づく意思決定を行うという流れがあります。この文脈で、有意差という言葉が登場します。
「統計的に有意差がある」という表現は、データ間の差が偶然やランダムな要因だけでは説明できないことを意味しています。つまり、分析結果が単なる偶然ではなく、統計学的に意味のある結果として解釈できるのです。
記述統計と推測統計
データ分析では、グラフや回答データを整理した表などを用いて、得られた結果を確認することがよくあります。属性別に分析を行うことで、より詳細な状況を把握することができます。このように、収集したデータの情報を整理し、内容を吟味していくプロセスを「記述統計」と呼びます。
例えば、満足度について部署別に得点を比較したグラフを見たときに、人事部の得点が開発部よりも高く、開発部が他の部署よりも低いという特徴が見られるかもしれません。
記述統計によってデータの特徴を示すことができますが、これは回答した人たちの実態を説明するものであり、回答者のみで示された結果であることに注意が必要です。
施策の効果などを調べる際には、調査に参加した人だけでなく、回答者候補全体に対して分析結果が示す特徴が当てはまるかどうかが重要です。しかし、記述統計では回答データの特徴を表しているため、その特徴が回答者候補全体に当てはまるかどうかはわかりません。
調査を行う目的は、全体の傾向や特徴を把握することです。調査に参加した一部の人の実態だけでなく、回答者候補全体、例えば、社員全体の特徴について知りたいと考えます。
ここで、調査に参加していない人にも同じことが言えるのかという疑問が浮かびます。全体の傾向や特徴を知りたい時には、「推測統計」という考え方があります。
推測統計は、組織サーベイで得られた回答データから、回答者候補全体の特徴を推測する手続きです。例えば、自社の社員の満足度を知りたい場合、会社の規模によっては全員に対して調査を行うのが難しいことがあります。そのような時に、調査で得られたデータから全体の特徴を推定する手続きです。
推測統計を用いて統計学的な検証を行う際に、「有意差」があるかどうかを検証します。もし差が有意であることが示されれば、得点が上昇したというエビデンスが得られます。
有意差を示すことの意義は、二つの観点から考えられます。一つは客観的な基準に基づく評価、もう一つは一般化の可能性を示唆するという点です。
統計的な手法や基準に基づいて判断することは、より客観的な基準に基づいた評価となります。客観的な検証がなく、グラフのような結果だけが示されて「下がりました」と報告された場合、たまたまそうなっただけではないかと疑問に思うかもしれません。見た目や数値を単純に見ただけで、何となく差がありそうだと判断するのではなく、しっかりとした基準を持って差があると言えることが大事です。
一般化の可能性という観点では、調査から見えてきたことが他の人にも同じように言えるのかを考えることができます。記述統計では、調査に参加した人の結果に限られていますので、調査に参加しなかった人にも同じことが言えるのかが気になるところです。
推測統計を用いることで、その検証ができます。回答データがない社員、例えば、全社員にも同じような特徴があると言えるかどうかを検討することができるのです。
有意差の検証方法
ここから、有意差をどのように検証するのか、その統計学的な説明を紹介します。ただ、ここで示す内容は統計学的な表現が多く、難しい部分もあるかもしれません。
今回、有意差を初めて知る方にとって、このような表現を読んでもその意味合いを捉えるのは難しいかと思います。今後、分析をしていく中で有意差という表現に出会ったときに、この話を思い出して、学びの手がかりにしていただければと思います。
まず、統計学的手法の一つに仮説検定があります。これは、検証したいことを母集団（調査に参加しなかった人も含む回答候補者全体）の仮説としてまとめ、その仮説を否定する帰無仮説を検討する手続きです。
例えば、ある施策を行うことで社員の満足度が上がるかどうかを知りたい場合、「施策実施後の満足度の得点は、実施前よりも高い」という対立仮説を立てます。そして、この対立仮説に対して、「施策実施前と実施後で満足度の得点に差はない」という帰無仮説を設定し、検定を行います。
仮説検定では、分析結果に基づいて帰無仮説を棄却するか否かを検討します。帰無仮説を棄却した場合、元の仮説を支持することになります。つまり、「母集団では、実施前よりも実施後の方が満足度の得点が高い」という仮説を支持するということです。逆に、帰無仮説を棄却しない場合には、支持できる仮説がなく、判断を保留することになります。
帰無仮説を棄却するかどうかを判断するために、p値という指標を計算します。p値は、帰無仮説が正しいと仮定したときに、今回の回答データと同じか、それよりも極端なデータが得られる確率を表します。
また、t検定という手法もよく使われます。これは二つの得点の平均が異なるかを評価する仮説検定の手続きです。例えば、二つのグループの得点差が、グループの違いを反映したものなのか、偶然そうなったのかを検証します。t検定で有意差があることがわかれば、測定された得点差が偶然によるものではなく、施策の効果を反映していると示唆されます。
ただし、調査対象者以外の社員にも同様の効果があるとの判断は慎重に行うべきです。調査の対象者が母集団を適切に代表しているかどうかを吟味する必要があります。
また例として、社員の満足度が施策を実施して高くなったのかを知りたいという場面を考えてみます。施策の実施前後での満足度を調査した結果、事前は3.5点、事後は4.1点という平均値がそれぞれ出たとしましょう。t検定を行った結果、有意差が認められれば、事前と事後の差には意味があり、社員の満足度は施策の実施によって変化したことが考えられます。
しかし、組織サーベイを行っていく中で限界があることにも注意が必要です。まず、集められるデータには限りがあります。全社員からデータを集めるのは、コストの面もあり、困難があると思います。
そのため、ある程度以上のサンプルを集めて、そこから全体像を推測していくことになります。母集団の性質を推測する際に特に注意すべきなのが、サンプル抽出の方法です。サンプルの偏りによって推定結果にバイアスが生じる可能性があるためです。
例えば、調査に参加できたのが特定の部署の社員だけだった場合を想像してみてください。実態を確認すると、その部署は年間を通して仕事量も安定しており、時間的にも余裕がある部署であることがわかりました。一方で、調査に参加できなかった他の部署は仕事に追われていて、調査に参加する余裕すらないような忙しさでした。このような実態がある場合、得られたデータから他の部署や全社員の様子を推測するのは適切ではありません。
業務でデータ分析を任される際に、データだけ渡されて、どのような状況でデータが収集されたのかわからないこともあるかもしれません。そのような場合、統計的な検定によって有意差が出たからといって、結果を過度に信じすぎたり、解釈しすぎないように注意が必要です。
有意差の活用と留意点
有意差を活用できる場面
伊達：
私からは、有意差の活用と留意点についてお話しします。人事データ分析の領域において、有意差を活用できるケースは数多くあります。
有意差を検証する手法の一つ、t検定に注目します。t検定は、2つのグループの平均値に統計的に有意な差があるかを検証する方法です。
例えば、ある会社の30代社員が20代社員と比べて、上司からの支援が十分に得られていないのではないかという仮説を立てたとします。30代社員は職場で一人前として活躍しているため、上司から支援する必要性が低いと考えられているかもしれません。
t検定によって、30代社員の上司からの支援が20代と比べて有意に低いことが明らかになったとすれば、30代社員に対して上司からの支援が得られるような対策を講じる必要があります。上司と部下の定期面談の機会を設けるなどして、関係性を強化することが考えられます。
別の例として、研修の効果検証にもt検定が活用できます。例えば、研修を受けた人は受けていない人と比べて、リーダーシップの評価が高いという仮説を立てたとします。これは、研修でリーダーシップのスキルを習得し、発揮してくれることを期待しているためです。
分析の結果、受講者のリーダーシップ評価が未受講者よりも有意に高いとなれば、研修の効果が認められたと考えられます。効果のある研修であるため、受講者の範囲を広げていくことが望ましいでしょう。
このように、人事領域では有意差を検証すると良い場面があります。逆に、有意差検定を行わずに施策の効果を評価したり、課題を抽出したりすることは危険です。
なぜなら、有効ではない施策を継続してしまったり、有効な施策を中止してしまったりする恐れがあるからです。単純にデータを比較するだけでは、誤った判断を下してしまうリスクがあります。
例えば、ある研修の前後でリーダーシップ評価を比較し、2ポイントの上昇が見られたとします。しかし、t検定を行ったところ、その差が統計的に有意ではないことがわかりました。
もしもt検定を行っていなければ、2ポイントの上昇をもって研修の効果があったと誤って判断し、効果のない施策を続けてしまうかもしれません。
また、有意差を確認しないと、課題を見過ごしたり、重要な課題を特定できなかったりする可能性も高まります。例えば、部門Aと部門Bのエンゲージメント・スコアを比較し、部門Aが3ポイント低かったとします。
しかし、t検定を行ったところ、統計的に有意な差ではないことがわかったとします。もしもt検定を行っていなければ、部門Aの部門長を責めることにもなりかねません。
人事の判断や意思決定は、社員に大きな影響を及ぼします。給与やキャリアに直結する評価制度の設計や、社員の能力開発に関わる教育研修の企画など、人事の施策は組織と個人の将来を左右し得ます。
だからこそ、できる限り誤りの可能性を減らす努力が不可欠です。有意差を検証することは、誤りの可能性を減らす手段の一つと言えます。
有意差の注意点
しかし、有意差の検証は万能ではありません。統計的に有意な差が認められたとしても、そのことだけですべてを結論づけるべきではありません。t検定の結果を過信せず、様々な観点から多角的に検討することが重要です。
まず、有意差は差の大きさを保証するものではありません。差の大きさを解釈するには、例えば、効果量と呼ばれる指標を参考にします。統計的に有意な差があっても、実質的には差が小さいということはあり得ます。
特に、大規模な組織サーベイではサンプルサイズが大きくなるため、小さな差でも有意になりやすくなります。有意差だけでなく、効果量にも注目しましょう。
また、有意差は因果関係を直接示すものではありません。差が認められたからといって、すぐに因果関係があると結論づけるのは早計です。
例えば、オフィス勤務者と在宅勤務者のパフォーマンスを比較し、在宅勤務者の方が有意に高かったとします。しかし、元々パフォーマンスの高い人が在宅勤務を選んでいる可能性や、仕事の内容や自律性など他の要因が影響している可能性も考えられます。
有意差が認められた場合でも、経験則と照らし合わせたり、別の解釈の可能性を検討したり、結果を裏付ける理論やエビデンスがないかを確認したりすることが大切です。データ分析と経験則は対立するものではなく、互いに補完し合う関係にあります。
最後に、有意な結果が得られたとしても、測定の精度が低ければ、その結果に基づく意思決定は危険です。特に組織サーベイでは、質問項目の妥当性や信頼性をきちんと確認する必要があります。
適切な調査設計の上で有意差を検証することに意義があります。曖昧な質問や不適切な尺度を用いた組織サーベイでは、いくら有意差が出たとしても、その結果は当てになりません。
Q&A
Q：t検定の算出例およびそれに基づいた有意差の例を教えていただけますか。
藤井：
当社チーフフェローの能渡が執筆したコラム[1]に、t検定の枠組みと具体的な数式、p値の計算方法が示されています。そちらを参考にしていただければ幸いです。
伊達：
私自身も数年前にt検定の算出プロセスを解説したセミナーレポートを上げています[2]。そちらもご覧ください。
Q：効果量だけ見れば良く、p値は気にしなくていいという理解でいいですか。
伊達：
両方とも見ていただくのが良いです。p値は有意差があるかどうかを見ます。有意差がある場合に、その差がどれくらい大きいのかを考えるときに効果量が便利です。
Q：効果測定を行う際、効果量について、どのような観点で評価すれば良いでしょうか。
伊達：
0.5以上では中程度など、効果量を評価する基準が示されています。当社のコラム[3]でも確認できます。ただし、効果測定を行う際は、調査の設計や計画が重要です。実験群と対照群を設定したり、測定する項目の性能を考慮したりすることが求められます。
Q：分析はExcelでもできるものですか。
藤井：
分析によってはExcelでできるものもあります。また、ExcelのVBAを用いたHADなどの無料の統計ソフトを使うこともできます。
Q：データ分析にあたり、統計学の理論はどれくらい理解しておくとよいですか。
伊達：
基礎的なことは理解しておくに越したことはありません。例えば、t値の計算式を理解していれば、どういう場合にt値が大きくなりやすいかがわかります。ただし、統計学を学ばないとデータ分析を試行してはいけないというものではありません。データを触りながら、結果の意味を調べるというのも学びになります。
脚注
[1] 人事のためのデータ分析講座「統計的に有意」を学ぶ（セミナーレポート）
[2] 人事のためのデータ分析入門：「統計的に有意」とは何か（セミナーレポート）
登壇者
伊達 洋駆 株式会社ビジネスリサーチラボ 代表取締役
神戸大学大学院経営学研究科 博士前期課程修了。修士（経営学）。2009年にLLPビジネスリサーチラボ、2011年に株式会社ビジネスリサーチラボを創業。以降、組織・人事領域を中心に、民間企業を対象にした調査・コンサルティング事業を展開。研究知と実践知の両方を活用した「アカデミックリサーチ」をコンセプトに、組織サーベイや人事データ分析のサービスを提供している。著書に『60分でわかる！心理的安全性 超入門』（技術評論社）や『現場でよくある課題への処方箋 人と組織の行動科学』（すばる舎）、『越境学習入門 組織を強くする「冒険人材」の育て方』（共著；日本能率協会マネジメントセンター）などがある。2022年に「日本の人事部 HRアワード2022」書籍部門 最優秀賞を受賞。
藤井 貴之 株式会社ビジネスリサーチラボ チーフフェロー
関西福祉科学大学社会福祉学部卒業、大阪教育大学大学院教育学研究科修士課程修了、玉川大学大学院脳情報研究科博士後期課程修了。修士（教育学）、博士（学術）。社会性の発達・個人差に関心をもち、向社会的行動の心理・生理学的基盤に関して、発達心理学、社会心理学、生理・神経科学などを含む学際的な研究を実施。組織・人事の課題に対して学際的な視点によるアプローチを探求している。
