ビジネスリサーチラボは、2024年7月にセミナー「人事施策の”効果測定”入門：データで成果を見える化する」を開催しました。

新しい研修や制度など、人事施策を実施した後、その効果を測定していますか。本当に効果があったのか、次にどう活かせば良いのかと悩む企業は少なくありません。

本セミナーでは、人事施策の効果測定について解説します。統計学の知識がなくても理解できるよう、わかりやすく説明します。

本セミナーを通じて、データに基づいた効果測定の方法を学べます。施策の効果を可視化し、PDCAサイクルを回していきませんか。

※本レポートはセミナーの内容を基に編集・再構成したものです。

効果測定の概要

人事施策の効果測定は重要な課題の一つです。しかし、効果測定を行う前に、私たちは「効果」という言葉の意味を理解する必要があります。効果と変化は異なります。変化は前後で状況が異なることを指しますが、効果は意図した変化を意味します。

例えば、社員の平均残業時間が減少したという変化があったとしても、それが施策による意図的な変化ものでなければ「効果」とは言えません。一方、残業削減施策を実施した結果、平均残業時間が減少した場合は「効果」があったと言えます。

つまり、「こうしたい」という目標があり、それが実際に達成されたかどうかを確認することが効果測定なのです。

効果測定を行う上で大事なのは、まず明確な意図を持つことです。その人事施策によって何をどのように変えたいのか、どんな変化を引き起こそうとしているのかを考える必要があります。さらに言えば、施策の実施に先立って、この意図を明確にしておきましょう。効果測定ができるように施策を設計し、実施しなければなりません。

効果測定において避けるべき悪い例として、漠然と人事施策を講じた後、とりあえず何か変化が起きたかどうかを手当たり次第に調べるというアプローチがあります。例えば、新しい評価制度を導入した後、社員満足度、生産性、離職率など多くの指標を無計画に調査し、どれか一つでも改善していれば「効果があった」と結論づけるような方法です。

これは変化を観察しているだけであり、効果測定とは言えません。人は少しずつ変化しているものです。何かしらの変化は見られるでしょう。

効果測定を適切に行うためには、施策の実施前に、どのような変化を意図しているのかを定義する必要があります。その人事施策は誰の、何を、どのように変えることを目指しているのか。これを考え、明文化することが、効果測定の出発点となります。

例えば、新しい研修プログラムを導入する場合、「営業部門の従業員の商品知識を20%向上させ、顧客対応の満足度を15%改善する」などの目標を設定します。このように目標を持つことで、効果測定の指標や方法も自ずと明らかになります。

効果測定の基本的な流れ

人事施策の効果を測定するための基本的な流れを紹介します。応用や派生的な手法については後ほど触れることとし、まずは確実に押さえておきたい要素に焦点を当てます。

1. 施策の目標を明確にする

効果測定の第一歩は、人事施策の目標を明確に定義することです。誰の、何を、どのように変化させたいのかを具体的に決めます。

この段階で重要なのは、設定する目標が現実的で達成可能なものかを検討することです。目標と施策との間に論理的なつながりがあるか確認し、なぜその施策によってその変化が起こると言えるのかを説明してみましょう。

野心的な目標は従業員を動機づける上で有効ですが、非現実的な目標設定は避けるべきです。納得できる理由を示せない場合は、目標設定を見直す必要があるかもしれません。

2. 指標を選択する

次に、設定した目標を測定するための指標を選びます。例えば、オンボーディング施策の場合、離職意図を20％下げることや実際の離職率を10％下げることなどが指標として考えられます。

選んだ指標が本当に目標とする変化を反映しているか検討しましょう。場合によっては、複数の指標を組み合わせることで、より包括的な評価が可能になります。また、指標は定量的に測定可能なものを選びます。

3. 測定方法を決定する

選んだ指標をどのように測定するかを決めます。アンケート、システムログ、業績データなど、様々な方法が考えられます。選択した測定方法が実行可能で信頼性が高いかを確認しましょう。

データ収集に他部門の協力が必要な場合は、早めに調整を行い、確実にデータを入手できるか確認しておきます。また、測定方法によってはバイアスが生じる可能性があるため、その点も考慮に入れる必要があります。

4. ベースラインを測定する

人事施策を実施する前の状態を測定し、これをベースラインとします。このステップは重要です。なぜなら、ベースラインが変化の起点となり、後の効果測定の基準値となるからです。

施策が終了してから効果測定を検討し始めるのでは遅すぎます。施策開始前にベースラインを測定しておきましょう。ベースライン測定時の状況（評価制度を変えた直後、特殊な事業環境など）を記録しておくことも重要です。これらの要因は分析結果の解釈で使えます。

5. 施策を実施する

計画した人事施策を実行します。施策の設計が、意図した変化を引き起こすものになっているかを確認しましょう。施策実施前に、もう一度目標と施策内容の整合性をチェックします。施策実施中に予期せぬ問題や変更が生じた場合は、それらを記録しておきます。

6. 施策後の再測定

施策実施後、再度測定を行います。そのことによって、施策という介入によって意図した変化が実際に起こったかどうかを確認できます。ベースライン測定時と同じ方法で測定することで、比較可能なデータを得ることができます。

7. データ分析

最後に、収集したデータを分析します。施策前と施策後で意図した変化が起きていたかを確認します。数値の増減を見るだけでなく、統計的な分析を行うことが望ましいと言えます。例えば、t検定を使用して、施策前後で有意な差があるかを検証することができます。効果量も確認すると良いでしょう。

応用編①：対照群の設定

効果測定の基本的な手順を守ることは大事ですが、それだけでは限界もあります。例えば、時間経過に伴う自然な変化と施策による変化を区別することが難しく、また、施策以外の要因が結果に影響を与える可能性もあります。

これらの限界に対処するために、対照群を設定することが有効な方法となります。対照群とは、施策を受けないグループのことを指します。一方、施策を受けるグループは介入群と呼ばれます。

効果測定を行う際は、両グループに対して施策の実施前後で指標の測定を行います。例えば、介入群において施策後に肯定的な変化が見られ、かつその変化が対照群の変化よりも大きい場合、施策に効果があったと判断できます。

このような比較をより精緻に行うためには、統計分析を活用することが望ましいです。例えば、二要因反復測定分散分析を用いて、交互作用効果を検証することができます。対照群と比較して介入群で施策前後の変化が有意に大きいことが示されれば、施策の効果を裏付ける証拠となります。

対照群の選定方法も重要です。理想的には、介入群と対照群の両方をランダムサンプリングで選ぶことですが、現実的には困難な場合が多いでしょう。次善の策として、介入群と類似した特性を持つグループを対照群として設定します。

例えば、組織内で類似した部門を選ぶ方法があります。具体的には、新しい営業研修プログラムを導入する場合、営業1課を介入群（研修を受ける群）とし、営業2課を対照群（従来通りの群）とするなどです。

また、介入群の従業員と似た特性（年齢、勤続年数、職位など）を持つ従業員を対照群として選ぶことも考えられます。さらに、施策を段階的に導入する場合、まだ施策が導入されていないグループを一時的に対照群として扱う方法もあります。

より高度な手法としては、介入群と対照群の特性の違いを統計的に調整する方法があります。例えば、傾向スコアマッチングなどの手法がありますが、これらの専門的な分析手法を適用する際は、専門家のサポートを受けることが推奨されます。

効果測定の結果を解釈する際は、前後比較だけでなく、対照群との比較を含めた総合的な分析が必要です。例えば、以下のようなデータがあったとします。

• 対照群：事前 0　事後 5.2
• 介入群：事前 5　事後 6.0

このケースでは、介入群の変化（1.5ポイント上昇）が対照群の変化（0.2ポイント上昇）よりも大きいことから、施策に一定の効果があったと推測できます。ただし、こうした数値の違いが統計的に有意かどうかを確認するためには、統計分析が必要です。

なお、より高度な分析手法として、差の差分析や潜在差得点モデルなどがありますが、これらの詳細な説明はここでは省略します。専門的な統計分析が必要な場合は、専門家のアドバイスを求めることで、より信頼性の高い結果を得ることができます。

応用編②：持続性と改善策

施策実施直後に目に見える効果が現れたとしても、それが一時的なものである可能性は否定できません。例えば、研修直後は受講者の意識が高まり、行動変容が見られることがありますが、時間の経過とともにその効果が薄れていく可能性があります。1ヶ月後には研修内容をすっかり忘れてしまっているケースも珍しくありません。

したがって、効果の持続性を検証することが、人事施策の長期的な価値を理解する上で重要です。効果の持続性を測定するためには、施策実施前、実施直後、そして一定期間経過後の3回にわたってデータを収集します。

この方法により、どの時点で効果が低下し始めるかを特定することができます。通常、3回目の測定結果は2回目よりも低下しますが、その低下幅が小さければ、効果が比較的長期間維持されていると判断できます。効果の持続性を評価するためには、対照群との比較が有効です。

効果の持続性を検証することで、人事施策の長期的な価値が明らかになります。さらに、どの時点で効果が減衰するかがわかれば、そこに焦点を当てた改善策を講じることができます。例えば、研修効果が1ヶ月後に急激に低下することがわかれば、1ヶ月後のフォローアップを実施するなどの対策を取ることができます。

次に、効果測定でよくある問題として、効果の有無は確認できたものの、それを受けてどのように改善すべきかがわからないというケースがあります。つまり、効果測定の結果が具体的な改善策につながらないのです。

この問題を解決するためには、効果測定において効果の指標だけでなく、効果に影響を与える要因も同時に測定することが重要です。例えば、研修効果を高める要因として上司のサポートが考えられる場合、研修後のサポート状況を受講者にアンケートで尋ねます。

要因と効果の関連性を分析することで、効果の高低に影響を与えるものを特定することができます。例えば、上司のサポートが充実している人ほど研修効果が高いという結果が得られれば、上司のサポート体制を強化することが効果を高める改善策となります。

要因の測定とその分析を行うことで、効果測定の結果をPDCAサイクルに組み込むことが可能になります。効果の有無を確認するだけでなく、効果を高めるための示唆を得ることができます。

意図せざる変化を捉えるために

人事施策を実施する際、明確な意図が必要で、それが効果測定の前提になることを指摘しました。それはそれで大事です。しかし、人や組織は複雑なシステムであり、意図せざる変化が生じることがあります。

例えば、生産性向上を目的としたテレワーク制度の導入が、予想外に従業員の創造性の向上につながるかもしれません。あるいは、リーダーシップ育成プログラムが、参加者間の横のつながりを強化し、部門を越えた協力体制の構築に貢献するかもしれません。

これらの、意図せざる変化は悪い方向にも働く可能性があります。例えば、業務効率化のための新システム導入が、従業員のストレス増加や職場の人間関係の希薄化を引き起こすかもしれません。

インタビューなどを通じて、意図せざる変化を捉えるのも有効です。オープンエンドな質問を用いることで、当初想定していなかった変化や影響を引き出すことができます。

例えば、「この施策によって、あなたの仕事にどのような変化がありましたか？」「予想外の影響や変化はありましたか？」といった質問を投げかけることで、多様な視点からの気づきを得ることができます。

アンケート調査においても、自由記述欄を設けることで意図せざる変化を捉える機会を作ることができます。「その他の影響や変化があれば自由にお書きください」といった項目を追加することで、想定外の効果を拾い上げることができます。

Q&A

Q：企業で施策の効果を測る際、平等な機会を考えると対照群を設けるのが難しい場合、どのような工夫が考えられますか。

効果測定の際、対照群を設定する方法は、施策が全社一律で行われるか部分的に行われるかで異なります。全社一律の場合は、実施のタイミングをずらすことで一時的な対照群を作り出せます。一方、部分的な施策の場合は、施策を行っていない部署や人たちが対照群となります。また、「介入群」や「対照群」という用語を使わずに「組織サーベイを実施する」などの表現に置き換えることで、社員の不安を和らげることができます。

Q：エンゲージメントサーベイを実施して、課題を見つけて施策を行い、毎年同じ時期にサーベイを実施することで数値を向上させるという方法は妥当でしょうか。

適切なアプローチと言えます。課題を見つけ、その解決のために具体的な施策を実行し、指標と施策を関連付け、翌年以降のサーベイで指標が向上したかどうかを確認できれば、意図した変化を測定する効果測定となります。ただし、エンゲージメントを高めることが組織にとって重要な目標である必要はあります。

Q：効果測定を行いたいのですが、最近はアンケートが多く、社員がアンケート疲れをしています。何か良いアイデアはありますか。

既存のアンケートデータを活用することをおすすめします。毎年実施しているストレスチェック、エンゲージメントサーベイ、コンプライアンスサーベイなど、定期的に取得しているデータを活用できます。既存のアンケートの中に、施策で高めたい指標が含まれていれば、それを活用して効果測定ができます。

Q：サーベイの結果をフィードバックしたところ、個人が特定される事態が起きました。効果測定の観点から、このような事態を防ぐ方法はありますか。

フィードバックを行う際は、個人を特定できないよう全体的な傾向や主要な発見を共有しましょう。また、フィードバック後に従業員の意見を聞く機会を設けることも重要です。これにより、新たな情報を得られる可能性があります。

Q：効果測定の結果を他社や業界平均と比較することは意味がありますか。

他社比較には一定の意味がありますが、解釈や活用は難しいです。企業によって文化や市場環境が異なるため、単純に数値の高低で判断するのは危険です。むしろ、自社の過去の結果と比較する方が有益な場合が多いと言えます。経年変化を確認することで、施策の効果を把握できます。

Q：効果測定の結果、効果が見られなかった施策をどう扱うべきでしょうか。

効果が見られなかった場合、まずはなぜ効果が見られなかったのかを多角的に検討しましょう。施策の実施方法や内容、効果測定の方法に問題がなかったか、予期せぬ外部要因の影響はなかったかを確認します。その上で、施策の改善、代替案の検討、または中止の判断を行います。また、全体では効果が見られなくても、特定の層には効果があった可能性もあるため、データのばらつきにも注目すると良いでしょう。

---

登壇者

伊達 洋駆　株式会社ビジネスリサーチラボ 代表取締役
神戸大学大学院経営学研究科 博士前期課程修了。修士（経営学）。2009年にLLPビジネスリサーチラボ、2011年に株式会社ビジネスリサーチラボを創業。以降、組織・人事領域を中心に、民間企業を対象にした調査・コンサルティング事業を展開。研究知と実践知の両方を活用した「アカデミックリサーチ」をコンセプトに、組織サーベイや人事データ分析のサービスを提供している。著書に『60分でわかる！心理的安全性 超入門』（技術評論社）や『現場でよくある課題への処方箋 人と組織の行動科学』（すばる舎）、『越境学習入門 組織を強くする「冒険人材」の育て方』（共著；日本能率協会マネジメントセンター）などがある。2022年に「日本の人事部 HRアワード2022」書籍部門 最優秀賞を受賞。東京大学大学院情報学環 特任研究員を兼務。