○研修評価に関するメタ分析やレビュー論文等（6本）
＝＝＝
Lai, Yanqing , Garavan, Thomas, McCarthy, Alma, Sheehan, Maura, Carbery, Ronan and Murphy, Kevin (2021)
Training and Organizational Performance: A Meta-Analysis of Temporal, Institutional and Organizational Context Moderators.
Human Resource Management Journal, 31 (1).pp. 93-119.
○タルハイマー先生（2024）で紹介されていた最近のメタ分析論文。
・システム理論を基に、119の実証研究（1985年～2019年）で得られた313の効果量を、3つのレベルで、メタ分析した。
・Tharenou et al.（2007）のメタ分析 ○これはGetした。読んでみよう。
・独立変数に、Training研修。従属変数に、Organizational Performance組織実績を置いた。
・過去のメタ分析（Tharenou et al. 2007、Jiang et al. 2012）を参考に、組織実績を、「Operational Performance行動成果、業務実績」と「Financial Performance財務実績」に分けた。
・Operational Performanceの指標として、従業員の生産性、イノベーション、品質、顧客満足がある。
・Financial Performanceの指標として、ROA、ROE、Sales売上、利益率がある。
・研修は、直接的な正の効果（β＝0.25）を、組織実績に対して持っていた。
・この関係は、年を経るごとに強くなっていた（β＝0.01）
・儒教国、アフリカ、東ヨーロッパ、中東といった「Low performance oriented culture」のほうが、研修による効果が強かった（β＝－0.10）
・Labor cost人件費が安い国の方が、研修による効果が強かった（β＝－0.13）
○日本は、研修による効果が、欧米白人国家よりも、強くでるのかも。
・業界（製造、サービス）、従業員規模、技術重視といった変数は、Moderating effects 調整効果を持っていなかった。
・研修の種類（汎用的か、企業特殊か）は、組織パフォーマンスとの関係に、調整効果を持っていなかった。
・本メタ分析では、研修と組織実績のCorrelation相関係数は、0.25であった。このEffect size効果量は、これまでの研究よりも高い数値である。
（例：Combs et al.2006では、効果量0.15、Subramony2009では、効果量0.12等）
○βと相関係数は、たまたま、0.25になっただけ。β＝標準化された数値＝効果量（生の数字ではなく、標準化したもの。メタ分析をする際に、単位の違うものを合わせるため）←統計に詳しい増田さんに教えてもらった。
・研修は、組織実績につながる重要なHR施策であると言える。
・研修への投資は、組織実績を向上させることにつながる。研修の標準偏差が1上がると、組織実績の標準偏差が0.25上がることになる。
○これも勇気づけられる結果だよな～。研修投資は、組織実績に、プラスの効果を生む！
＝＝＝
T.Sitzmann and J.M. Weinhardt (2019)
Approaching evaluation from a multilevel perspective: A comprehensive analysis of the indicators of training effectiveness.
Human Resource Management Review, 29 pp.253-269.
○これも、タルハイマー先生（2024）のお薦め。34ドルで購入。
評価研究で著名なコロラド大のSitzmann先生。AOMでセッションに参加したこともある。
・本稿では、カークパトリックの4レベル評価を超えて、Multilevelマルチレベルの研修評価枠組みを提示したい。
・Training utilization研修利用度は、評価理論から無視されてきた。
・Enrollement登録、出席、 Attrition 離脱、脱落
・オンラインコースにおいて、受講者の82～95％が、修了前に離脱していた（Korn and Levitz 2013）
・離脱は、研修で無視されがち。統計分析においても、離脱者は、Nuisance variable迷惑変数として扱われる。
・Affective Effectiveness indicators 感情効果指標：Satisfaction満足、Self-efficacy自己効力感、Motivation意欲
・満足は、学習に影響を及ぼさず、逆に、学習が満足に影響を及ぼしている（Sitzmann et al. 2017）
・満足度を高める研修を組み立てても、学習は向上しない（Uttl, White, and Gonzalez 2016）
・カークパトリックの評価モデルは、満足度調査に重きを置くものになってしまった。
・Training should be designed to promote self-efficacy and then to reinforce it afterward.（Salas, Tannenbaum, Kraiger, and Smith-Jentsch, 2012）
・自己効力感と学習、研修転移には、正の関係がある（Blume et al.2010等のメタ分析結果）
・研修前と後の意欲は、研修参加に向けてのレディネスと、研修後の転移に影響する（Noe, 2018）
○Motivationに関する論文も印刷したから、あとで読んでみよう。
・Training Reputation研修の評判
・研修の存在が、Being known知られて、Favorability好感を持ってもらうために、感情指標は重要。
○確かにそうだよな～。評価の目的の一つ「マーケティング」（Kreigar 2002）にもつながる。
・Performance Effectiveness indicators パフォーマンス効果指標：学習、人的資本、研修転移、組織・チームパフォーマンス
・1980年代から、研修転移は10％ほどしか起こってないと言われてきている（Baldwin & Ford,1988; Detterman, 1993 Ford, Yelon, & Billington,2011等）
・転移の測定は、チャレンジングである。
・マクロレベルでは、「研修文化」は、研修転移にトップダウン効果がある（Sitzmann ＆ Weinhardt 印刷中）上司と同僚の支援も転移には重要。
・Financial Impact 財務影響：Personal ROI個人ROI、Organizational ROI組織ROI
・学位取得やリーダーシップ開発はリターンの大きい投資である。
・研修と財務の関係をメタ分析した結果、0.04という低い数値が出た。その反面、マネジャーと経営陣が認知する財務と研修の関係には正の効果（ｐ＝0.30）があった（Tharenou, Saks, & Moore, 2007）
○Tharenouら（2007）のレビュー論文も読んでみよう。
・これら大きく4つの研修評価指標の関係性を、理論面から検討する（実証研究はされていない）
・評価の最初の一歩は、評価の目的が何かを問うことである（Kraiger 2002）
○これほんとそうだよな～。Kraiger2002を読んでみよう。←Amazonで調べたら、2021年にKindleで買ってた！この機会に読もう。
＝＝＝
P.Tharenou, A.M. Saks, & C.Moore (2007)
A review and critique of research on training and organizational-level outcomes
Human Resource Management Review 17 pp.251–273.
・67の実証研究をメタ分析。
・研修は、HR outcome HR結果、Org. performance組織実績と、正の関係があった。
・SHRM研究の中で、研修がいかに組織結果につながるのかを説明するモデルがある。
１）Resource-based view 人的資本への研修投資が、従業員の能力を高め、それが組織結果につながる
２）Behavioral perspective 組織で期待される役割行動を果たすことで、組織結果につながる
３）Cybernetic systems models 従業員のKSAs（Input）→従業員の行動（Throughput）→組織結果：生産性、満足度、離職率（Output）
・Kozlowski et al.（2000）は、研修転移に焦点を当てている。「なぜなら、転移こそが、研修が、組織効果に影響を及ぼす primary leverage point 主要なレバレッジポイント（梃子）だからである」
○この文献、探して読んでみよう。
・多くの理論は、直接の線系の関係を、研修と組織結果の間に見ている。いくつかのSHRM理論では、違う関係も検討している。
・67の実証研究をメタ分析した結果
・研修とHR結果の関係において、効果量は、0.20。客観的指標だと、0.17。主観的指標だと、0.24であった。
・研修と組織実績との関係において、効果量は、0.21。客観的指標だと、0.14。主観的指標だと、0.27であった。
・研修とFinancial outcomes財務結果との関係において、効果量は、0.15。客観的指標だと、0.04。主観的指標だと、0.30であった。
・HR結果が、研修と実績の関係を、Mediate媒介している。
・個人レベルの結果が、組織レベルの結果にどうつながるのかが、まだ明らかになっていない。
・Micro-macro link
・研修転移（個人レベル）が、組織結果（組織レベル）をつなぐのではないか。
○お～。こここそまさに、研修評価研究所で取り組んでいる点。「転移」こそが、研修と成果をつなぐ鍵。
＝＝＝
Kurt Kraiger ed.(2001)『Creating, Implementing, and Managing Effective Training and Development: State-of-the-Art Lessons for Practice』(J-B SIOP Professional Practice Series Book)
Chapter 11 Kurt Kraiger（2001）Decision-Based Evaluation
○Sitzmann＆Weinhardt (2019)に載ってた文献（本の11章）
・評価に関する意思決定の最初の一歩は「何のために評価するのか」という目的の明確化である。
○これ、ほんとそうだよな～。なんとなく今までもやってきたから、アンケートを取り続けているとか。そもそも「評価」しようとしてないこともある。
・研修評価の3つの目的：１）意思決定 ２）フィードバック ３）マーケティング
１）研修に関する意思決定をする為に必要なインプットを提供することが、評価の1番目の目的である
２）研修設計者、講師、受講者に、フィードバックを提供するのが、評価の2番目の目的である
３）研修プログラムのマーケティングが、評価の3番目の目的である
・なぜ、研修評価が行われてこなかったのか。
・組織から必要と必要とされなかったことが、一番の理由。つぎに、費用と時間の不足。評価手法の欠如。
・評価モデルが、不明確でシンプルでないのが、その一因では（Twitchell et al.2001）
・評価の難しさは、「いつ評価をするか」「研修効果をどう分離するか」にあるのでは。
・定期的に、組織内で研修が効果的に活用されていることを示していれば、組織の意思決定権者たちは、研修が「効果的に行われているようだ」という印象を持つ。多くの場合、それで充分である。
○これもそうだろうな～。経営陣にしてみれば、研修担当が、研修をやりっぱなしにせずに、ちゃんと追っていて、それを適宜報告してくれれば、それで十分そう。それが無い中、不信感が募ってくると「研修やって、なんか効果があったのか？」と言ってきそう。不信、不安の裏返しかも。
・Learning outcome学習結果は、Affective、Behabioral、Cognitive（学習のABC）に整理される。
・行動を測定するには、行動チェックリスト、ロールプレイ、行動観察、業績考課等の手法がある。
・自己効力感は、研修転移と継続的職場学習を予測する主要な要因である。
・受講生が研修で学んだスキルを職場で活用し、それがより効果的なパフォーマンスに繋がれば、組織結果にも影響する。
・もし受講生が、古い習慣に戻ってしまったのならば、研修効果は無かったと言える。
・Sufficient evidence十分な証拠
・評価者の役割は、研修効果をProve確証することではなく、何かが起こった時（行動変化や組織結果への影響）その前かその時に、研修が存在したことと、研修がそれらの変化や影響に何らかの原因を持つ可能性があるという証拠を示すだけで良い。
・高い品質のしっかりした評価設計は不要かもしれない（Sackett & Mullin,1993; Tannenbaum & Woods,1992)
・実験群を使わなくても、普通に論理的に説明すれば、研修効果を示せることもある。
・Bassi & Ahlsrand(2000)のように、受講者本人に研修前に比べて現状どれだけ向上したかを推定してもらうのも、研修効果の分離を図る一つの方法である。
・公式でない評価設計でも、目的を達成できることもある。
＝＝＝
Dilek Uslu, Justin Marcus, and Yasemin Kisbu-Sakarya(2022) Toward Optimized Effectiveness
of Employee Training Programs. A Meta-Analysis. Journal of Personnel Psychology, 21(2), 49–65
・1990年～2020年の間のRCT実験モデルを使った79の実証研究、107の効果量をメタ分析。
・Employee Training Program従業員研修の効果を検証。
○RCTのみのメタ分析であれば、エビデンスの信頼性として最上級。
・従業員への効果的な研修は、国家の経済発展にもつながる（Aguinis ＆ Kraiger,2009）
・研修市場は、2020～2024年の間に、＄52.7 billion（7兆8千万円）に成長すると予測されている。
○日本では、約5～6千億円市場。1兆にはいかず。
・Kraiger et al.（1993）の「Training outcomes framework」が、研修の成果による学習結果を示す最適の枠組みである。
・Cognitive outcomes認知的結果、Skill-based outcomes運動的結果、Affective outcomes情動的結果
・Affective outcomesは、長期的な学習測定につながり、Attitudinal態度（例：自己効力感）と Motivational意欲 outcomesが含まれる。
・情動的結果は、個人の行動と習慣を駆動させる
○つまり転移につながる。
・Cooper Job Stress Questionnaire（例：Eriksen et al.2002）は、態度
・Perceived Stress Scale（例：Huang et al.2015）は、意欲。両者を使う研究をそのように分類。
●結果
・研修手法を1つだけ使う研修と、複数を使う研修では、結果（態度、意欲）に対して差がなかった。
・自己管理型と実験手法は、態度と正の関係があった。
・実験と講義＋ディスカッション手法が、意欲と正の関係があった。
・グループ研修よりも、個人対象研修の方が、結果（態度と意欲）に正の関係があった。
・フィードバックを入れた研修と入れてない研修では、結果（態度）に差が無かった。
・フィードバックを入れた研修は、意欲に正の関係があった。
・練習を入れた研修は、態度の正の関係があった。
・練習を入れた研修と入れてない研修では、結果（意欲）には差がなかった。
・Web-based trainingは、態度と意欲、両方に正の関係があった。
・研修Span期間は、1か月以内の短い研修のほうが、態度に正の関係があった。
・意欲に対しては、3か月以内の長い研修の方が、正の関係があった。
・研修Duration時間は、10時間以内の短い研修のほうが、態度に正の関係があった。
・意欲に対しても、10～20時間の短い研修のほうが、正の関係があった。
●まとめ
・練習を入れて、短い時間と期間で行う研修は、従業員の態度結果に効果的である。
・フィードバックを入れて、短い時間で行う研修は、従業員の意欲結果に効果的である。
・グループに対するより、個人に対する研修の方が効果的である。
・対面研修より、オンライン研修の方が効果的である。
・自己管理型と実験型手法が、態度結果に効果的であり、実験と講義＋ディスカッションが、意欲結果に効果的である。
・メタ分析の結果、研修は、従業員の態度と意欲の向上に効果的であることが明白なエビデンスとして示された。
・Leader/Manager Training（例：Lacerenza et al.2017）とは、大きな違いがあった。
○あくまで「従業員向け」研修であり、リーダー、マネジャー研修では違うということ。
・本メタ分析では、アジアからの研究が少なく、アフリカやラテンアメリカのものは皆無であった。
＝＝＝
Marx,R.D.（1982）Relapse prevention for managerial training: A model for maintenance of behavior change. Academy of management review. Vol.7 No.3.
○有名な「逆戻り予防策」の論文。
・Marlatt and Gordon（1980）のRelapse Prevention（RP）model
・RPモデルが開発されたのは、元々、Addictive behavior 依存行動の領域
・RPをマネジメント研修に応用した図
・アルコール依存症の人で、RPを訓練された受講生と、されなかった受講生では、1年後のフォローアップで差が出たという実証研究（Chaney, O’Leary, & Marlatt 1978）もある。
・逆戻りとは、変化した行動が全く無くなってしまうことである。
・RPを訓練されたマネジャーは、危機を予測し、新しいスキルを実践する際に短期的には失敗することを理解している。
・スローガンや本人の意思に任せるのではなく、ロールプレイや自己強化策を研修内で行った方が、その後の行動が促される。
・管理職はストレスフルな職種である。身体の健康と安定した感情が、最適のパフォーマンスを出すために求められる。
・管理職研修におけるRP戦略の機能
＝＝＝
コメントフォーム