【木曜日23-50】研修評価本

○モトローラ社での研修評価の実践事例（英語本1冊）

＝＝＝

『The Training Evaluation Process』　D.J.Basarab,Sr.& D.K.Root(1992)

・Dayton大学　Root教授のコースで、プログラム評価について学習。

・The Training Evaluation Process　研修評価過程は、プログラム評価の目的であるimprove 向上（Not to prove実証ではなく）を支援する。

・研修評価は、意思決定に必要な情報を提供する。

・Formative evaluation形成的評価は、研修を改善するために行う。
・Summative evaluation総括的評価は、研修のメリットと価値を提示する為に行う。

・D.Kirkpatrick（1959）を参照し、レベル１と２は、形成的評価に。レベル３と４は、総括的評価に活用する。

・レベル３の評価においては、研修3か月後と研修6か月後の2回、データを取ったほうが良い。

・研修評価は、personnel evaluation 人事考課ではない。

・レベル２で、期待される学習がなされていないならば、その後の業務上パフォーマンスと、研修との関係を問うことは難しい。

・レベル４評価においては、「まだ研修を受けていない人たち　who have not received training」が必要。

○統制群は「まだ受けてないけど、これから受ける人達」にすれば、確かにやりやすいかも。

・実験群と統制群では、同じAccounting recordsを、同じ期間、追っていく必要がある。

・図　Training Evaluation Process　

・5段階
　１）Plan　２）Develop　３）Obtain　４）Analyze　５）Report

・各レベルでの情報収集方法

・評価計画では、理論と現実的なビジネス実践をバランスさせることを目指す。

・まずは「研修計画」が存在するかを確認する。もし無いなら、研修に対するコミットメントの低さの現れである。

・どの研修を評価するのかを決める。
・どのレベルの評価をするのかを決める。
・鍵となるステークホルダーは誰か。

・評価する目的と、問うべき「Evaluation questions 評価質問」を明確にする。

○Brinkerhoff et al.（1983）が引用されてた。
　https://www.learn-well.com/blog/2021/10/brinkerhoff-3.html

・レベル１評価の質問例　p89

・研修後に、講師以外の人物が、受講生に研修内容に関するインタビューを行う。

・レベル２評価で使われるテストの一つ：Performance-based tests（Work simulations、Practice exercises）
・Pre-testにおいて「分からないところは、Guessせずに、白紙にしておいて」
・「あなたは、この研修が対象としている人でしょうか？」と聞く。

・レベル３評価では、受講生が「行動を実践したか」を確認する。
・研修は、従業員の知識、スキル、態度を変えるために行われる。

・レベル３評価の例　p128

○この質問紙では「どんな良い結果が出た」までは聞いてない。やっぱり、SCMってコロンブスの卵だよな～。

・Action plan　行動計画においては、Mental skills、Physical skills、Attitudeに関するSpecifice action verbs　特定の行動動詞が含まれているべき。p131

○行動したかどうかを、外部から観察できるような動詞（例：説明できる、実践できる、選べる）

・レベル３評価でのインタビューでは、具体例や詳細を聞き出す。
・レベル３評価でのオブザーブでは、研修で教えた行動が実践されているかを観る。

・レベル４評価を行うかどうかの基準

○確かに「これらが無いなら、レベル４評価はしない」というのは、明確な基準。

・レベル４成果として
　１）Increased output　結果の増加
　２）Time savings　時間の節約
　３）Improved quality 品質の向上　

・レベル３評価で、データを集める手法
　１）質問紙　２）行動計画　３）インタビュー　４）観察　
・ランダムに、システマチックではない方法で集められたデータは、偏りがあり、不完全なものとなる。

・成功する評価においては、Timelyタイムリーで、正確で、使えるデータの収集がカギになる。

○特に「Timely」さが大事だよな～。

・Frequency histograms　頻度の棒グラフは、レベル１と３の質問紙調査の結果を示す良い方法。

・Mean　平均値　Median　中央値　Standard deviation　平均値からの散らばり度合い
・t-test　ｔ検定で、統計的有意さを測る

・レベル３評価の提示例　

○「使った結果、どうなったか？」を聞くのが、ＳＣＭの良さ。

・評価自体が果たして効果的であったのかを測定するのが、Meta-Evaluation　メタ評価。
・30のStandard基準は、4つのカテゴリーに分けられる。
　１）Utility　２）Feasibility　３）Propriety　４）Accuracy

・メタ評価を行うのは、評価者以外の人物。

○こういうの素晴らしいな～。評価をするということは、正直さ、誠実さが求められるってことなんだろうな～。

＝＝＝

●参考：モトローラ社について　https://ja.wikipedia.org/wiki/%E3%83%A2%E3%83%88%E3%83%AD%E3%83%BC%E3%83%A9

＝＝＝