○去年（24年）ATDに参加した際、買った本。今年（25年）行く前に読んでおく（1冊）
＝＝＝
『ASTD Handbook of Measuring and Evaluuating Training』P.Phillips（Ed.）（2010）ASTD Press
・測定と評価に関して、学習の専門家は、Love-hate relationship 愛憎を感じている。
・評価プロセス
—
I Evaluation Planning
・ADDIEでは、評価が研修後に行われるように示されている。
・評価計画を最初に行うと、良い成果が得られやすい。
・ギャップ分析モデル
・Powerful objectives drive powerful results.
・目標の6レベル（Phillips and Phillips 2008）
○Chapter2の著者 H.M.Annlis教授と、C.H.Gaudet教授は、母校USM（Univ.of Southern Mississippi）の教員だった！なんか嬉しい。
・計画なしに評価を実行するのは、旅程を考えずに旅に出るようなもの。
・データ分析の3つの手法
１）統計分析 ２）質的分析 ３）金銭分析
・ステークホルダーに、2つ聞く。「どう成功を定義する？」「評価の目的は？」
—
II Data Collection
・正しい質問を、正しく行う。
・匿名性と正直な回答には関係がある（Phillips and Stawarski 2008）
・回答しない受講者は、研修によって良い変化があったとは考えにくい。
・レベル３ Application（仕事適用）を聞く質問の一例
「今回の研修で学んだ知識、スキルを必要とするタスクは、私の全仕事時間のうち、％ある。」 0％～100％ から選ぶ。
・レベル４ Results（成果）を聞く質問の一例
「ほかの要因もある中で、研修による効果は、100％のうち、何％ぐらいか？」
「上記推定に対する自信は、何％ぐらいか？」（全く自信がない 0％、確信的な自信がある 100％）
・レベル２ Learning（学習）を測定する2つのテストがある。
１）Norm-referenced tests（NRTs）
２）Criterion-referenced tests（CRTs）
・インタビューによって、研修価値を示す逸話 anecdotal を集めることができる。
・インタビューでは、発言者の言葉どおりに記録する。
・Focus groupは、経験豊富なファシリテーターによる小集団でのディスカッションである。
・総従業員数の10％の人数を、フォーカスグループとする。
・フォーカスグループの進め方
１）グループインタビュー ２）Ishikawa（フィッシュボーン）３）Nominal group technque
・フィッシュボーンでは、問題の原因を、People、Machines、Materials、Methods、Ennvironmentに分けて考える。
・解決策が適切かどうかを、短期、長期、効果、時間の観点で評価する。
・Action planningは、何を誰がいつまでに何を使って行うかを計画するプロセスである。
・アクションプランのひな型
・The Success Case Methodは、正確で、簡単で、素早い、測定評価手法である。
・研修評価に関する現実
１）研修は、受講者のうち、少数の成功者を生み出す
２）研修単体では、意味がない
・平均値 mean,averageをとることで、月並みな結果が示される。
・SCMは「いつ研修が使われたのか？研修はどんな良い結果をもたらしたのか？」を尋ねる。
・80％以上の研修の失敗は、研修そのものではなく、文脈とパフォーマンスシステム要因が原因となっている。
・SCMでは、他の要因から研修効果を、isolate 分離しようとしない。
・SCMでは、まず、成功事例の量的分散を調べる。
・その上で、成功例に対して、深いインタビューを行う。
○これ分かりやすいな～。確かに、研修内容を使ってくれて、良い結果を出してくれているなら、それがポジティブＲＯＩと言える。ただ、その「良い結果」は、あくまで本人の主観なので、これが客観的に裏付けできるといいよな～。方法を考えよう。
・Performance Recordsは、ＲＯＩ算出の最も信頼おけるデータになる。
—
III Data Analysis
・統計分析
１）Descriptive Statistics 状況を説明している統計
２）Inferential Statistics 意思決定（少数データを多数に適用）のための統計
・数値でないデータが、定性データ。
・定量データは、評価結果をShow 示すもので、定性データは、Tell the story物語を話すもの。
・定性分析の４ステップ
○この読み込みで、AIが使えそう。
・定性分析で、主観を排除することはできない。
・研修効果を isolate 分離・単独化するためのテクニック
・実験群と統制群
・研修効果の分離・単独化は、完全に正確に、エラー無しに、行うことはできない。
・金銭価値に転換する際は、どの指標を使うかをはっきりさせる（例：新規会員の獲得数）
・費用は、直接、間接、すべてを入れる（なるべく多めに出す）
・BCRは、実際の結果を示す際に使われ、ROIはしばしば研修投資の予測にも使われる。
・Payback Periodは、BCRの反対である。
BCR＝Benefits/Costs PP＝Costs/Benefits
・1年以内に、投資したお金が戻ってくるなら、十分投資効果がある。
・ROIを算出する研修は、全体の5～10％で十分である。
・Retrospective：Look back Prospective:Look forward
・ROI以外にも、将来の価値を推定する方法はある。
回帰分析、システムモデリング、Utility Analysis
—
IV Measurement and Evaluation at Work
・Reporting Evaluation Results
・聞き手はどれだけ興味をもっているのか。どれだけ情報を欲しがっているのか。
・CEO-Friendly data
・CEOは、ImpactとROIデータを欲しがっている。反応は最も重要度が低い。
・レベル３ Application データに、CEOは興味を持っている（61％が欲しがっている）
・ROIはなるべく保守的な数字とすることで、信頼性を得る。
・鍵となるグループによって示すデータ（レベル１～４）は変わってくる
・Chain of Evidence
・資格取得者の成果を、未取得者と比較
・測定と評価を実行する際のチェックリスト
・評価に関する重要な質問
１）何を知りたいのか？ ２）どう使っていくのか？ ３）評価情報を使うのは誰か？
・評価で使えるツール
１）SurveyMonkey ２）Metrics That Matter ３）Sensei/ROI ４）Learn.com
・mLearning モバイルを使った学習
・レベル１反応で聞くべき質問２つ
１）研修は、仕事に関連していたか？
２）研修で学んだことを、使おうと思っているか？
・Traditional Trainingと、Computer Simulation Trainingを比較
・シミュレーションでは、第1レベルでは「高い権威」でミーティングを進行、第5レベルでは「低い役職」でミーティングを進行するので、対人スキルが必要な状況になっている。
・伝統的な研修よりも、シミュレーション型研修のほうが、より個別の練習ができ、フィードバックが得られていた。さらに、シミュレーション型研修で学んだ内容のほうが、より転移していた。
—
V Voices
●R.O.Brinkerhoff
・ヴェトナム戦争時、5年、海軍に属していた。
・その後、社会活動プログラムの評価案件で、ワシントンDCに5年いた。
・「誰が、研修を最も活用してくれているのか？」
・シニアリーダーたちに説明する際は「グッドニュースとバッドニュースがある。グッドニュースとして、3年かけて、$40million 使ったマネジメント開発プログラムは効果があったことである。いくつかの例を出すと、北東事務所のリーダーは、研修内容を活用し、2年で＄500millionの売上をあげている。バッドニュースとして、こういう成功事例は、全体の15％しかないことである。言い換えると、これまでかけてきた予算の85％は無駄になったということである。もし、研修内容を活用する人々を、2倍（30％）に増やせたら良いと思わないか？」
○この説明いいね～。２：６：２で考えても、1年目の成功例が約2割、2年目に4割、3年目に5割（中間6の半分）が、研修内容を活用し「良い結果が出た」という状態にもっていくのが現実的かも。
・鍵となる質問は「Are they using it？ 使っているのか？」である。
●M.L.Broad
・1993年に引退。
・レベル３の測定こそ、職場がいかに変わったのかを見るもの。
・研修設計と評価は、統合されるべきもの
●J.Fitz-enz
・1980年に、Saratoga Instituteを創業。
・1969年のころ、測定は価値と言った言葉は、研修業界になかった。
・研修担当は、6か月ぐらい、ラインで仕事をした方が良い。
・そうすると、世界は研修で動いていないことが分かる。
・多くの研修担当は、測定が好きではない。
・彼らは、自分たちの仕事を測定、評価することに興味がない。
○この人の本『The ROI of Human Capital（2009）』読んでみよう。
●R.Kaufman
・Organizational Elements Model
・成果の3レベル（Product、Output、Outcome）
・2つの問い「どんな成果をもたらしてくれたのか？」「その成果はどのくらい価値があるのか？」
●D.L.Kirkpatrick
・博士論文では、ReactionとLearningの2つのレベルについて書いた。
・研修に送り出す上司に対して「受講生に次のように言って送り出してほしい。”あなたが研修から帰ってきたら、何を学んだかと、どうしたらその活用を私が手助けできるか、訊くからね”と」
・レベル３とレベル４の測定が重要になっている。
・マネジャーを、最初からからませることが鍵である。
●J.J.Phillips
・1970年、D.Kirkpatrickと、コンタクトを取り、話を聞いた。
・1972年、修論のテーマとして、ROIの算出を行った。
・CEOは、研修によって変化が起こるのを見るのは好きである。
・測定と評価を避ける最大の理由は、結果への恐怖である。
・研修予算の1％ぐらいしか、測定と評価には使われていない。これが3～4％に増えるだけでも大きい。
・ADDIEモデルを変えていく必要がある。評価が一番最後ではない。
●D.G.Robinson
・1970年代、研修担当をしていたころ、研修評価をする必要があり、手助けを求めたら、将来の夫になるJ.Robinsonと出会った。
・研修担当は、ビジネスパーソンのように考える必要がある。ビジネスニーズがあり、こういう手段で解決する、そのためのコストはこのくらいで、このくらいのリターンが得られると。
●W.J.Rothwell
・研修ニーズアセスメントと、研修評価は、手を携えて行っていくもの。
・研修担当は、その仕事に長くつく専門家と、社内異動で短期間だけ関わる人という2グループに分かれる。
・「役員へのボーナスが、事業成果にどうつながるのか」という問いかけはなされない。
・研修に対しては、事業成果への影響を求めるが、役員ボーナスには求めない。ダブルスタンダードがある。
・研修を、足りない知識スキルを与えて、標準に持っていく活動と見るのは古い。
・研修を、Ｒ＆Ｄ機能ととらえ、人々が集まることによって新しい知識を創造する場としていく。
○この人の本『What CEOs Expect from Corporate Training』を読んでみよう。
＝＝＝
コメントフォーム