○「Performance-focused Smile Sheet」を開発したタルハイマー先生の本と記事（1冊＋4本）
＝＝＝
『The CEO’s Guide to Training, eLearning, and Work: Empowering Learning for a competitive advantage』 W. Thalheimer (2024) Work Learning Press.
○CEO向けに書かれた研修本。研修業界への辛口の提言が光る
●本文
・著者は、66歳。1998年から、研修業界で仕事をしている。最初に、Work-Learning Researchを立ち上げた。
・2021年に、TiER1 Perfomance https://tier1performance.com/ に加わった後、2023年に、再度、Work-Learning Research https://www.worklearning.com/ を始めた。
・意味の無い実践を、まずやめること。例えば、コンテンツが多すぎる、受講者の満足度を聞く、研修だけに力を注ぐことなど。
・Training研修は、組織のPerformace業績に、正の効果を示している。（例：Garavan et al.2021、Salas et al.2012）
・過去30年間で、研修と組織業績の関係の強さは、年々向上している（Garavan et al.2021）L&D領域は、どんどん良くなってきている。
・ほとんどの研修が、Understanding理解するよう設計されているが、Remenbering思い出すことまでは、設計されていない。
・学習を測定する最も使われている方法は、学習者のPerception認知・知覚を聞くことと、学習者のAttendance出席である。
・150の研究をメタ分析した論文では、学習者の反応と、学習成果には、0.09の相関しかなかった（ほぼ何の相関もない）。
・評価こそが、学習領域における悪魔の根っこである。
・ROI測定は、従業員の推定で行われている。研修がどのくらい売上向上や費用低減に寄与したか。
・カークパトリックモデルは、学習科学における認知革命がおこる前の1950年代に開発された。
・Raymond Katzellが、4レベルの案を提示し、Donald Kirkpatrickがそれを有名にした。
・研修が常に答えではない。研修だけでは、上手くいかない。
・研修後の支援こそが重要である。
・Dunning-Kruger effect 良く分かってない人のほうが、自信をもっている。
・Experts are often poor teachers 専門家はしばしば教え方が下手である。専門家は、学習設計を良く分かってない。
・専門家は、組織内で専門家として使うべきで、Trainer講師にすべきではない。
○SME（専門家）を、社内講師として活用しようという動きに、タルハイマー先生は否定的な感じ。
・12の危険の神話と間違った概念
１）Learning styles学習スタイル 視覚、聴覚、身体重視 数百の研究からこれらは間違っていることが明らかになっている。
２）Microlearning 過去1万年、人間の認知機能に変化はない。10分以内のコンテンツにまとめる必要はない。
３）eLearning は、集合研修より、効果的ではない。これも嘘。
４）研修は効果的ではない。これも嘘。
５）研修はすでに十分効果的である。これも嘘。標準的な研修設計は、効果的ではない。
６）Learning Pyramid 読んだ内容は10％思い出し、聞いた内容は20％～等は、全く科学的根拠がない。
７）Brain Science脳科学 Neuroscience神経科学はセクシーであり、いつかは使えるかもしれないが、今ではない。
８）Bloom’s Taxonomy ブルームの分類よりも、もっと使えるモデルがある。
９）70-20-10 この数値を出した研究は貧弱な設計で、人の主観的判断によるもの。良いのは、研修だけが重要でないことを示したこと
１０）違う世代に対しては、教え方を変えねばならない Y世代とZ世代の教え方は違う等は、正しくない。しかし、学習者の特徴を無視して良いという訳ではない。
１１）研修は必要ない。人々は自分で必要な学習を探せる。グーグル、ユーチューブ、ウィキ、AIで、学べるというのは、ネット時代のバカげたアイデア。
１２）学習イベントは、簡単で心地よいものであるべき。 学習とは、Transformational変容的なもの。これは簡単で心地よいものではない。
・これら12の神話を信じない。First Do No Harm. 害することはやらない。意味のない実践はしないこと。
○こうやって言い切ってくれると気持ちいい。そうは言っても、自分も「70-20-10」は便利に使ってたな。「55：25：20」はどうなんだろう？
●参考：「Training Industry」が、2018年に大規模調査を行い「OSF：On-the-job, Social, and Formal sources ratio of 55:25:20」を発表した （https://www.learn-well.com/blog/2019/12/brinkerhoff_1.html）
https://www2.trainingindustry.com/Deconstructing_70-20-10
https://trainingindustry.com/content/uploads/2018/07/Deconstructing_702010_Preview.pdf
・ミーティングでは「What can we do better for next time？」と常に尋ねよう。
・MBTIは、科学的根拠がない。更に、ジェンダーバイアスを増長させる懸念もある。
・学習においては、technology技術ではなく、method手法が重要である。
・eラーニングは、Classroom training対面集合研修よりも効果的である場合がある。なぜなら、対面集合研修の設計が適切でないことがあるからだ。
・ZoomやTeamsでの研修は十分上手くいく。
・対面集合研修を減らすことにより、旅行費の削減、公害の減少、業務時間消失を避けることが出来る。
・Large batch of onlince courses（ユーデミー等）の導入は、良く検討したほうが良い。
・従業員に、Ready-made作られたコースを提供できるかもしれないが、本人任せになり、履修も中途半端、研修後のフォローもなく、それぞれがバラバラなメッセージとなっている場合もある。
・Retrieval practice想起・検索練習。長期記録から、短期作業記憶に、情報を回復させる
・Spaced learning 数日間、間をあけて、繰り返し学習する。
参考：https://www.kotonoba.jp/retrieval-is-more-effective-than-other-method/
「サクセシブ・リラーニング (Successive relearning)」：想起練習 (Retrieval practice)とスペーシング効果 (Spacing effect)を組み合わせた学習法
・Feedbackは、学習の生命線。最も学ぶ人は、勇気をもってフィードバックを得ようとする者。
・Nudging軽くつつく、そっと押す。行動を促す文脈内でのきっかけ。
・43％の日々の行動は、習慣の管理下にある。
・Prompting tools 意識的、無意識的に思い出させるツール
・著者は、23年以上、Work-Learning Researchでのコンサルティング業務で、学習研究を、実践的な推薦に変えられるよう努めてきた。
・効果のない手法ではなく、研究にインスパイアされた実践をしてはどうか。
・Workplace-learning research translator として、10数名の名前を挙げている。
・mediocre 月並みな
・組織は、科学研究を活用できてない
・Scientific research科学研究と、industry survey research業界調査研究が区別されてない
・A-B testは、実際の所、何が上手くいくのかを視るための実験である。
・Businessy numbers ビジネスっぽい数字
・ほとんどの組織では、ひどいLearning evaluation 学習評価を行っている。
・適切な学習評価を行うのは難しく、それができるなら、参入障壁となり、競争優位に立てる。
・LEADS: Learning Evaluation As Decision Support
・意思決定をする前に、インプットデータを集め、意思決定した後、アウトプットデータを集める。
・Results成果のみを測定しようとするのは問題である。
・LTEM：The Learning-Transfer Evaluation Model
・4レベルモデルは、Remembering思い出しに触れていない。全ての学習結果を、「レベル２」の一つのバケツに入れてしまっている。
・LTEMにおける、Tier1～8の説明
・伝統的なLearner surveyでは、学習者の満足度と、コースの評判に焦点を当てている。
・Performance-focused learner surveyでは、学習者の自己効力感に焦点を当てている。
・CSM：Customer Success Managementには、CRM、Value-based sellingも含まれる。
・研修単体で考えない。複数の研修に、組織の価値やカギとなるアイデアを入れ込む。
・チームワークを加速させる3つの問い：
１）What did we do well？ 上手く行ったことは何？
２）What did we not do well？ 上手くいかなかったことは？
３）What can we do better for next time？ 次に上手くやるためには何を？
○これいいな～。まずは上手くいったことを、皆で認める。
・Learning unitを、HR人事の下につけるべきではない。HRは、危機回避型で、彼らは法律と規則に焦点を当てている。
・戦略は、どのように違いを作るかであり、何をして、何をしないかを決めることである。
・Awardsはとっても仕方ない。時間の無駄。
・表彰されたベンダーも信用できない。某団体が表彰した「ベスト評価ベンダー」には、ROI Institute、Kirkpatrick Partners、Brinkerhoff institute、弊社も入ってない。
●脚注
・研修への投資は、事業パフォーマンスに正の効果を示している。
Lai, Yanqing , Garavan, Thomas, McCarthy, Alma, Sheehan, Maura, Carbery, Ronan and Murphy, Kevin (2021) Training and Organizational Performance: A Meta-Analysis of Temporal, Institutional and Organizational Context Moderators. Human Resource Management Journal, 31 (1).pp. 93-119.
・学習者のモチベーション研究
Chung, S., Zhan, Y., Noe, R. A., & Jiang, K. (2022). Is it time to update and expand training motivation theory? A meta-analytic review of training motivation research in the 21st century. Journal of Applied Psychology, 107(7), 1150–1179.
https://ira.lib.polyu.edu.hk/bitstream/10397/93793/1/Chung_It_Time_Update.pdf
・多くの先行研究から明らかになっているのは、
１）研修には効果があるという強い証拠 ２）特定の学習手法は、他のものより優れている ということ。
・DiSC、Strength Finders、MBTIといった人気の性格診断には、科学的根拠がない。
・Big Five、HEXACOといった診断ツールは、良く研究されているが、組織ではほとんど使用されていない。
○この脚注に出ている論文、面白そう！2020年代のメタ分析論文とか魅力的。タルハイマー先生の記事もどんどん読んでいこう！
＝＝＝
●タルハイマー先生のブログ記事 https://www.worklearning.com/
Donald Kirkpatrick was NOT the Originator of the Four-Level Model of Learning Evaluation.（2018）
・Raymond Katzellが、最初の開発者。
・D.Kirkpatrickが、1956年の記事で、Katzellの名前を出している。
・しかし、それ以降、D.Kirkpatrickは、一度も、Katzellの名前を出していない。
・息子のJimとWendy夫婦に、2018年1月に会って、話した所、彼らも驚いていた。
・Dは、1954年の彼の博士論文では、4レベルについては書いていない。博士論文で、Dは、Katzellの2つの記事（1948、1952）を引用している。
・今後は、Kirkpatrick-Katzell Modelと読んではどうか。
ーーー
Kirkpatrick Model Good or Bad？ The Epic Mega Battle！（2015）
・レベル1（学習者の意見）は、学習に関係していないことが、2つのメタ分析から明らかになっている。
・研修担当は、自分達の仕事をDefend防御しなければならないが、他の担当者はそうではない。
・研修が、組織の成果につながると、過剰に強調することは、良くないことだと思う。
・それぞれの仕事（例：法務、掃除、L＆D）で、最大に影響を与えられる領域と、最小のものがあるはず。
・L＆Dの場合、「学習者の理解と想起」「学習者の意思決定能力」には、最大の影響を与えられるが、「学習者が売上を上げる、費用を低減する」には最小の影響しか与えられない。
・Kirkpatrickモデルの価値は、組織成果から逆算して考えるよう提示したこと。しかし、学習に関する評価としては弱い。
ーーー
The Learning-Transfer Evaluation Model: Sending Message to Enable Learning Effectiveness（2018）
・レベル1の測定だけで終わっている、研修評価がほとんどである。
・研修後の支援こそ、学習転移にとって重要というメッセージを伝えたい。
・学習者が、研修を好んでも、それは彼らが学習したということを意味しない。理解したとしても、彼らが使えるようになったとは言えない。研修で、スキルを使えても、現場で思い出せるとは言えない。
・Kirkpatrick-Katzell Modelは、学習が最終目標ではないことを、私たちに伝えてくれている。
・ただ、L&Dは、組織成果や現場行動よりも、学習に対してのほうが、影響力を発揮しやすい。
・The New ModelとしてのLTEM
・赤は、貧弱で不適切な手法。黄色は月並みな手法。緑が良くて、使える評価手法を意味している。
・Bloom’s Taxonomiesは、複雑で使えない。転移に焦点も当たってない。
・Realisticな意思決定をするために、１）Real-world ２）Simulation ３）Scenario-Based Decision Making が使える。
・SEDAモデル Situation → Evaluation → Decision → Action
・2種類の転移 １）Assisted Transfer ２）Full Transfer
○う～ん、でもどうやって転移を測定するかについては、この記事には書かれてない。残念。
・Tier5：Do learners know what to do?
Tier6：Can learners actually do what they learned how to do?
Tier7：In targeted work situations, are learners being successful in using what they learned?
Tier8：If learners have been successful in transfer, what effects has that transfer had on targeted and utargeted outcomes and stakeholders?
・Tier8からまず考える。ビジネス成果以外も。
ーーー
Factors That Support Training Transfer: A Brief Synopsis of the Transfer Research（2020）
・最近のレビュー論文、メタ分析、研究論文を、紹介する。
・現状、「転移研究」は、学習者の主観的な認知に依存している。
・遠転移は、ほぼ起こらない。転移を起こしたいなら、実際に使う状況に近いものとすべきである。
・Remenbering思い出しに関する転移研究はほとんど無いが、現実的な状況、検索練習、間を開ける効果は、転移促進につながるはずである。
○L3行動の測定が、「リマインド（想起）」につながるという研究はある
●参考：米原（2014）堤ら（2012）『研修評価の教科書』p64 脚注62
および、Saks & Burke （2012）An investigation into the relationship between training evaluation and
the transfer of training 研修評価を頻繁に行った方が、転移が増すことが明らかになった。
・自己効力感仮説については注意が必要である。自己効力感がパフォーマンスにつながるのではなく、パフォーマンスが自己効力感を高めるという逆の効果もあるからだ。
○これは、本人の「達成経験」が、自己効力感を高めるという「4つの源」で説明できるのでは？
・転移研究者は、学習者の認知という主観的な測定方法に頼るのではなく、客観的な測定方法を使うべきである。
・著者は、アカデミーの外にいるので、気楽にものが言える。
・Resercher研究者と、Practitionr実務家の間をつなぐのが「Reserch Translator（RT）」である。彼らのコミュニティーも広がっているので、研究者や実務家は、RTの活用を検討してみてはどうか。
＝＝＝
●参考：タルハイマー先生の別の本『Performance-focused Smile Sheet』
コメントフォーム