Supercharge Kirkpatrick Evaluation With AI

○AIを使って、研修評価を楽にしよう。

＝＝＝

5月20日（火）

4:00 PM – 5:00 PM ET

Supercharge Kirkpatrick Evaluation With AI

Location: Room 152B, Level 1

Wendy Kirkpatrick (she/her/hers) – Kirkpatrick Partners; Jordan Rawlinson (she/her/hers) – Kirkpatrick Partners

Take the fear out of artificial intelligence (AI) and training evaluation in this session. You will learn the four levels of evaluation and easy techniques to combine AI and human oversight to efficiently and effectively evaluate any program. Come away with a modern strategy to create and demonstrate program value.

In this session, you will::

Describe the Kirkpatrick Model.
Explain how AI combined with human oversight can be leveraged to streamline program evaluation.
Identify opportunities to leverage AI in your existing evaluation frameworks for more efficient and effective analysis.

・レベル３，４の測定を、AIを使うことで、簡単にし、私たちをより幸せにしたい。

・評価プロセスで、AIを使ってる？

・AIを研修評価で使うことに対して、最も気になっていることは？

・正確さ、セキュリティ、時間、バイアス等

・Kirkpatrick Four Levels

・レベル１，２，と、レベル３の間には、大きな壁がある。
・レベル３が最も重要。レベル４は、実は測定がしやすい。

・レベル１，２，の評価をしている人は多いが、レベル３，４．は殆どいない。

・最後を考えて、設計する。

○レベル４の測定が簡単だとしても、それが、研修とつながっているのかを示すのは難しい。それを、レベル３の測定で、SCMアンケートを使い「良い結果」から、レベル４に結び付けられないか。

・会社で、AIポリシーがあれば、それに従うべき。
・AIは、あなたが考えることを、代わりにやってくれる訳ではない。

○レベル２「学習」の評価は、Sさんがやっているように、研修資料をAIに読み込ませて「理解度テスト」（不適切なものを、４つの中から１つだけ選ぶ）を、AIに作らせるのも一案だよな～。

・レベル３におけるAIの活用

○GASで、研修後のメールフォロー（翌日、1週間後、1か月後、3か月後、6か月後等）を自動化し、数か月後のSCMアンケートで、定性コメントを集め、その整理を、AIにしてもらうっていうのが、今うちができることかな。

・評価の後のアクションプラン

・レベル４におけるAIの活用

・様々なシステムに入っているデータを、AIを使って、統合する？

・AIに作らせた「Executive Summary」

・研修評価で、AIを使うとしたら？

○弊社の場合は、

　まずは、レベル３「行動」の目標設定を、Hikid-AI「ベイビーステップさん」で行ってもらう。そうすることで、より精緻で、実行する自信が高い（高自己効力感）目標が設定できるので、数か月後の現場実践が期待しやすくなる。
　次に、数か月後の「現場実践度（SCM）アンケート」をとり、集まってきた定性コメント（SCMアンケートの「良い結果」「活用しない理由」等）を、Hikid-AI「トレエバー教授」に整理してもらうことかな。

・Human oversight is still essential
・正確さを担保し、バイアスを避けるために。

・まとめ

＝＝＝