【木曜日22-36】評価本「開発的評価」

○各章導入の「Personal story　個人の物語」が印象的。プログラム評価のアプローチとして、形成的・総括的に対して、開発的評価を提唱。良い本に出会えた。（OD勉強会のお陰）

＝＝＝

M.Q.Patton(2011) Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use. The Guilford Press.

Ch.1

・Developmental Evaluation　開発的評価は、社会変革や適応的マネジメントを支援できる。

・「我々は、プログラムを良くし続けたい。開発し、変化させていきたい」
・「形成的と総括的、それしか、評価者が提供できるものは無いのか！？」
・「開発的評価がある！」

・評価は、究極の所、reality testing　現実テストだ。何が上手くいって、何が上手くいってないのかを知るための。

・開発的評価は、Utilization-focused evaluation　実用的評価(Patton 2008)に含まれる。

Ch.2

・総括的評価は「Did the program work?　プログラムは上手くいったのか？」を問う。
・形成的評価は、総括的評価をする前に、プログラムをImprove改善するために行う。

・この分け方の前提は、評価の目的を「モデルのテスト」に置くことにある。
・2つの段階：Model improvement stage（形成的評価）Model testing stage（総括的評価）

○プログラムのImprovement（改善）は、Single loop。Development（開発）は、Double loopかな。

・図2.4

・計画に時間をかけすぎるな。やりながら、学べ。

Ch.3

・開発的評価は、レシピのように段階を踏んで行うものではない。
・それは、mindset of inquiry 探求の精神だ。

Ch.4

・「未来は現在より良くなる。そうできる力が自分にはある」（Brooks 2008）
・Situation状況が変われば、Approachアプローチも変わる。

・図4.7

・Cynefin Framework

○「OD本」にも載ってた。https://www.learn-well.com/blog/2022/07/od-2021.html

Ch.5

・American Evaluation Assossiation
　https://www.eval.org/

・実用的評価は、active-reactive-interactive-adaptive(Patton 2008)のプロセスである。

・Change変化こそが、評価の中心である。
・評価では、変化が起きたのかどうかに焦点をあてる。

・しかし、固まった思考が、評価の世界を支配している。
・例えば、黄金法則と呼ばれるRCTは、静的な状態を重視する。
・評価の途中に、変化が起こっては困るのである。
・詳細は、Patton 2008 Utilization-focused evaluation を参照。

○この本も買った。後で読む。

・図　Static to Dynamical

・図5.6

Ch.6

・Thesis正（Top-down）Antithesi反（Bottom-up）Synthesis合（Middle）

・トップダウン型の評価者は、RCTやBest practiceを好む。
・ボトムアップ型の評価者は、ソフトな参加型評価を好む。

・L.J.Cronbachクロンバック（1975、1982、1988）は、社会現象は、影響する変数が多く、文脈依存的なので、実験モデルによる実証的一般化には限界があると主張した。

・R.Stake(1978,1995,2000,2010)は、評価者は一般化にこだわり過ぎているとし、Particularization　個別化？に目を向けるよう促した。

・単純な環境でのベストプラクティスは、いわばレシピのようなものである。
　それに対して、複雑な環境に対応するのは、育児のようなものである。

・Street wisdom路上の智慧は、Principle原則である。

・図6.5

・Deductive theory演繹的理論は、トップダウンであり、
　Inductive theory帰納的理論は、ボトムアップのGrounded theoryである。

○ヒト、モノ、コトの評価。コトの評価を、ヒトがどう変化したかで見る。

Ch.7

・定量、実験、演繹的評価パラダイム　ｖｓ　定性、自然、帰納的評価パラダイム

・図7.2

・図7.3

・図7.4

・図7.5

・ローカルでの成功を、拡大し、大きなインパクトにつなげる難しさ。
・最初の成功は、カリスマ、起業家精神、コミットメントがあったから。

・Middle ground　中間こそが、開発的。

・図7.6

Ch.8

・Learn from yesterday, live for today, hope for tomorrow.　The important thing is not to stop questioning.　A.Einstein(1879-1955)

○いい言葉だな～。

・Less is more.少ないほど多い。

・I keep six honest serving-men.
(They taught me all I knew);
Their names are What and Why and When
And How and Where and Who.
R.Kipling(1865-1936) The Elephant’s Child

・Kiplingの「Five W’s and One H」　

○５W1Hって、ここから来たんだ～。

・これらは、Descriptive questions　説明的、描写的質問である。

・Inquiry framework　探求の枠組みとして、What？So What？Now What？（G.H.Eoyang,2006）がある。これは、最も基本的な評価思考である。

・評価者は、中立の立場である必要はない。擁護者であって良い。

・図8.5

・質問し続けることを止めない

Ch.9

・bricolage ブリコラージュ　

・図9.2

・reflection-in-action(thinking on our feet）即興的にその場で考える。
reflection-on-action(looking back)　後で、ふり返ってみる。

・過去から学べない者は、過ちを繰り返す。G.Santayana（1905）

Ch.10

・開発的評価の目的は「開発」であり、それはエンゲージメントのプロセスである。

・開発的評価が適切な5つの状況：
　１）Ongoing 継続的な開発
　２）Adapt effective principles　効果的な原則を適用
　３）Sudden major change　突然の大きな変化
　４）potentially scalable innovation 拡大可能なイノベーション
　５）Major system change　システムの変化

・10個の開発的評価デザイン

＝＝＝