「参加型・質的評価手法MSC入門研修」に参加しました。

ラーンウェル代表の関根です。

25年7月26日（土）14時～16時、所属している日本評価学会の案内で知った「参加型・質的評価手法MSC入門研修」に参加しました。

差しさわりないと思われる範囲で、学びになった点を、記録しておきます。

＝＝＝

●講師：参加型評価センター　田中博先生

https://pecenter.jimdofree.com/

●講義

・元気になる参加型評価

・日本では評価が簡単に見られている。
・アメリカでは、評価は博士号取得が求められるぐらい。

・評価の目的：評価結果をどう使うか？
　１）学習（と改善）：評価を通じて得られた教訓を将来の活動に反映させること
　２）説明責任：評価結果を利害関係者に公表、報告すること（三好2008）

・MSC（Most Significant Change）が向いているのは「学習と改善」

・JAICAが使っている「ログフレーム」は「ロジックモデル」の一種。

・ロジックモデル

　活動（インプット）→結果（アウトプット）→成果＝変化（アウトカム）→長期的変化（インパクト）

・ロジックモデルは、あくまで「因果関係の仮説」でしかない。
・想定外の変化を見逃す恐れがある。

・ロジックモデルを補完する手法として、質的手法のMSCが開発された。
・ロジックモデルは、説明責任に向いていて、MSCは、学習と改善に向いている。

・Significant　重大、意義深い

・選択基準は、あっても無くてもよい。その緩やかさは、MSCの良さの一つ。

・なぜ、特定の物語が選ばれたのかを、参加者にフィードバックする。ここが重要。

・参加型開発で良く言われること

If I hear it, I will forget it.
If I see it, I will remember it.
If I do it, I will understand it.
If I find it, I will use it.

・自分事になる最初のきっかけは「気づくこと＝Find」

・質的変化は、測れない。理解することはできる。

・質的分析は、ＡＩでもできる。ただ、ＡＩだと、参加のプロセスが無いので、気づきがない。

・ＭＳＣの長期的効果として、組織学習がある。

ーーー

●質疑応答

・誰が、MSCの物語を選ぶのか？

・村人が、自分で選ぶケースもあるが、そうでないケースもある。スタッフが選ぶ。
・誰が話す、誰が聞く、誰が選ぶかのバリエーションが多い。そこを決めるのが難しい。

・評価に対して、お金を出してくれる人がいなかった。日本では。
・休眠預金の仕事が増えてきた。評価が義務付けられた。

参考：休眠預金等活用事業における事業評価（社会的インパクト評価など）の義務化は、2018年（平成30年）3月30日策定の「休眠預金等交付金に係る資金の活用に関する基本方針」に基づいて制度化されました。実際の制度運用は2019年度から開始されており、この時点から事業評価が求められています。

ーーー

●演習１インタビュー

・自分がエンパワーされる　話している方が
・なぜ、重大と考えるのか　その人の価値観が見えてくる

・訊き方が悪いと、楽しい気持ちにならない。
・現場での試行錯誤が生まれたのが、MSC。

・受益者の内省を促す
・Findを促すような訊き方が大事

・MSCは受益者にとっては簡単だけど、やる側には大変。

ーーー

●演習２物語を選ぶ

・現場の価値観で評価する。
・個人の変化が重大と考える人、社会・コミュニティーの変化が重大と考える人。
・MSCは、8割はポジティブな変化。
・ネガティブな変化の共有も大事。中間評価に、MSCは向いている。

・価値観がぶつかったり、意見対立があった時の対応は？
・参加型開発に生じる課題。ファシリテーターが上手にコーディネートする。
・MSCで選ぶこと自体は目的ではない。現場で起こっていることを深く理解するために、色々な物語を比較する。皆で討論することで、深く理解できる。

・ネガティブな変化が出た時の扱いは？MSCは、ポジティブな変化が望ましい？

・長所と短所、両方に目を向ける。
・ネガティブな変化の話が出ると、確かにグループ討議は暗くなることもある。
・そこに、外部ファシリテーターが関与する意味がある。

・プロジェクトの目標を、皆が理解しているわけではない。
・MSCをやることで、PJ目標を確認する機会になる。

・日本では、MSCは広がっていない。
・MSCは、「学習（と改善）」目的の評価に有効。

・MSC導入への課題
　１）実施者への研修（インタビューや作文技術）が必要
　２）設問の設定や参加者選定など適切な基本設計が必要（誰に訊くのか）
　３）ロジックモデルなど定量評価との併用が効果的。

・評価は目的に応じて設計する。
・「変化」を語るのが難しい。

・全体として、これだけ成果があった。
・具体的事例として、～があったと示す。

ーーー

●ふり返り

・物語を1つ選ぶという過程が大事。それぞれの価値観が見えてくる。

・見る人によって結果が違うのはおかしいという意見も出てくる。
・評価は客観的であるべき。

・改善目的の評価の場合は、OK。

○「物語を選ぶ」過程がいいな～。各参加者が何を大事に考えているか、お互いの価値観が何となく見えてくる。

＝＝＝

『モスト・シグニフィカント・チェンジ（MSC）手法　実施の手引き』　R.デイビース、J.ダート（著）田中博（監訳）（2013）

・MSCは、容易であると同時に、奥の深い手法。

・MSC手法は、参加型がモニタリング、評価手法の一つである。
・プロジェクトがもたらしたインパクトを探すことから始める。

・MSCの核心は、以下の設問に沿って行われる一連の問いである。
　「この1か月をふり返って、あなたにとって（特定の領域における）最も重大な変化は何だと思いますか？」
　「これらの重大な変化の中で、あなたにとって最も重大な変化はどれだと思いますか？」

・ステップ４～６が、MSCプロセスの本質的な特徴を示している

・ステップ４　重大な変化の物語（SC）を集める
・ステップ５　最も重大な変化の物語（MSC）を選ぶ

・自分で書いた物語の選択に、その現場スタッフが含まれると、具合がよくないことがある。

・MSCは、主観を肯定するので、公平な結論を出すには、誰が何故その意見なのかという透明性を高めることが重要である。
・その物語を選んだ理由をしっかりと議論することが重要。

・ステップ６　選択プロセスの結果をフィードバックする

・「質の高い物語を聞き出すことが難しい」と多くの人が言う。
・大体の物語は、以下の４つの質問から明らかにできる。
　１）あなたは、どのようにしてプロジェクトに関わるようになったのですか？
　２）あなたにとって、プロジェクトからもたらされた重要な変化は何でしょう？
　３）この村にとって、プロジェクトからもたらされた重要な変化は何でしょう？
　４）何か、問題点があれば教えて下さい。

・MSCは、主観に偏っている。

・競争は、あくまで物語の間で行われる。選択の背景にある価値観が問われる訳で、物語そのものではない。
○これは、確かに演習をやって感じたこと。価値観が問われる。

・MSCは帰納的アプローチにより、発生した事象について、関係者が納得した指標を使う。
・期待してなかった無形あるいは間接的な結果なども含むをモニタリングすることができるようになる。

・パットン（1997）は、プログラム評価は「判断を下すこと、改善を促進すること、知識を生み出すこと」の3つの主要目的を果たすことが出来ると述べている。

○研修評価を行う目的は、次の４つかも。
　１）意思決定（改善or廃棄）のためのReflection（省察）
　２）転移促進（参加者の行動促進）のためのRemind（想起）
　３）新規受講者獲得のためのReferral（紹介）
　４）ステークホルダーへの説明のためのResponsibility（責任）

・MSCは、極端な経験に焦点を絞る。
・数回のふるい分けの後に現れた物語は、通常、非常に強力で、その内容は力強いプログラムインパクトを有する。

・MSCは「分厚い記述」を示すことにより、妥当性を確保する。

○MSCを、OJT期間が終了する時（例：3月）に、SCMアンケートと組み合わせて、OJTトレーナーに対して行っても良いかも。
　－OJT期間をふり返って、あなたにとって、最も重大な変化は、何でしょうか？
　－何故、重大と考えているのか、その理由を教えてもらえませんか？

プラスして、
　－その変化に対して、「OJT研修」の影響度は、何％ぐらいだと思いますか？（0％～100％）
　－「OJT研修」以外に、その変化に対して影響をもたらした要因には何がありそうですか？
みたいな感じで訊いていくとか。

＝＝＝