【木曜日23-40】評価文献：日本評価学会他

〇日本評価学会他の論文（12本）

＝＝＝

日本評価学会

http://evaluationjp.org/

＝＝＝

「ポストコロナ時代の評価の可能性」　山谷清志（2022）

・2020年、日本評価学会が、設立20周年。

・新型コロナ禍は、評価には好機だったのでは。

・21世紀の日本で、公的部門を支配した新自由主義の潮流。
・評価の背後にある思想（たとえば新自由主義）を、評価実践を通じて社会に定着させた。
　この現象の反省、その反省を踏まえた理論構築もまた、今回の新型コロナ禍での想定外の成果。

・半世紀前に流行した行動科学が再び持ち出され、日本評価学会メンバーには既視感あふれるEvidence based評価を、政府は繰り返し主張する。
・この主張により、評価業務は混乱し、無難で慣れた方法を繰り返す。

＝＝

「コロナ禍の政府政策とそのレビュー　～危機管理と副作用に注目して～」南島和久（2022）

・コロナ禍（疾病から引き起こされる直接的な被害）と、コロナ対策禍（＝人災）

・日本モデル：自粛要請と休業養成を中心とした行動変容策を組み合わせ、「人流抑制」を目指す。
・国民の生命、健康の維持と、国民の生活、経済の維持の両方に目配せ。

・知事の権限が、政権の指導力の制約要因として機能していた。

・評価の原則論：何をプログラム＝機能的単位であるとみなすのかがカギ。

・行政の対応の特徴は、既存のルーティンを繰り返そうとする点。
・政治は、例外状況に対応する立場にある。

・政治の対応として重要となるのは「Meaning making」

＝＝＝

「社会的インパクト評価の系譜～マネジメント支援のための評価への進化」　今田克司（2022）

・「社会的インパクト評価」は、日本国内で、2010年代中盤ぐらいから話題に上るようになった。

・評価（エバリュエーション）と、ソーシャルインパクト測定の対比
・評価とインパクト測定の橋渡し

・MeasurementやEvaluationという二者択一というよりは、両方必要である。

・「評価は、監査、査定ではなく、価値を引き出すこと」（内閣府2016）
・価値（Valuew）引き出す（接頭辞 e(x)-）ことをEvaluationは原義に持つ。

・総括的評価、形成的評価に加え、評価目的の第三の柱が、意思決定支援のための評価。

＝＝＝

「実践的判断のプロセスとしての形成的アセスメント～J.デューイの価値評価論をめぐって～」西塚孝平（2021）

・形成的アセスメント　Formative assessmentを、J.デューイの価値評価論（Theory of valuation）の立場から捉え直す。

・デューイの理論の中で、ヴィゴツキーの最近接発達領域を理解しなくてはならない。

・生徒の経験を知ること＝現在の発達水準を決することを、教育の起点とした。

・社会文化的な形成的アセスメントは、実践的判断のプロセスである。

・効果量（Effect size）等を示して、学習科学的に効果があると証明されてきた学習科学の立場がある。

○デューイって、ほんと巨大。まさか評価の領域でも出会うとは。まだまだ不勉強。

＝＝＝

「ポストコロナ時代の評価と日本評価学会の20年」山谷清志（2021）

・再興すべき前提の一つは、「新自由主義」である。
・評価は、エッセンシャルワークと呼ばれる公共的な業務の担当者を直撃した。
・非常事態によって、既存の評価プロセス、平時の評価システムを見直すきっかけを得た。

＝＝＝

「日本におけるエビデンスに基づく政策形成（EBPM）の現状と課題～Evidence Basedが先行する分野から何を学び何を乗り越える必要があるのか」　小林庸平（2020）

・エビデンスとは、因果的な検証結果のこと

・Credibility Revolution信頼性革命（Angrist and Pischke 2010）分析結果に対する信頼性が向上。

・回帰不連続デザイン　Regression Discontinuity Design:RDD
・SUTVA：Stable Unit Treatment Value Assumption　外部性を排除するもの。

・現在の日本のEBPMは、事業に関するロジックモデル作りが中心。

・内的妥当性：因果関係の確からしさ
　外的妥当性：他にも一般化できるのか

・EBPMにおいては「問いの設定」により大きな力を割いていくべき。

・政府活動の大半は、再分配政策である。

＝＝＝

「科学的根拠に基づく実践とその形成評価のアプローチが日本社会に定着しない現状と要因～改善への示唆」大島厳（2014）

・科学的な裏付けのあるEBP等効果モデルに優先的に資源配分する国際的潮流がある。

・世界的エビデンスがあるOJTという援助要素（Beckerら、2003）

○障碍者雇用支援をされているパートナー講師の汐中義樹さんに、この本を紹介してみよう。

・プラグラムゴールとプログラム設計の欠如。トップダウンでの通告が問題。

・措置行政の下では、要綱の記載事項は、「お上」が示した「完全」なものであり、実践現場からの「創意工夫」は全く期待されない。コンプライアンス違反とすら見られる。

○著者の怒りを感じるな～。

＝＝＝

「人間開発指数再考：包括的な開発評価への試み」米原あき（2013）

・人間開発指数　HDI：Human Development Index
・HDIの思想根拠となっているのが、Sen（1981他）

・どのような潜在能力が欠如しているかを分析する際に役立つ。

・Senによれば、開発の究極的な目的は、本質的自由　Constituitive freedomを実際的に実現する自由にあり、経済成長や経済的な豊かさは、開発の手段の一つである。

・HDIのディメンション：健康的な生活（平均余命）知識（教育）適正な生活水準（GNI）

・HDIランキングを補完するのが「開発バランス」
・アンバランスが見られる場合、その国の人間開発政策に何らかの改善が必要。

○日本は、HDIランクは、Very Highで、開発バランスは「安定型」に入っている。ちょっと安心。

＝＝＝

「日本評価学会　評価士養成講座の実施：評価の専門能力の認証制度の確立に向けて」佐々木亮・小室雪野・薮田みちる（2012）

・評価能力の活用度合いに関する大規模な追跡調査が必要であるが、まだ実施されたことはない。

・活躍のための環境整備が不可欠。評価士の品質をコントロールする仕組み、専門的能力を維持発展させるための仕掛けが必要。

○講座、受けてみよう。

http://evaluationjp.org/activity/training-pro.html

＝＝＝

「評価活動要覧：評価と私」（2010）

・評価とは、する側にとっても、される側にとっても有益な学びの場である。

・1996年頃に、RossiらのEvaluation（第５版）に出会った。
〇これ、読んでみよう！

・評価において、統計でうそをつく法
　１）ウソのデータを作る
　２）データを恣意的に使う
　３）データを誤って使う
　４）数字を独り歩きさせる

・いずれの評価でも問いかけているのは、課題認識を起点に適切にデザインしているかという点である。
・評価とは、社会デザインのための提言活動そのものである。

・評価研究の古典　Campbell and Stanley（1963）
〇Campbell（1968）の文献は見つかった。http://www.asasrms.org/Proceedings/y1965/Quasi-Experimental%20Design.pdf

・評価とはポジティブなもの。ネガティブなものは批判という。

・評価とは、ある対象に対する価値づけ。
・評価とは、物事に順位付けをしていくこと。

・良い評価は、良い評価者から生まれる

・評価は、社会を変える道具。

＝＝＝

「ドラッカーによる成果重視の自己評価手法～評価領域拡大への示唆」田中弥生・伊永大輔（2003）

・知識ワーカーほど、帰属意識と精神的なよりどころ（コミュニティ）を求めている（Drucker,1995）
・知識ワーカーは、転職を繰り返すか、独立して起業家となるというように、流動的な性質を有する。

・民間非営利組織が、マネジメント改善のための自己診断するツール
・ドラッカーの自己評価手法：５つの設問
　１）われわれの使命は何か？
　２）われわれの顧客は誰か？
　３）顧客は何を価値あるものと考えるか？
　４）われわれの成果は何か？
　５）われわれの計画は何か？

・自己評価手法は、マネジメントを前提として、革新し続けるために、開発された評価手法であると言える。
・自己評価手法では、イノベーションという目的のために、何をどのように計画に組み込むのかを思考過程に従って説明している。

・使命と計画の見直しという形でイノベーションを促している。

・Simon（1976）人間は限定的にしか合理的でない（Bounded Rationality）

○ドラッカー先生の「5つの質問」は、評価の世界でも「自己評価手法」として取り上げられているんだ～。比企起業大学大学院でも、ミニ起業家が自分の事業を考えるためのヒントとして「5つの質問」を活用している。

＝＝＝

「開発ミクロ実証経済学は、実証系論文に寄せられる課題を解消しているか？～開発経済学ジャーナルのシステマティックレビューを基に」中村信之・鈴木綾（2019）　農業経済研究　

・2010年に巻き起こったミクロ経済分析の論争～信頼性革命。構造推定モデルの信頼性に疑問を投げかけた論文（Angrist and Pischke,2010)に端を発し、その後、構造推定派と誘導型推定派による論争に発展。

○読んでみよう。

https://pubs.aeaweb.org/doi/pdf/10.1257/jep.24.2.3?utm_source=npr_newsletter&utm_medium=email&utm_content=20211012&utm_term=5855178&utm_campaign=money&utm_id=47464689&orgid=55&utm_att1=money

・ランダム化比較実験（RCT）を中心とした誘導型推定（実験系論文）の分析は、因果関係の確立や内的妥当性における信頼性が高い一方、外的妥当性の欠如、分析対象の限定化、不明瞭なメカニズム、結果の恣意性、倫理面での問題、多額にかかるコスト、統計的な有意性に焦点が置かれ過ぎている等、多くの課題がある。

・実験系論文への批判：
　１）外的妥当性（External Validity）への疑念
　２）研究対象の矮小化
　３）因果推定のブラックボックスを解明できていない
　４）結果の恣意性

＝＝＝