目次
- プログラム評価としてのインパクト評価
- インパクト評価と「変化の理論」
- ロジックモデルとインパクトマップ
- SROI(社会的投資収益分析)とは?
- SROIによるインパクト算出と貨幣化
- SROI実施における留意点
1.プログラム評価としてのインパクト評価
近年、世界的に「インパクト評価」への関心が高まる一方、インパクト評価の理論、技法に関する共通の理解は深まっていません。
インパクト評価はプログラム評価の一種であり、
プログラムによって生じた効果(アウトカムあるいはインパクト)をみる評価です。
特に新しい評価手法でもなく、既存の費用便益分析や費用効果分析等もインパクト評価と言えます。
SROI(Social Return on Investment)(社会的投資収益分析)も、インパクト評価の一種であり、費用便益分析を基礎にした評価手法です。
プログラム評価の目的は、以下のいずれかまたは全てに該当します。
1プログラムの改善
2説明責任(アカウンタビリティ)
3知識生成
2.インパクト評価と「変化の理論」
インパクト評価において、「プログラム理論=変化の理論」 は重要な点です。
プログラムの実施計画と結びついた「プログラム理論」( program theory)あるいは変化の理論の構築は、実際の評価において見落とされがちです。
ここでいうプログラム理論とは、「プログラム計画を立ち上げる土台となる仮説」であり、プログラムのインプットを、アウトプットやアウトカムと結びつける「因果関係の連鎖」(causal links)の説明です。仮にその評価が明確なプログラム理論を欠いている場合、その評価は説明・検証不能で、評価が「ブラックスボックス化」してしまうこととなります。
対象プログラムによって社会的な効果をもたらしたことを実証することが、インパクト評価の重要な点です。
そのため、近年のインパクト評価では、原因と効果との直接的な結びつきや因果関係を示す帰属性や寄与率が重視されており、また、対象プログラムが”介入した場合と介入していない場合”で比較するアプローチ(反事実)を取る必要性も生じます。
3.ロジックモデルとインパクトマップ
¢「インパクト」(impact)という概念そのものは、プログラム評価等で使用される「ロジックモデル」(Logic Model)と結びついた概念です。
ロジック・モデルでは、通常、以下のチャートが描かれます。
「ロジック・モデル」は、もし、資源(インプット)が投入されれば、活動(アクティビティ)が起こり、その活動を通じて直接的な結果(アウトプット)がもたらされ、その結果を通じて介入対象に変化 (成果=アウトカム)が生じるという因果関係 のプロセスをチャート形式で示したものとなります。
インパクトマップでは、表中に、「インプット⇒アクティビティ⇒アウトプット⇒アウトカム⇒インパクト」のロジックンモデルが落とし込まれ、
また、アウトカムを定量化するためのアウトカム指標や、
アウトカムの成果量を貨幣化するための金銭代理指標が記載されます。
インパクトマップはロジックモデルの一種であるが、単に変化のストーリーを可視化するのではなく、アウトカムの定量化・貨幣化、インパクトの確定、そして最終的なSROI(社会的投資収益率)を計測するツールとして活用されます。
「インパクトマップ」:どのようにして活動(activities)が変化をもたらすかを表形式で可視化したものです。
4.SROI(社会的投資収益分析)とは?
SROIとは、組織によって創出された社会的価値、環境上の価値、そして 経済的価値(トリプル・ボトムライン)について、理解し、測定し、報告するプロセスです。SROIはより広い意味での価値を測定し、説明するための手法です。
費用便益分析(CBA: cost-benefit analysis)を社会的企業等のサード・セクターがその成果評価に活用しやすいように、応用し発展させた評価手法であること。
SROIは経済的な評価のテクニックを使うという意味ではCBAと非常によく似ており、CBAの手法が基礎となっています。SROIは独自な評価理論を開発したというよりも、むしろCBAにおいて発展させられてきた理論や技法に多くを依存しています。
その中で、SROIの主要な特徴の1つは、ステークホルダー・アプローチが費用便益分析の評価プロセスにおいて非常に重要な位置を占めている点です。
これはCBAとの主要な相違点ですが、両者の違いは評価方法の本質な部分にあるのではなく、むしろ「アプローチ」の違いと言えます。
CBAのアプローチにおいては、もっぱらコンサルタントなどの外部機関によって評価が行われる傾向があり、評価結果が組織にフィードバックされ、経営改善に活用されるプロセスが重視されているわけではありません。つまり、SROIの方が、マネジメント・ツールとして組織に「内部化」される傾向が強くあります。
SROIでは、重要性(マテリアリティ)の観点から、「期待されるアウトカム(成果)」を設定します。
社会的プログラムにおいて何が重要なアウトカムで、その受益者は誰なのかについて、ステークホルダー(資源提供者、サービス実施団体、評価機関など)の間で合意し、アウトカムを定義します。
5.SROIによるインパクト算出と貨幣化
SROIは、以下の流れで作成していきます。
1評価対象(scope)の確定とステークホルダーの確定
SROIの分析範囲(境界)と、だれがそのプロセスにどのように関与するかを明確にする。
2アウトカム・マッピング(インパクトマップ)
ステークホルダーと共に、「変化の理論」であるインパクト・マップを創り上げる。インパクト・マップは、インプット、アウトプット、アウトカムの関係性を可視化する。
3アウトカムを証明するデータの発見とその評価
4インパクトの確定
5SROI(社会的投資収益率)の計測
6レポーティング
事実発見をステークホルダー間で共有・活用し、適切なアウトカム・プロセスを実践に組み込む。
6.SROI実施における留意点
1評価の目的の明確化:何のため、誰に向けてのレポーティング
2評価の範囲(スコープ)の明確化:SROIの評価対象、境界線を 明確化する。どのプログラムを対象にするのか?
3ステークホルダーの特定
4ステークホルダーとの対話・協議:参加型の評価の可能性
5マテリアリティ(Materiality:重要課題):期待されるアウトカムの絞り込み
6アウトカムの特定、アウトカム指標の設定(定義)。成果量を計測できる指標
7ロジックモデル(変化の理論)に基づき、アウトカムをマッピング➡インパクトマップ
(インプット・アクティビティ・アウトプット・アウトカムの因果関係を明確に)
8アウトカム計測に関するデータ収集の方法の検討・確定
9インパクト算出のための「反事実(死荷重)」「寄与率」等のデータの収集方法 の検討・確定
10金銭代理指標の検討・確定
11金銭代理指標に関するデータの収集方法の検討・確定
12過大推計や二重勘定を避ける
13貨幣化(経済価値評価)できない、アウトカムも、それが重要なアウトカムであれば成果量を計測
14開示可能な情報と非開示情報の確認
15レポーティングにおける「見える化」の工夫:1頁のイラスト図など活用
16便益の見せ方の検討:社会的投資収益率(SROI)まで見せるか。貨幣化された便益のみを明示するか
17評価コストの推計・検討:評価作業の一部・全部を外部化。あるいは内部化するか?
より詳しいガイダンスは、こちらの資料をご覧ください。