#성과측정 | Explore Tumblr posts and blogs

enjoyknowledges · 5 years ago

Text

[성과측정] 세상을 바꾼 '진짜' 영향 측정하기

비영리활동을 통해 일어난 긍정적 사회적인 변화는 무엇일까? 그리고 그 변화의 정도는 어느 정도일까? 그리고 그 변화는 확산가능할 것인가? 우리는 목표까지 어느 정도 와있는 것일까? 정말 우리 활동으로 그 변화가 일어난 것일까? 비영리활동을 누군가에게 소개하거나, 설득해야할 때, 혹은 활동을 점검하는 과정에서 이러한 질문을 하게됩니다. 측정가능한 비영리활동에 집중적으로 사회적 투자를 하는 물라고 재단(Mulago Foundation)의 투자 담당자가 고려하는 사회성과 측정 4단계를 소개합니다.

*이 글은 스탠포드사회혁신리뷰 (Stanford Social Innovation Review)에 수록된 <세상을 바꾼 진짜 영향 측정하기 (Real World Impact Measurement)>의 일부에 대한 번역/편집입니다. 배포시 원문 출처를 반드시 기재해주세요.

▶원문 바로가기

사회성과 측정은 쉽지 않습니다. 비용도 예상보다 많이 들어갈 뿐 아니라 들어가는 품도 많습니다. 복잡해지는 사회문제, 사회복지 및 안전망에 대한 수요의 급격한 증가는 더욱 많은 재원을 요구하며, 많은 재원기부자들이 자신의 재원이 사회에 끼친 긍정적 영향을 보고 싶어 합니다. 기획된 비영리활동이 성공했는지, 실패했는지, 적어도 어느 정도의 차이를 불러왔는지를 확인하고 싶어 합니다.

특정 비영리활동 프로그램이 사회에 끼친 영향력을 엄밀하게 파악하기 위해서는 “무작위 대조군 실험(Randomized Controlled Trials, RCT)”를 수행해야하지만, 비용이 만만치 않습니다. 그렇다고 논리적 연계성이 없이 단순히 기록/수집된 숫자는 활동이 나아가야할 방향을 위해 아무런 의미를 제공하지 못합니다. 교훈이 없는 측정과 평가는 안하느니만 못합니다.

수행 중인 비영리 활동/프로그램의 성과 측정은 누구나 수행할 수 있을 만큼 단순하지만, 교훈을 줄 수 있을 만큼 엄밀해야합니다. 이를 위해 평가과정을 프로그램 수행과정 안에 설계해야 합니다. 그리고 수행 과정의 결과물과 기록들이 평가의 요소 및 자료로 활용되며, 동시에 평가 결과물이 활동에 활용될 수 있어야 합니다.

성과측정기반 비영리활동을 지원하는 물라고 재단(Mulago Foundation)의 스타(Kevin Starr)와 헤이튼도프(Laura Hattondorf)는 간단하고 엄밀한 성과측정을 위해 4가지 단계를 제안합니다.

1. 성취하고자 하는 것을 정확하게 규명하라.

2. 적절하고 올바른 지표를 선정하라.

3. (성과 논리적으로 관계된) 실질적인 숫자를 확보하라

4. 인과성을 증명하라.

1. 당신이 달성하고자 하는 것을 정확하게 규명하라.

Figure out what you’re trying to accomplish

달성고자 하는 것을 정확하게 제시하는 것이 성과를 언급하는 것보다 우선입니다. 성과는 단체의 미션으로 갈음되지 않습니다. 성과목표는 1) 동사를 사용해서, 2) 정확한 목표 집단을 제시하고, 3) 측정할 수 있는 활동결과가 포함되어 있어야 합니다. 즉 성취하고자하는 목표의 내용 자체를 읽고 성공과 실패가 정의될 수 있어야 합니다.

예)

◾ 1에이커 미만의 농지를 보유한 소농의 빈곤 탈출

◾ 특정 지역에서 HIV 감염 예방

2. 적절하고 올바른 지표를 선정하라.

Pick the right indicator

당신의 팀구성원에게 다음과 같이 물어보세요. “오직 한 가지만 측정할 수 있다면, 어떤 것이겠는가?” 누군가의 답변에 반론을 하지마세요. 한 개의 지표만 가능할 수 있고, 그리고 그것이 의외로 적절할 수 있습니다. 그리고 때로는 심혈을 기울여 선택한 복수의 지표의 조합을 사용할 수도 있습니다.

성과와 논리적으로 연결된 특정 행위가 있다면, 그 행위의 수행을 성과의 대증물로서 측정할 수 있습니다. 성과로 이어지는 행위와 그 행위에 대한 측정여부를 밝히지 않는 프로젝트는 모호합니다. 행위는 “의식여부” 또는 “역량부여” 등의 세부적 단계로 구성될 수 있습니다. 반드시 명심해야할 것은 지표로서의 특정 “행위”의 결과가 1단계에서 규명한 목표 성과를 달성하도록 기능하느냐는 것입니다.

예) 1단계에서 수립한 성과목표 예시에 대한 지표는 다음과 같을 수 있습니다.

◾ 농부의 소득을 증대한다.

◾ HIV 감염율을 낮춘다.

3. (성과 논리적으로 관계된) 실질적인 숫자를 확보하라.

Get real numbers

세 번째 단계에서 1) 변화를 보여줄 수 있어야 하고, 2) 그 변화가 실제라는 신빙성을 줄 수 있어야 합니다. 위의 요구사항을 충족시키는 방법은 다음과 같습니다.

1) 기초선이 있어야 하며, 적절한 간격을 두고 반복적으로 측정한다.

2) (통계적 방법�� 상에서 결함이 없도록) 올바른 방법으로 적절한 대상을 충분한 숫자의 규모로 표본을 추출해야 한다.

4. 인과성을 증명하라. Show that it was you

‘진짜’ 성과는 당신의 비영리 프로그램의 개입이 있을 때와 없었을 때의 차이를 의미합니다. 즉 기획한 비영리활동이 숫자상으로 확인되는 변화를 이끌어냈다는 인과성을 보일 수 있어야 합니다. 물론 성과측정에서 이 단계가 가장 어렵습니다. 기획한 비영리활동이 없을 때 ‘나타났을’ 결과를 제시하는 것이 어렵기 때문입니다.

활동과 측정결과의 인과성을 확인하는 방법은 아래와 같이 3가지 있습니다.

1) 구술적 인과성 확인

이 방법은 성과로 이어지는 인과적 요인이 적을 때 또는 변화가 극명하게 드러나는 경우에 유용합니다.

2) 계획적 비교 실험

비영리 프로그램 착수 시점에 프로그램을 시행할 집단 또는 지역과 유사한 구성과 인구구성을 가진 비교 집단을 지정하는 것입니다. ‘계획적 비교 실험’은 인과적 요인이 많지 않을 때 효과적입니다. 또한 파악되지 않는 요인이 확실하고 유의미하게 목표로하는 성과에 영향을 끼치지 않을 것이라는 것이 확실할 때 유용합니다. 아주 정확하고 확실한 인과성 확인 방법은 아니나 제법 쓸모있긴 합니다.

3) 무작위 대조군 실험

‘무작위 대조군 실험’은 가장 이상적인 방법입니다. 성과에 영향을 미칠것으로 보이는 변수가 많은 상황에서는 되도록 ‘무작위 대조군 실험’을 해야지 프로그램과 성과의 인과성 파악이 가능합니다.

‘진짜’ 영향을 파악하는 것의 핵심 무엇보다도 정직하고(honest), 의문을 가지고(curious), 건설적으로 의심하는 것(constructive skepticism)입니다.

케빈 스타(Kevin Starr)는,

물라고 재단과 레이너 아놀드 팰로우프로그램에서 운영책임자로 활동하고 있습니다. 물라고 재단은 전세계 빈곤퇴치를 목적으로 근빈곤 취약층의 기본적 요구 충족을 위해 애쓰는 비영리기관/단체를 발굴 지원하는 재단입니다. 특히 근빈곤 취약층의 기본적 요구 해결을 측정가능하고 증명할 수 있는 단체와 기관을 집중적으로 지원합니다.

로라 헤이튼도프(Laura Hattendorf)는,

물라고 재단에서 포트폴리오 운영책임자로서 비영리 투자 프레임워크를 개발하고, 사회적 투자 사례 포트폴리오를 구축하는 업무를 담당하고 있습니다.

▶재단 바로가기

*본 포스팅은 번역자가 서울시NPO지원센터 공익정보 아카이브에 작성된 내용과 동일합니다.

#성과측정 #사회성과 #평가 #모니터링 #성과관리 #M&E

0 notes

enjoyknowledges · 5 years ago

Text

[사회성과측정] 비영리활동 성과 평가시 핵심 요소

사회구성원 중 어느 누구가 소외되지 않도록 공공의 가치를 실현하고, 바람직한 사회를 만드려는 비영리활동의 과정 역시 상당한 재원이 요구됩니다. 모금, 보조금, 기부 등의 다양한 재원 마련 전략이 고안되고 제시되고 있는데요. 이런 전략들의 상당 부분이 재원의 활용과 활동의 성과가 어떻게 연결되고 있는가에 대한 공개와 증명을 요구하고 있습니다. 많은 사회적 가치와 공공성의 실현은 상당한 시간을 요구하기에 재원의 안정적 조달이 중요합니다. 지속가능한 비영리 활동을 위한 명분과 증명을 위한 기관/단체의 활동을 어떻게 평가하면 좋을까요? 모금 전략에 관한 아이디어를 소개하는 체리티네비게이터(Charity Navigator)의 엘리버크가 성과기반 모금프로그램 개발 사회적기업인 클래시(Classy)의 평가에 관해 소개한 짧은 글을 공유합니다.

*인용 및 배포시 반드시 원문 출처를 밝혀주시기 바랍니다.

▶원문 바로가기

오늘 소개하는 글은, 모금 활동 컨설팅을 수행하는 비영리단체 클래시(Classy)의 CEO 팻 왈시(Pat Walsh)가 각 단체를 대상으로 사회성과 연계 모금 전략을 수립하면서 도출한 평가요소에 관한 설명입니다. 왈시는 그동안 전통적 방식의 논리모형이 비영리활동의 현실과 동떨어져있고, 대형 비영리재단이 사용하는 엄밀한 방식의 평가 과정이 소규모 단체들이 활용하기에 현실적으로 불가능했다는 한계를 지적합니다. 왈시는 아래의 5가지 평가 항목을 가지고 소규모 단체도 효율적이고 효과적인 성과 측정이 가능하다고 설명합니다.

“새로운” 평가 방식 A New Evaluation Process

왈시는 “새로운” 평가 방식을 이해하기 위해서 댄 팔로타(Dan Pallotta)의 2013년 테드토크를 언급합니다. 간략하게 요약하면 이렇습니다.

1) “단체/기관이 최종 이상향에 얼마나 도달했는지에 대해서 묻지 말라”

2) “그 단체/기관이 세운 목표의 범위와 확장성(scale of their dreams)에 대해서 물어라”

3) “그리고 그 목표를 향해 가는 과정을 어떻게 측정할지를 물어라(how they measure their progress toward those dreams)”

4) “그 과정에서 필요한 자원이 무엇인지 물어라(what resources they need). 단, 그들이 도달하고자 하는 이상적 가치에 구애받지 말고(regardless of their overhead)”

평가의 핵심 구성 요소 Core Elements of Evaluation

1. 문제 정의 Problem Definition

비영리기관/단체 및 활동은 궁극적으로 어떤 문제를 풀기 위해서 존재합니다. 따라서 그 기관/단체가 문제를 얼마나 명확하게 정의하고 있는가는 매우 중요합니다. “왜 그 문제가 존재한다고 생각하는가?” “그 문제를 어떻게 규정하고 있는가?” “그 문제는 어떻게 측정되어 제3자에게 보여질 수 있는가?” “그 문제가 시간의 흐름에 따라 어떤 모습을 보이는가?” 등 기관/단체가 풀고자 하는 문제를 구체화해서 정의해야 합니다.

2. 전략 Strategy

기관/단체가 풀고자 하는 문제가 구체적으로 정의되었으면, 분명 그 문제가 해결지점까지 어떤 행태가 전개될지, 어떤 행동이 요구되는 지를 구체화한 <행동변화 이론(Theory of Change)> 혹은 <정의된 문제에 따라 도출된 최종 목표에 도달하기 위한 계획>을 가지고 있어야 합니다. 전략 분야를 평가할 때는 ‘프로그램의 차별적 요소‘ 및 ’프로그램이 나아가는 방향을 보여줄 증거 및 수집 방법‘ 또한 함께 평가되어야 합니다.

3. 활동 Operations

'활동 분야 평가'는 기관/단체가 수행하는 프로그램의 세부 활동, 예산, 적용되는 기술, 파트너십 등을 평가합니다. 이 부분 평가이 구체적이고 세밀할수록 기관/단체의 프로그램의 목표 실행 방법이 강조되고, 해당 프로그램이 가진 확장성/영향력의 잠재성이 드러납니다.

4. 결과 Results

기관/단체의 프로그램을 평가할 때 사람들이 그 프로그램이 도출한 결과에 관심을 가지는 것은 당연합니다. 결과를 평가하기 위해서는 결과를 단계별, 과정단계 등에 따라 세분화할 필요가 있습니다. 예를 들어 ‘단기 산출물’, ‘장기적 영향력’. ‘시간에 따른 변화 과정’ 등의 구분이 필요합니다. 또한 사업수혜자의 증언과 같은 질적 측면을 함께 수집하고 평가할 필요가 있습니다.

5. 성장 변화 Growth

‘성장 변화’에 대한 평가는 기관/단체가 프로그램을 수행하면서 “어떤 지식을 획득했는지”, “프로그램 진행 중 어떤 부분을 수정/보완 했는지”, “프로그램의 최종단계는 무엇인지”를 구체적으로 묻습니다. 또한 “기관/단체의 프로그램의 궁극적 목표가 무엇이었는지?” “기관/단체가 정의했던 문제를 궁극적으로 해결했을 때 어떤 양상이 발생되어야만 하는가?” 등 또한 ‘성장 변화’부분을 평가하는 질문 중 하나입니다.

2019.07.31 작성

*서울시NPO지원센터의 <공익정보 아카이브>소속으로 작성한 내용과 동일합니다.

#사회성과 #성과측정 #성과기반모금

0 notes