Шаг 3 — формирование экспериментальной и контрольной групп и группы из единиц в оценочной выборке путем рандомизированного распределения.

На Рисунке 4 отображены основные шаги реализации метода рандомизированного распределения.

Когда данные шаги реализованы, остается уже сравнительно простой этап. После того, как программа будет запущена, необходимо будет измерить результаты как для экспериментальной, так и контрольной группы. Воздействие программы — это разница между средним результатом (Y) для экспериментальной группы и средним результатом (Y) для контрольной группы.

Рандомизированное распределение является наиболее надежным методом оценки контрфактных данных и в определенной степени — золотым стандартом в области оценки воздействия.

ОЦЕНКА ВОЗДЕЙСТВИЯ HISP: РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ

Вернемся к оценке пилота программы HISP, в котором участвуют 100 экспериментальных деревень.

Проведя две оценки воздействия с использованием потенциально предвзятых оценок (о которых речь шла ранее), команда проекта решила получить более точную оценку — с использованием рандомизированного распределения. Было определено, что для построения достоверной оценки контрфакта потребуется идентифицировать группу деревень, которые во всех отношениях максимально похожи на 100 деревень, где проводится эксперимент. Поскольку 100 экспериментальных деревень для HISP были выбраны случайным образом из всех деревень в стране, экспериментальные деревни имели те же характеристики, что и сельские деревни в стране в целом. Оставалось оценить разницу между этими двумя группами. Таким образом, были собраны данные еще о 100 деревнях, которые не были охвачены программой.

В Таблице 2 показаны средние расходы домохозяйств на здравоохранение в контрольной и экспериментальной группах по одинаковым критериям. Средние расходы домохозяйств на здравоохранение до эксперимента в двух группах статистически не отличаются, как и следовало ожидать при рандомизированном распределении. Математический анализ показал, что результатом эксперимента стало сокращение расходов домохозяйств на 10,14 доллара США за два года.

Примечание: Уровень значимости: ** = 1 процент.

Примечание: Уровень значимости: ** = 1 процент.

Источник Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch. Impact Evaluation in Practice Second Edition. — International Bank for Reconstruction and Development / The World Bank, 2016

В заключение хотелось бы сказать, что использование строгих методов оценки и организация регулярного сбора и мониторинга данных о проекте или программе представляют основной набор инструментов, которые заинтересованные стороны могут использовать для проверки и повышения эффективности и результативности социальных проектов и программ на различных этапах реализации.

СПИСОК ЛИТЕРАТУРЫ:

1. Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch. Impact Evaluation in Practice Second Edition. — International Bank for Reconstruction and Development / the World Bank, 2016

2. Imbens, Guido W., and Donald B. Rubin. Rubin Causal Model. In the New Palgrave Dictionary of Economics, second edition, edited by Steven N. Durlauf and Lawrence E. Blume. Palgrave, 2008.

3. Rubin, Donald B. Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies. Journal of Educational Psychology 66 (5): 688–701, 1974.

4. Bertrand, Marianne, Bruno Crépon, Alicia Marguerie, and Patrick Premand. Impacts à Court et Moyen Terme sur les Jeunes des Travaux à Haute Intensité de Main d’oeuvre (THIMO): Résultats de l’évaluation d’impact de la composante THIMO du Projet Emploi Jeunes et Développement des compétence (PEJEDEC) en Côte d’Ivoire. Washington, DC: Banque Mondiale et Abidjan, BCP-Emploi. 2016.

5. Blattman, Christopher, Nathan Fiala, and Sebastian Martinez. «Generating Skilled Self-Employment in Developing Countries: Experimental Evidence from Uganda.» Quarterly Journal of Economics 129 (2): 697–752. doi: 10.1093/qje/qjt057.

6. Bruhn, Miriam, and David McKenzie. «In Pursuit of Balance: Randomization in Practice in Development Field Experiments.» American Economic Journal: Applied Economics 1 (4): 200–232. 2009.

7. Dupas, Pascaline. 2011. «Do Teenagers Respond to HIV Risk Information? Evidence from a Field Experiment in Kenya.» American Economic Journal: Applied Economics 3 (1): 1–34.

8. Glennerster, Rachel, and Kudzai Takavarasha. Running Randomized Evaluations: a Practical Guide. Princeton, NJ: Princeton University Press. Randomized Assignment 87, 2013.

9. Kremer, Michael, Jessica Leino, Edward Miguel, and Alix Peterson Zwane. «Spring Cleaning: Rural Water Impacts, Valuation, and Property Rights Institutions.» Quarterly Journal of Economics 126: 145–205. 2011.

10. Kremer, Michael, and Edward Miguel. «Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities.» Econometrica 72 (1): 159–217. 2004.

11. Premand, Patrick, Oumar Barry, and Marc Smitz. «Transferts monétaires, valeur ajoutée de mesures d’accompagnement comportemental, et développement de la petite enfance au Niger. Rapport descriptif de l’évaluation d’impact à court terme du Projet Filets Sociaux.» Washington, DC: Banque Mondiale. 2016.

12. Schultz, Paul. «School Subsidies for the Poor: Evaluating the Mexican Progresa Poverty Program.» Journal of Development Economics 74 (1): 199–250. 2004.

Evaluating Impact with All Rigor Possible. Applicability of Mathematical Methods in Measuring Social Impact (Exemplified by the Health Insurance Subsidy Program)

Elena Avramenko

DOI 10.55140/2782-5817-2022-2-2-68-81

Increasing incomes, improving the education system, reducing morbidity are important areas of impact investment. Whether these changes will actually be achieved is the key question for an investor deciding on a social technology or project to invest in. However, the leaders of social projects and programs often focus on measuring the immediate outputs rather than on assessing whether projects and programs have had the expected impact. In this article, we would like to highlight the experience of evaluating the impact of the Health Insurance Subsidy Program (HISP) and describe approaches that can be used to address this and other similar problems.

Elena Avramenko

Expert of the project "Development of a Social and Economic Impact Assessment Model for NGOs" by the GLADWAY Foundation, Lean 6 Sigma Green Belt master

HEALTH INSURANCE FOR THE POOR

The Health Insurance Subsidy Program (HISP) is a program implemented in Kenya that finances the purchase of health insurance for low-income households in rural areas. The insurance covers the costs associated with medical care and medications. The objective of HISP is to reduce out-of-pocket health expenditures of poor families and ultimately to improve health outcomes.

HISP was originally launched in pilot mode. The plans for gradual expansion of the program depended on the results of the