You are here: University of Vienna PHAIDRA Detail o:1307282
Title (eng)
Evaluating humanitarian response to disasters in the WASH sector
an anlysis of the benefits and shortcomings in using the OECD-DAC criteria
Parallel title (deu)
Evaluierung humanitärer Katastrophenhilfe im WASH Sektor ; eine Analyse der Vor- und Nachteile der Anwendung der OECD-DAC Kriterien
Author
Philipp Polanski
Adviser
Elisabeth Ringhofer
Assessor
Elisabeth Ringhofer
Abstract (deu)

Katastrophen sind komplexe, einzigartige und dynamische Phänomene. Da Evaluierungen nicht alle Aspekte einer solchen erfassen können, ist es entscheidend, wie die zu evaluierenden Fragestellungen analysiert werden. Die vom Development Assistance Committee der Organisation for Economic Co-operation and Development (OECD-DAC) entwickelten Kriterien sind in der Evaluierung humanitärer Hilfe weit verbreitet. Die Diplomarbeit beschäftigt sich mit der Anwendung der OECD-DAC Kriterien zur Evaluierung von Water, Sanitation and Hygiene Promotion (WASH) Interventionen in der humanitären Katastrophenhilfe. Der Forschungsschwerpunkt liegt dabei auf ihrer Anwendungspraxis, ihrem Beitrag zum Erkenntnisgewinn und inwiefern sie dazu geeignet sind, zentrale WASH Themen zu beleuchten, um evidenzbasiertes Lernen zu ermöglichen. Die Diskussion über die Eignung der OECD-DAC Kriterien für humanitäre Katastrophenhilfe im Bereich WASH bezieht sich auf drei Forschungsfragen: Wie werden die OECD-DAC Kriterien angewendet um humanitäre WASH Katastropheninterventionen zu evaluieren und was enthüllen sie? Wie werden Querschnittsthemen und Standards in Verbindung mit den OECD-DAC Kriterien angewendet? Welche Stärken und Schwächen lassen sich für die Verwendung der OECD-DAC Kriterien in der Evaluierung von Aktivitäten humanitärer Katastropheneinsätze ausmachen?
Den Kern der Untersuchung bildet eine Metaanalyse von Evaluierungsberichten. Die Forschungsmethodologie wird durch eine Kombination aus Literatur- und Dokumentenrecherche sowie einer Analyse bestehender Evaluierungsansätze ergänzt. Die Forschungsarbeit argumentiert, dass theoretische Veränderungsmodelle in der Katastrophenhilfe schwer anwendbar sind und es daher umso wesentlicher ist, Schlüsse aus Erfahrungen systematischen Testens verschiedener WASH Ansätze zu ziehen. Demnach wäre das Einfangen dieser Testerfahrungen die am besten geeignetste Anwendung von Evaluierungen. Allerdings erfüllen Evaluierungen diesen Zweck bisher nur in geringem Ausmaß, insbesondere in Bezug auf die bedeutendste Schwäche von WASH Katastropheninterventionen: Die Verbindung von Nothilfe mit längerfristiger Entwicklung. Die Forschungsarbeit zeigt, dass die OECD-DAC Kriterien vor allem Themen adressieren, welche in den vom Sphere Project und Humanitarian Accountability Partnership entwickelten humanitären Standards bereits Ausdruck finden. Während einige der OECD-DAC Kriterien zur Bestimmung der Performance von WASH Interventionen unersetzbar sind, sind die qualitativen Aspekte solcher nur mittels etablierter humanitärer Standards bestimmbar. Aus den Forschungsergebnissen folgt, dass ein fokussierter Einsatz einiger weniger OECD-DAC Kriterien (gemäß dem Evaluierungszweck), verbunden mit humanitären Standards, besser geeignet ist, um zu ergründen welche WASH Konzepte funktionieren, welche nicht und warum. Zusätzlich würde ein solcher Ansatz bestehende Bestrebungen unterstützen Evaluierungen einfacher zu machen wie letztlich den von Katastrophen betroffenen Menschen eine aktive Rolle im Evaluierungsprozess zu ermöglichen.

Abstract (eng)

As disasters are complex, unique and dynamic phenomena, and evaluations are not a tool to capture everything, the lenses through which evaluations look at things are critical. The evaluation criteria developed by the Organisation for Economic Co-operation and Development's Development Assistance Committee (OECD-DAC) have become prevalent in the evaluation of humanitarian action (EHA). The research of this diploma thesis explores the OECD-DAC criteria for evaluating Water, Sanitation and Hygiene Promotion (WASH) interventions in humanitarian response to disasters. In the focus are their recent practice, what they are used to reveal and if that is addressing persistent issues in the sector to create an evidence base for learning. The discussion of the OECD-DAC criteria’s usefulness for evaluating WASH emergency interventions is framed with three research questions: How are the OECD-DAC criteria used to evaluate humanitarian emergency response in the WASH sector and what do they reveal? How are cross-cutting themes and standards used in conjunction with the OECD-DAC criteria? What are the benefits and shortcomings of using OECD-DAC criteria for evaluating WASH emergency response activities?
At the heart of the research is a meta-analysis of evaluation reports. It is complemented by literature reviews, documentary research and a review of existing EHA approaches. The thesis argues that because theory of change models are hardly applicable in emergency response, deriving lessons from field experience gained through trial and error is inevitable. Accordingly, the best possible utilisation of evaluations would be to capture this process of testing. However, current evaluations hardly fulfil this purpose, particularly with respect to the most prominent and persistent weakness of WASH emergency interventions, i.e. linking relief and development. The research demonstrates that the OECD-DAC criteria largely reveal what is already well known and emphasised in humanitarian standards developed by the Sphere Project and the Humanitarian Accountability Partnership. While some of the OECD-DAC criteria are irreplaceable for measuring the performance of WASH interventions, using established humanitarian standards is the only way to assess relevant quality and accountability aspects. It is concluded that a focused use of a few selected OECD-DAC criteria (according to the evaluation purpose) paired with humanitarian standards provide a more fruitful basis for evidence on What works, what not and why? Additionally, such an approach would aid on-going attempts to make evaluations less intricate endeavours, eventually leading to an active role of disaster-affected people in evaluations.

Keywords (eng)
evaluationevaluation criteriaOECD-DACWASHhumanitarian emergency response
Keywords (deu)
EvaluierungEvaluierungskriterienOECD-DACWASHhumanitäre Katastrophenhilfe
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1307282
rdau:P60550 (deu)
109 S.
Number of pages
122
Members (1)
Title (eng)
Evaluating humanitarian response to disasters in the WASH sector
an anlysis of the benefits and shortcomings in using the OECD-DAC criteria
Parallel title (deu)
Evaluierung humanitärer Katastrophenhilfe im WASH Sektor ; eine Analyse der Vor- und Nachteile der Anwendung der OECD-DAC Kriterien
Author
Philipp Polanski
Abstract (deu)

Katastrophen sind komplexe, einzigartige und dynamische Phänomene. Da Evaluierungen nicht alle Aspekte einer solchen erfassen können, ist es entscheidend, wie die zu evaluierenden Fragestellungen analysiert werden. Die vom Development Assistance Committee der Organisation for Economic Co-operation and Development (OECD-DAC) entwickelten Kriterien sind in der Evaluierung humanitärer Hilfe weit verbreitet. Die Diplomarbeit beschäftigt sich mit der Anwendung der OECD-DAC Kriterien zur Evaluierung von Water, Sanitation and Hygiene Promotion (WASH) Interventionen in der humanitären Katastrophenhilfe. Der Forschungsschwerpunkt liegt dabei auf ihrer Anwendungspraxis, ihrem Beitrag zum Erkenntnisgewinn und inwiefern sie dazu geeignet sind, zentrale WASH Themen zu beleuchten, um evidenzbasiertes Lernen zu ermöglichen. Die Diskussion über die Eignung der OECD-DAC Kriterien für humanitäre Katastrophenhilfe im Bereich WASH bezieht sich auf drei Forschungsfragen: Wie werden die OECD-DAC Kriterien angewendet um humanitäre WASH Katastropheninterventionen zu evaluieren und was enthüllen sie? Wie werden Querschnittsthemen und Standards in Verbindung mit den OECD-DAC Kriterien angewendet? Welche Stärken und Schwächen lassen sich für die Verwendung der OECD-DAC Kriterien in der Evaluierung von Aktivitäten humanitärer Katastropheneinsätze ausmachen?
Den Kern der Untersuchung bildet eine Metaanalyse von Evaluierungsberichten. Die Forschungsmethodologie wird durch eine Kombination aus Literatur- und Dokumentenrecherche sowie einer Analyse bestehender Evaluierungsansätze ergänzt. Die Forschungsarbeit argumentiert, dass theoretische Veränderungsmodelle in der Katastrophenhilfe schwer anwendbar sind und es daher umso wesentlicher ist, Schlüsse aus Erfahrungen systematischen Testens verschiedener WASH Ansätze zu ziehen. Demnach wäre das Einfangen dieser Testerfahrungen die am besten geeignetste Anwendung von Evaluierungen. Allerdings erfüllen Evaluierungen diesen Zweck bisher nur in geringem Ausmaß, insbesondere in Bezug auf die bedeutendste Schwäche von WASH Katastropheninterventionen: Die Verbindung von Nothilfe mit längerfristiger Entwicklung. Die Forschungsarbeit zeigt, dass die OECD-DAC Kriterien vor allem Themen adressieren, welche in den vom Sphere Project und Humanitarian Accountability Partnership entwickelten humanitären Standards bereits Ausdruck finden. Während einige der OECD-DAC Kriterien zur Bestimmung der Performance von WASH Interventionen unersetzbar sind, sind die qualitativen Aspekte solcher nur mittels etablierter humanitärer Standards bestimmbar. Aus den Forschungsergebnissen folgt, dass ein fokussierter Einsatz einiger weniger OECD-DAC Kriterien (gemäß dem Evaluierungszweck), verbunden mit humanitären Standards, besser geeignet ist, um zu ergründen welche WASH Konzepte funktionieren, welche nicht und warum. Zusätzlich würde ein solcher Ansatz bestehende Bestrebungen unterstützen Evaluierungen einfacher zu machen wie letztlich den von Katastrophen betroffenen Menschen eine aktive Rolle im Evaluierungsprozess zu ermöglichen.

Abstract (eng)

As disasters are complex, unique and dynamic phenomena, and evaluations are not a tool to capture everything, the lenses through which evaluations look at things are critical. The evaluation criteria developed by the Organisation for Economic Co-operation and Development's Development Assistance Committee (OECD-DAC) have become prevalent in the evaluation of humanitarian action (EHA). The research of this diploma thesis explores the OECD-DAC criteria for evaluating Water, Sanitation and Hygiene Promotion (WASH) interventions in humanitarian response to disasters. In the focus are their recent practice, what they are used to reveal and if that is addressing persistent issues in the sector to create an evidence base for learning. The discussion of the OECD-DAC criteria’s usefulness for evaluating WASH emergency interventions is framed with three research questions: How are the OECD-DAC criteria used to evaluate humanitarian emergency response in the WASH sector and what do they reveal? How are cross-cutting themes and standards used in conjunction with the OECD-DAC criteria? What are the benefits and shortcomings of using OECD-DAC criteria for evaluating WASH emergency response activities?
At the heart of the research is a meta-analysis of evaluation reports. It is complemented by literature reviews, documentary research and a review of existing EHA approaches. The thesis argues that because theory of change models are hardly applicable in emergency response, deriving lessons from field experience gained through trial and error is inevitable. Accordingly, the best possible utilisation of evaluations would be to capture this process of testing. However, current evaluations hardly fulfil this purpose, particularly with respect to the most prominent and persistent weakness of WASH emergency interventions, i.e. linking relief and development. The research demonstrates that the OECD-DAC criteria largely reveal what is already well known and emphasised in humanitarian standards developed by the Sphere Project and the Humanitarian Accountability Partnership. While some of the OECD-DAC criteria are irreplaceable for measuring the performance of WASH interventions, using established humanitarian standards is the only way to assess relevant quality and accountability aspects. It is concluded that a focused use of a few selected OECD-DAC criteria (according to the evaluation purpose) paired with humanitarian standards provide a more fruitful basis for evidence on What works, what not and why? Additionally, such an approach would aid on-going attempts to make evaluations less intricate endeavours, eventually leading to an active role of disaster-affected people in evaluations.

Keywords (eng)
evaluationevaluation criteriaOECD-DACWASHhumanitarian emergency response
Keywords (deu)
EvaluierungEvaluierungskriterienOECD-DACWASHhumanitäre Katastrophenhilfe
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1307283
Number of pages
122