Las organizaciones realizan esfuerzos e invierten recursos para desarrollar programas de intervención con múltiples objetivos, como por ejemplo, mejorar habilidades, condiciones de trabajo, clima organizacional, etc. En algunas ocasiones, luego de incorporado el programa, afirman haber logrado ciertos efectos, pero la información con la cual los justifican no existe, es insuficiente o equivocada. El objetivo de este artículo es explicar cómo se puede saber realmente si una intervención es efectiva y por qué, para que los encargados cuenten con información válida y suficiente para tomar decisiones con respecto a su continuidad, mejoramiento o eliminación.
Si tienes comentarios, preguntas, otros temas que te gustaría que tratemos o deseas valorar este artículo, ve al final de la página. ¿Te gustó?, no olvides compartirlo, para nosotros será de gran utilidad.
¿Qué es una intervención?
En términos generales, cualquier intervención se trata de un conjunto de recursos y actividades que se dirigen a unos objetivos (Newcomer et al., 2015). En este sentido, también se entienden las intervenciones como un conjunto de hipótesis acerca de los resultados de una serie de esfuerzos articulados, es decir que podemos plantear una intervención en términos de que “si hacemos X (cambio, actividades, etc.), obtendremos Y resultados (mejoras, productividad, etc.)”. Por lo tanto, toda intervención tiene una estructura causal subyacente susceptible de ser comprobada empíricamente a través de un tipo particular de investigación denominado Investigación evaluativa. En otras palabras, para tener certeza de que los resultados obtenidos se derivan efectivamente de la intervención llevada a cabo y no de otros factores, es necesario llevar a cabo una investigación evaluativa, la cual explicaremos a continuación.
¿Qué es una investigación evaluativa?
La investigación evaluativa es el proceso de recolectar y analizar información con la finalidad de juzgar la utilidad y el valor de las intervenciones. Este proceso se apoya en el método científico para brindar certezas a la toma de decisiones acerca de la implementación, financiación, continuidad, mejoramiento o eliminación de las intervenciones organizacionales (Vargas-Trujillo & D’Errico, 2008). Una vez que se decide evaluar una intervención, es necesario elegir el enfoque más apropiado para llevar a cabo la evaluación, principalmente respecto a los siguientes aspectos, descritos por Newcomer et al. (2015):
El momento de la evaluación:
El momento en que se realiza la evaluación puede variar desde un estudio único de un aspecto específico de la implementación o un conjunto de resultados, hasta un sistema de evaluación continuo a lo largo de la intervención. En el primer caso, se trata de una investigación transversal en la cual se recogen los datos en un sólo momento para identificar lo que sucede con uno o varios aspectos de la intervención en ese momento determinado, por ejemplo, cuando se evalúa la satisfacción de los participantes con un programa de formación al finalizar este. En el segundo caso, se considera una investigación longitudinal, en la que se toman datos en distintos momentos con el fin de hacer seguimiento o ver los cambios, a lo largo del tiempo, de los fenómenos evaluados. Por ejemplo, cuando se evalúan las habilidades de un grupo de trabajadores antes, en medio y después de un programa de formación dirigido a mejorar dichas habilidades, para establecer los cambios generados por el programa.
Nivel de participación de los grupos de interés:
A diferencia de otro tipo de investigaciones que exigen observadores imparciales y neutrales para garantizar “objetividad” en los resultados, las investigaciones evaluativas requieren la participación de los grupos de interés involucrados para garantizar que los resultados de la evaluación sean utilizados. De esta manera, el personal del programa, los clientes, beneficiarios o financiadores pueden ser consultados teniendo en cuenta su autoridad para tomar decisiones con respecto al diseño de la evaluación, la recolección e interpretación de los datos o la formulación de recomendaciones sobre la intervención.
Enfoque:
La investigación cualitativa se caracteriza por tener un enfoque abierto e inductivo en el que se amplían las preguntas a medida que avanza la evaluación. Los datos cualitativos por lo general son palabras o imágenes que se recopilan a través de entrevistas, grupos focales y observación participante. Por su parte, la investigación cuantitativa tiene un enfoque deductivo basado en datos numéricos que se obtienen de registros administrativos y encuestas estructuradas.
La aproximación más común al evaluar intervenciones es usar métodos mixtos en los que se combinan métodos de recolección de datos cuantitativos y cualitativos. El grado en que se utilicen más unos u otros dependerá de las preguntas y destinatarios de la evaluación.
Tipo de evaluación:
La evaluación se puede clasificar en dos categorías: formativa y sumativa. La evaluación formativa utiliza métodos para mejorar la forma en que una intervención es diseñada e implementada. La evaluación sumativa se enfoca en los resultados y el impacto de la intervención, ya sea mientras esta se realiza o una vez finalizada. Estos tipos de evaluación implican que la investigación se realice sobre uno o varios componentes de la intervención, de tal manera que cada etapa haya sido correctamente establecida y exista una vinculación lógica entre las diferentes etapas y con los resultados obtenidos. Los principales componentes o etapas de la intervención que se consideran son las necesidades, el diseño y la implementación.
Evaluación de necesidades
Las necesidades son las brechas existentes entre la situación actual y el estado ideal. Estas brechas se definen como el “problema” que motiva las intervenciones (Sleezer et al., 2014). La evaluación en esta etapa se enfoca en la rigurosidad con la que se recolectó y analizó la información que fundamentó la intervención. Dicha información puede estar referida a aspectos estratégicos, operativos, de desempeño, de formación, salud o bienestar de los trabajadores. Las necesidades también pueden establecerse a partir de aspectos normativos o percibidos por un grupo o comunidad. Algunos modelos diagnósticos utilizados comúnmente por las organizaciones son el Modelo de elementos organizacionales (Kaufman, 2004), las matrices DOFA y otros esquemas para valorar el desempeño operativo y contable (Sleezer et al., 2014).
Evaluación de diseño
En esta etapa se evalúa la suficiencia de los objetivos, la estrategia, las actividades de la intervención y la coherencia entre ellos. En el caso de los objetivos, estos deben derivarse claramente de las necesidades identificadas. El objetivo general debe definir la situación ideal y la estrategia de intervención, es decir, la situación a la que se quiere llegar y el mecanismo a través del cual se espera hacerlo. Los objetivos específicos, por su parte, deben describir los cambios o actividades necesarios para llegar a la situación ideal definida en el objetivo general (Vargas-Trujillo & D’Errico, 2008). Además, los objetivos deberán adecuarse a los lineamientos definidos en la misión y la visión de la organización, en tanto los programas de intervención constituyen acciones para alcanzar el estado ideal definido en ellas (Fraser & Galinsky, 2010).
La estrategia y las actividades representan la teoría o marco lógico a través de las cuales se logran los objetivos. Este marco debería ser seleccionado a partir de una revisión de la literatura científica que fundamente los resultados esperados del programa en el contexto particular en el que se desarrolle. Sin embargo, esto por lo general no sucede, siendo tarea de la evaluación la reconstrucción de este marco lógico o teórico en el cual se establezcan claramente los vínculos causales entre cinco elementos (McLaughlin & Jordan, 2015):
Recursos o entradas (inputs): materiales, informacionales, humanos y financieros
Actividades: Acciones que transforman los recursos en outputs.
Outputs: Productos, bienes o servicios que se entregan a los beneficiarios directos de la intervención.
Resultados: Cambios o beneficios a corto, mediano y largo plazo, generados por la intervención.
Contexto: son los factores externos a la intervención que pueden afectar su diseño, ejecución y/o resultados, como por ejemplo, factores políticos, económicos, socioculturales, del cliente, etc.
Evaluación del proceso
La evaluación de esta parte de la intervención consiste en valorar si las actividades se están ejecutando de acuerdo con el plan establecido en el diseño y si están siendo efectivas en la transformación de los inputs en los outputs esperados. También se evalúa la suficiencia de los recursos, la claridad de los roles por parte de los ejecutores, así como la comunicación entre ellos y con otros grupos de interés de la intervención, y si hay aspectos éticos relacionados con la ejecución y el manejo dado a estos (McLaughlin & Jordan, 2015).
Evaluación de resultados
Finalmente, la investigación evaluativa dirigida a los resultados busca establecer relaciones causales entre estos y la intervención. Sin embargo, poder responder con certeza que los resultados percibidos se atribuyen a la intervención y no a otras influencias externas, implica, por una parte, una adecuada evaluación de las etapas de la intervención con resultados positivos, y por otra, el desarrollo de una investigación con un diseño experimental, que cumpla una serie de exigencias metodológicas. La primera de ellas se refiere a poder responder ¿Qué hubiera sucedido si no se implementa la intervención?, lo cual requiere realizar la evaluación comparando los resultados con un grupo control, es decir, un grupo que no haya recibido la intervención. Además, es importante contar con mínimo dos mediciones en ambos grupos: una antes de la intervención (pre-test) y otras después de ella (pos-test). Por último, los dos grupos deben ser iguales en todos los aspectos conocidos y desconocidos relacionados con los resultados, lo cual sólo se logra mediante la selección aleatoria del grupo control (Torgerson et al., 2015). Si bien resulta muy difícil cumplir con todas estas condiciones en los contextos organizacionales, existen diseños de investigación cuasi experimentales que también realizan comparación de grupos (intervenido y control), aunque con menores niveles de control sobre posibles variables que incidan en los resultados (Henry, 2015).
Como alternativa a estos diseños cuantitativos, se encuentran los estudios de caso, los cuales permiten evaluar programas o contextos de implementación únicos, documentando a profundidad cada una de las etapas de la intervención, lo que permite entender las relaciones entre ellas y con los resultados. Para ello, Martinson y O´Brien (2015) proponen cuatro pasos en el desarrollo de un estudio de caso: 1. Definir las preguntas que servirán como criterios para evaluar los componentes de la intervención, 2. Definir las unidades de análisis o subcomponentes en los que se enfoca la evaluación. Por ejemplo, objetivos, necesidades, actividades, recursos, etc. 3. Decidir si se realizará un estudio de caso único o de casos múltiples, estos últimos se realizan con fines comparativos, por ejemplo, de distintos contextos de implementación, y 4. Desarrollar el estudio, lo que implica la recolección y el análisis de los datos, el reporte de resultados y la discusión.
La recolección y el análisis de datos requiere que los evaluadores estén entrenados en métodos cuantitativos y/o cualitativos, dependiendo del tipo de datos que se utilicen para la evaluación. En la discusión se integran los resultados de la evaluación con hallazgos previos sobre las teorías o marcos lógicos evaluados, proponer sugerencias para la toma de decisiones sobre la intervención e identificar las fortalezas y debilidades de la evaluación, así como propuestas para superar estas últimas en próximas evaluaciones.
Cómo citar este artículo:
Perilla-Toro, L.E. (2024). ¿Realmente funciona? Evaluando los programas de intervención organizacionales. Prax. https://www.prax.com.co/post/realmente-funciona-evaluando-los-programas-de-intervención-organizacionales
Referencias:
Fraser, M. W., & Galinsky, M. J. (2010). Steps in Intervention Research: Designing and Developing Social Programs. Research on Social Work Practice, 20(5), 459–466.
Henry, G. T. (2015). Comparison Group Designs. In Handbook of Practical Program Evaluation (pp. 137–157). John Wiley & Sons, Inc.
Kaufman, R. (2004). Planificación Mega: herramientas prácticas para el éxito organizacional. Publicacions de la Universitat Jaume I.
Martinson, K., & O’Brien, C. (2015). Conducting Case Studies. In Handbook of Practical Program Evaluation (pp. 177–196). John Wiley & Sons, Inc.
McLaughlin, J. A., & Jordan, G. B. (2015). Using logic models. In Handbook of Practical Program Evaluation (pp. 62–87). John Wiley & Sons, Inc.
Newcomer, K. E., Hatry, H. P., & Wholey, J. S. (2015). Handbook of practical program evaluation: Newcomer/handbook (K. E. Newcomer, H. P. Hatry, & J. S. Wholey (eds.); 4th ed.) [PDF]. John Wiley & Sons. https://doi.org/10.1002/9781119171386
Sleezer, C. M., Russ-Eft, D. F., & Gupta, K. (2014). A Practical Guide to Needs Assessment. John Wiley & Sons.
Torgerson, C. J., Torgerson, D. J., & Taylor, C. A. (2015). Randomized Controlled Trials. In Handbook of Practical Program Evaluation (pp. 158–176). John Wiley & Sons, Inc.
Vargas-Trujillo, E., & D’Errico, H. G. (2008). Evaluación de programas y proyectos de intervención: una guía con enfoque de género. https://repositorio.uniandes.edu.co/bitstreams/fa940462-171d-4025-879c-adcb32d8cf18/download
Comments