Evaluación participativa de los “Procesos de evaluación del acompañamiento socioeducativo de jóvenes en medio abierto”

1. CONTEXTUALIZACIÓN, PREGUNTAS DE INVESTIGACIÓN Y OBJETIVOS

El origen de este proyecto de investigación es la organización de la sexta Jornada “El proceso de acompañamiento con adolescentes en medio abierto”. En el equipo de organización de esta Jornada participan académicos, técnicos municipales y educadores^[1] de diferentes ayuntamientos y servicios municipales de Barcelona y la comarca del Vallés Occidental.

En las discusiones desarrolladas por los miembros del equipo organizador aparece de manera recurrente el concepto de evaluación. Los participantes consideran que ésta es una actividad que, por su complejidad teórica y práctica, no está suficientemente trabajada en el ámbito de los procesos socioeducativos de acompañamiento de jóvenes en medio abierto. Se considera que la evaluación es una de las carencias importantes en el campo de la acción e intervención socioeducativa en general y, específicamente, en el trabajo con jóvenes. Aunque hay coincidencia en que la evaluación suele ser una actividad normativamente incluida en el funcionamiento de los diferentes servicios municipales de acción socioeducativa, existe una insatisfacción generalizada entre el personal técnico respecto que se evalúa y a las formas de hacerlo.

Resultado de esta insatisfacción, en relación a la evaluación, aparecen muchos interrogantes. Preguntas que interpelan a todas aquellas personas que, directa o indirectamente, participan en el proceso de acompañamiento socioeducativo de jóvenes en medio abierto. ¿Todos los educadores evalúan estos procesos de acompañamiento? ¿De qué manera lo hacen? ¿Qué es, exactamente, lo que evalúan? ¿Cuáles son los indicadores y criterios que utilizan para desarrollar estas evaluaciones? ¿Están sistematizados o estandarizados entre los distintos servicios municipales? ¿Cuáles son las herramientas e instrumentos que se utilizan para hacerlo? ¿Qué demandas se hacen a los educadores en relación a la evaluación desde los servicios técnicos y los representantes políticos? ¿Cuál es el grado de participación de los jóvenes en estos procesos de evaluación?

Estas y otras preguntas fundamentan la investigación evaluativa que se presenta en este trabajo y que se concretan en dos objetivos:

a. Desarrollar un proceso de evaluación participativa focalizado sobre el sentido, las características y los resultados de la evaluación de la intervención socioeducativa que se aplica con jóvenes en el medio abierto.

b. Elaborar de manera participativa, como resultado de dicha evaluación, propuestas de modificación y mejora de los procesos de evaluación del acompañamiento socioeducativo de jóvenes en medio abierto.

En el marco de estos objetivos nos proponemos conocer cómo valoran, los procesos de evaluación del acompañamiento de los jóvenes en medio abierto, los diferentes colectivos implicados y de qué manera podrían mejorarse. Para ello se va a desarrollar una evaluación participativa de estos procesos de evaluación con los cuatro colectivos implicados: educadores, jóvenes, técnicos y políticos. 

2. SOBRE LOS PROCESOS DE ACOMPAÑAMIENTO SOCIOEDUCATIVO DE JÓVENES EN MEDIO ABIERTO

Son diversos los términos con los que la literatura pedagógica se ha referido al trabajo de los educadores con las personas participantes. De todos ellos quizás el concepto de “acompañamiento” es el de uso más frecuente en relación al trabajo con jóvenes. Planella (2003) señala que el término “acompañamiento” aparece en Francia en el ámbito del trabajo social en los años 70 del pasado siglo. Era un concepto usado por las asociaciones y movimientos que luchaban contra la exclusión social y a favor de la integración de las personas con discapacidad. El concepto “acompañamiento” se hace equivalente al del pedagogo de la antigua Grecia que “acompañaba” a las personas a la escuela (Planella, 2003; Gómez, 2012).

Se suele hablar de tres tipos de acompañamiento: el social, que es el que tiene más tradición; el terapéutico, más referido a un tipo de relación clínica, y el educativo, que es el que se realiza con los adolescentes (Alonso & Funes, 2009). Son fundamentalmente el primero y el tercer tipo los que justifican que se haya desarrollado toda una pedagogía del acompañamiento (Planella, 2003; Jiménez, 2011).

En el trabajo con jóvenes que se realiza desde los servicios educativos municipales, puede decirse que el acompañamiento es un término de uso habitual que se combina con otros como, por ejemplo, acción o intervención socioeducativa. Acompañar a los adolescentes y a los jóvenes desde estos servicios educativos significa que los educadores están con los jóvenes ayudándoles en sus procesos vitales de aprendizaje, autoconocimiento e integración sociocultural y, asimismo, en la gestión de los conflictos derivados de dichos procesos.

Orientación y acompañamiento en Flickr

Tampoco el concepto de “medio abierto” es unívoco (Avià, Viguer & Pescador, 2017). Se puede afirmar que no existe ni consenso académico ni profesional sobre su significado exacto. Suele referirse, por lo general, a un conjunto de espacios geográficos o territoriales de intervención socioeducativa, que acostumbran a estar ubicados fuera de las instituciones. Es considerado medio abierto porque, en principio, no existen limitaciones espaciales o temporales que obliguen a los jóvenes a someterse a unas dinámicas determinadas de comportamiento, más allá de las que delimita la propia convivencia social. Pero tampoco este parece ser un significado totalmente compartido.

Llena & Parcerisa (2006) lo consideran como un espacio de relación y regulación en el que son los límites que marcan los educadores los que van a determinar el nivel de apertura de dicho medio. Avià y otros (2017), por su parte, tratan de transcender la equiparación del medio abierto al espacio territorial o geográfico interpretando dicho medio como un conjunto de escenarios en los que los jóvenes viven y representan sus propias historias vitales. Desde su punto de vista, lo que determina esencialmente al medio abierto, más allá de los lugares físicos o virtuales donde se produce el acompañamiento socioeducativo, es que referencia situaciones en las que los adolescentes son los protagonistas, es decir, se representan a sí mismos. El medio abierto sería, desde su punto de vista, el conjunto de estos escenarios y las dinámicas de conflicto, interposición o solapamiento que se producen entre ellos. Señalar, por último, la complejidad del trabajo de los educadores en este ámbito ya que tienen que conjugar “la parte sancionadora de control (responsabilidad) con la educativa, en un contexto de medio abierto donde la tutela o guarda la tienen los padres o tutores, residiendo en su ciudad y barrio (Haba, 2011, p. 112).

La complejidad de la intervención socioeducativa con jóvenes en este medio puede explicar las dificultades de los servicios educativos municipales en relación a la evaluación. La heterogeneidad de los procesos de acompañamiento socioeducativo; la multiplicidad y diversidad de espacios y situaciones que configuran el denominado “medio abierto” en cada uno de los contextos locales y, por último, la falta de modelos y metodologías, más o menos estandarizadas, de evaluación en los servicios socioeducativos municipales, justifican el interés de todos los actores implicados en generar conocimiento nuevo que ayude a conocer cómo se están desarrollando dichos procesos y cómo pueden ser mejorados. 

3. METODOLOGÍA DE LA INVESTIGACIÓN EVALUATIVA

La complejidad de los procesos de acompañamiento socioeducativo, que se desarrollan en medio abierto en los servicios educativos del conjunto de localidades implicadas en el proyecto, nos lleva a optar por una metodología de investigación que nos permita abordar esa complejidad: la evaluación participativa. Es por esta razón que el método escogido es el de la evaluación participativa que permite que académicos y todos los actores que forman parte de los diferentes niveles del proceso (educadores, jóvenes, técnicos y políticos) conforman los equipos evaluadores lo que contribuye a construir conocimiento y a transformar las prácticas de evaluación que se llevan a cabo. Concretamente se opta por aplicar los principios de los Enfoques Colaborativos de Evaluación.

3.1. Sobre la evaluación participativa

La evaluación participativa es una metodología de investigación e intervención socioeducativa que apareció en el contexto norteamericano hace casi tres décadas. Siguiendo a Cousins (2003) se podría caracterizar como un proceso en el que personas expertas en metodologías y técnicas de evaluación trabajan conjuntamente y al mismo nivel con personas que carecen de dicha capacitación pero que pueden verse afectadas por los resultados de aquella evaluación.

Aunque el concepto de “evaluación participativa” ha sido uno de los más utilizados, en estos últimos años los autores parecen preferir denominaciones más genéricas que incluyen lo que se podría caracterizar como diferentes modalidades de “evaluación” y de “participación”. Núñez, Crespo, Úcar & Llena (2014) describen diferentes tipos de evaluación participativa y los caracterizan como enfoques de evaluación orientados a la participación. En estos enfoques confluyen, desde el punto de vista de Núñez (2015) tres líneas de investigación e intervención: (a) los denominados “modelos de cuarta generación” de evaluación (Guba & Lincoln, 1989); (b) la investigación-acción participativa; y (c) la teoría del empoderamiento.

Por su parte, Cousins, Whitmore, & Shulha (2013) y Shulha, Whitmore, Cousins, Gilbert & Al Hudib (2016) prefieren hablar de Enfoques Colaborativos de Evaluación (ECE). Estos mismos autores han elaborado recientemente lo que denominan principios orientados de los ECE. Este conjunto validado de principios ha sido el resultado de un proyecto de investigación, desarrollado a lo largo de varios años, que ha contado con las aportaciones de 320 evaluadores de Norteamérica y otros lugares que practican los enfoques colaborativos de evaluación (ECE). A partir de ellos hemos aplicado, en el desarrollo de la investigación, los siguientes: a) Explicar la motivación para colaborar; b) Fomentar relaciones significativas; c) Desarrollar un entendimiento compartido del programa; d) Promover procesos de participación adecuados; e) Supervisar y reaccionar a la disponibilidad de recursos; f) Supervisar el desarrollo de la calidad de la evaluación; g) Fomentar el pensamiento evaluativo; h) Seguimiento hasta el final para comprobar su utilidad. 

3.2. Crear los equipos de evaluación participativa

El primer paso es constituir un equipo coordinador (EC) configurado a través de los contactos facilitados por el equipo de organización de las jornadas. Este equipo va a ser el encargado de conducir el desarrollo de la investigación. Está integrado por especialistas en evaluación –los académicos- y por las diferentes personas participantes o afectadas por la temática objeto de evaluación participativa. Es el grupo de personas que coordinará la recogida, tratamiento y elaboración de las informaciones y valoraciones de los diferentes colectivos participantes: los educadores, los jóvenes, los técnicos y los políticos.

El EC va a trabajar con otros equipos configurados para cada colectivo implicado en los procesos de evaluación del acompañamiento socioeducativo con jóvenes. En el cuadro Nº 1 es posible observar el número de personas que configuran cada equipo y el género de las mismas. El equipo coordinador está configurado por 7 personas; el de educadores por 8 personas; el de técnicos municipales por 5 personas; el de jóvenes por 9 personas; y, finalmente, el de políticos por 4 personas. Como puede observarse en el cuadro, el número de hombres y mujeres participantes está muy equilibrado en el conjunto de los participantes.

Cuadro Nº 1: Configuración de los diferentes equipos de evaluación participativa. Elaboración propia.
(Leyenda: UAB: Universitat Autònoma de Barcelona; UB: Universitat de Barcelona; Ay.: Ayuntamiento; H: Hombres; M: Mujeres; EC: Equipo Coordinador; APC: A Partir del Carrer, Educadors/es del programa; BCN: Barcelona)

3.3. El desarrollo de la evaluación participativa

Como pueden ver en el cuadro Nº 2, la investigación se ha desarrollado a lo largo de 10 sesiones de trabajo. A las que hay que añadir otras tareas fuera de las sesiones presenciales que de forma individual o grupal realizaron el conjunto de participantes, en relación a la evaluación del acompañamiento de jóvenes en el medio abierto. Entre ellas mencionar: la búsqueda de información, lectura de documentos y memorias y dinámicas grupales de discusión.

Tal como podemos observar en el cuadro la investigación ha sido desarrollada entre diciembre de 2016 y en mayo del 2017. Las sesiones de evaluación participativa con el equipo de técnicos y el equipo de jóvenes, que se realizaron en el Casal de Jóvenes del Ayuntamiento de Badia del Vallès. Todas las restantes se han realizado en la Universidad Autónoma de Barcelona.

Cuadro Nº 2: Desarrollo del proceso de evaluación participativa. Elaboración propia.

La investigación comienza planteando una sesión de trabajo a la que se convoca a educadores de jóvenes en medio abierto, de los municipios participantes. Se trata de presentar el proyecto y solicitar, como prescribe la metodología de la evaluación participativa, su implicación en el proceso. En esta primera sesión de evaluación participativa se valorará y decidirá conjuntamente, a partir de su propia experiencia, cuáles son las principales problemáticas y carencias que están afectando a los procesos de evaluación del acompañamiento socioeducativo con jóvenes en el medio abierto. Esta primera sesión se desarrolla a partir de una dinámica de discusión guiada.

Como resultado de esta sesión de trabajo, el EC reelabora la información y la reenvía en forma de indicadores y preguntas a los educadores de los cuatro municipios con el encargo de que recojan y elaboren separadamente la información solicitada. Tanto estos indicadores y preguntas, como las diferentes metodologías sugeridas por el equipo coordinador para elaborar la información, se pueden ver en el Anexo 1.

Los cuatro equipos de educadores trabajan el documento a través de dos metodologías. En el caso de los equipos de Terrassa y Barcelona responden, primero de manera individual, la batería de indicadores y preguntas. Y, a continuación, pondrán en común lo que cada educador ha elaborado. Los equipos de Badia y Cerdanyola trabajan directamente en equipo las respuestas a dichas preguntas e indicadores.

La información valorativa recogida en esta primera fase tiene un valor instrumental. El objetivo es reelaborarla de forma que sirva para iniciar el trabajo de evaluación participativa con los educadores de los cuatro municipios juntos. Eso va a constituir la próxima sesión de evaluación participativa a trabajar con el equipo de educadores.

A continuación, se presenta la estructura metodológica seguida en el desarrollo de la 2ª sesión de evaluación participativa con el equipo de educadores. Como se puede observar en el cuadro nº 3, previamente a la evaluación participativa propiamente dicha, se presenta al equipo los resultados obtenidos en relación a las carencias y problemáticas de la evaluación de jóvenes en medio abierto. Hay que tener en cuenta que buena parte de estos educadores han participado, en el marco de su respectivo servicio municipal, en el análisis y elaboración de esta información previa. El objetivo es que sirva de base para iniciar las discusiones valorativas. La presentación y dinamización de esta sesión es desarrollada por los dos académicos del EC.

Cuadro Nº 3: Evaluación participativa con educadores. Elaboración propia.

Los educadores son los profesionales directamente implicados y los principales responsables de los procesos de evaluación que queremos evaluar, esto es: los procesos de evaluación del acompañamiento con jóvenes en el medio abierto. Esta es la razón que justifica que con ellos se hayan realizado, a diferencia de con el resto de equipos, dos sesiones de evaluación participativa.

En el cuadro Nº 4 se puede ver la estrategia metodológica seguida en las sesiones de evaluación participativa desarrolladas con los equipos de jóvenes, técnicos y políticos. El equipo coordinador tomó decisiones estratégicas en relación a la dinamización de cada una de las sesiones. Siempre buscando la máxima eficacia en lo que se refiere a una mejor interacción con el equipo y, en consecuencia, mejor calidad de la información elaborada en los análisis y evaluaciones desarrollados. La sesión de evaluación participativa con jóvenes fue dinamizada por dos educadores; y la de los técnicos y políticos por dos académicos. Todos ellos, miembros del EC.

Cuadro Nº 4: Evaluación participativa con los equipos de jóvenes, técnicos y políticos. Elaboración propia.

Una vez terminadas las sesiones de evaluación participativa con cada uno de los equipos, el EC recoge sus respectivas evaluaciones y aportaciones y triangula los resultados. Se trata de contrastar las valoraciones elaboradas por cada equipo -educadores, jóvenes, técnicos y políticos- en respuesta a las preguntas de evaluación planteadas en las dinámicas de evaluación participativa. Esta triangulación de perspectivas de análisis posibilitará la elaboración de unas primeras conclusiones provisionales.

Las conclusiones provisionales han de ser contrastadas y consensuadas con los equipos que ha participado en el proceso, por lo que se diseña una nueva sesión de trabajo a fin de elaborar las conclusiones finales de la investigación y las propuestas de mejora.

El cuadro Nº 5 muestra la dinámica de trabajo desarrollada para la reelaboración de las conclusiones provisionales.

Cuadro Nº 5: Sesión de análisis y reelaboración de las conclusiones provisionales de la investigación. Elaboración propia.

Una vez recogidas las aportaciones de los diferentes equipos de evaluación participativa, el EC las incluye en el documento de conclusiones finales de la investigación. 

4. RESULTADOS DE LA EVALUACIÓN PARTICIPATIVA^[2]

En este apartado vamos a presentar, de manera sintética, la triangulación de los resultados obtenidos en las sesiones de evaluación participativa con cada uno de los equipos. Se ha tomado, como base para el análisis, cada una de las preguntas trabajadas en los equipos de evaluación participativa. En los casos en los que ha sido posible se han elaborado categorías de análisis que han permitido triangular los datos proporcionados por cada uno de los equipos.

Lo primero que hay que señalar es que, a la hora de analizar la información de las sesiones con los diferentes equipos, se han detectado más puntos en común que contradicciones, aunque, como parece lógico, cada sector de agentes implicados entiende y explica la evaluación desde su particular perspectiva. 

PREGUNTA 1: ¿Evaluamos lo que deberíamos evaluar?

Los agentes establecen una diferenciación entre niveles diversos de evaluación en las prácticas evaluadoras que se desarrollan en medio abierto. Se habla de los diferentes tipos de evaluación que se aplican:

1. La evaluación de programas: Este tipo de evaluación se aplica en la práctica, generalmente vinculada a datos cuantitativos, que suelen ser los que se piden desde los servicios municipales. Se considera que los datos que se utilizan están bien para el objetivo que persiguen, pero habría que contemplar otros aspectos. Perspectiva coincidente en los equipos de educadores, técnicos y políticos. 

2. La evaluación de actividades: Es un tipo de evaluación vinculada a la práctica diaria, a las acciones concretas que se desarrollan en la intervención socioeducativa. Perspectiva contemplada por los equipos de educadores y jóvenes. 

3. La evaluación personal: Se refiere a la evolución personal de cada joven en el marco de las intervenciones socioeducativas en medio abierto. Es un tipo de evaluación considerada mucho más compleja que las anteriores y los educadores se sienten con falta de recursos y herramientas para poder desarrollarla. Implica, además, un feedback tanto para el joven como para el propio educador respecto a la mirada del otro. Aparece en los equipos de educadores, jóvenes y técnicos. 

En el marco de esta pregunta los participantes de los diferentes equipos han tenido presentes también factores diversos que entran en juego en la evaluación. Estos factores corresponden al análisis de las evaluaciones planteando qué es lo que se evalúa y dónde se detectan carencias:

1. Procesos: En función de los equipos los procesos adoptan un significado diferente. Los jóvenes entienden el proceso como la evolución en aspectos muy concretos como puede ser una conducta, una acción concreta o un momento. Los educadores los entienden de manera global focalizándose sobre el joven que evoluciona en un periodo de tiempo. Los técnicos observan el impacto que tiene el programa respecto a la persona y los políticos centran la evaluación del proceso en el impacto que genera en la población. El proceso es un aspecto básico de la evaluación que se hace fundamental para el acompañamiento, aunque no está sistematizado ni contemplado dentro del encargo que se hace a los educadores. 
2. Herramientas y recursos: Los educadores evalúan con herramientas y recursos cuantitativos pero la parte cualitativa presenta carencias. Las herramientas vienen dadas por el encargo hecho desde los servicios municipales, pero se considera necesario un diálogo entre el encargo y la práctica diaria desarrollada por los educadores. Las herramientas propuestas desde el encargo vienen delimitadas por una visión de tipo cuantitativa más que cualitativa. 
3. Utilidad de la evaluación: No se evalúa lo que es relevante y que puede informar a los diferentes agentes implicados. Pero se considera que la evaluación sirve de presentación y registro respecto a lo que se ha hecho y posibilita tomar decisiones respecto al programa. 
4. Acompañamiento: Se evalúa desde una mirada muy concreta que intenta tener en cuenta todos los factores que favorecen el desarrollo del proyecto. El medio abierto implica a muchos agentes y diferentes perspectivas y disciplinas ya que los educadores no son los únicos que acompañan a los jóvenes.

Taller de evaluación en Flickr

PREGUNTA 2: ¿Evalúa quién debería evaluar?

Analizando la información obtenida en esta pregunta aparecen más similitudes y coincidencias que contradicciones, también emergen carencias en los procesos de evaluación que contemplan los diferentes perfiles de participantes.

La idea más repetida por todos los equipos es la ausencia o la falta de protagonismo de los jóvenes en los procesos de evaluación, aunque plantean algunos matices. Los jóvenes no terminan de ver la necesidad de esta participación. Algunos lo ven esencial y otros no lo ven viable. Los educadores destacan la necesidad de mejorar la participación del joven en los procesos de valoración, incluyendo su mirada a sus procesos vitales y psicológicos, aunque apuntan diferentes dificultades. Entre ellas, encargos externos, falta de sistematización, falta de tiempo y recursos, momentos evolutivos de los propios jóvenes, etc. Los técnicos destacan la falta de esta evaluación. Y los políticos, por último, se plantean la necesidad de que los jóvenes se autoevalúen, fomentando procesos de autonomía y autoorganización.

Otro aspecto donde coinciden todos los equipos, es que son los educadores los que evalúan. Los Jóvenes evidencian este hecho y demandan una devolución por parte de los educadores, ya que son los que pasan más horas con ellos y los conocen bien. Los educadores, se refieren a las dificultades de la evaluación, esgrimiendo argumentos como la falta de entendimiento entre el encargo de los servicios municipales y su labor educativa; la falta de recursos y tiempo; y, también, la falta de herramientas sistematizadas de evaluación de procesos. En cuanto al grupo de técnicos, se centran en los diferentes niveles de evaluación y en quienes la realizan. Dicen que los educadores evalúan la intervención directa, los técnicos se centran en la evaluación del proyecto global y los políticos en la toma de decisiones. Los políticos, por último, evidencian que son ellos los que menos evalúan (o que no evalúan), ya que están limitados por los recursos y los cambios entre legislaturas y que quien evalúa son los educadores.

En relación a la presencia de otros agentes en la evaluación, han sido los equipos de jóvenes y educadores, quienes señalan la necesidad o las potencialidades que pueden aportar otros servicios y agentes de los territorios. Los educadores centran esta visión en la suma de miradas, contrastando información y mejorando los procesos de evaluación. Los jóvenes, enfocan la posible participación de otros agentes de su entorno más cercano, familia, amigos, entidades, institutos y tutores, aunque apuntan que puede haber contradicciones entre las miradas parciales de dichos agentes.

A partir de un análisis global de las sesiones, se destacan posicionamientos diferenciados entre los equipos:

• Los jóvenes visualizan la evaluación desde un punto de vista de acompañamiento a su proceso vital, evidenciando la tarea del educador como esencial, con la posibilidad de hacer partícipes otros agentes de su entorno y a ellos mismos. 
• Los educadores, asumen su tarea en el proceso de evaluación, pero señalan la necesidad de hacer más partícipes a los jóvenes en estos procesos. Además, remarcan carencias y dificultades que se encuentran en el día a día, enfatizando la necesidad de un diálogo entre los diferentes agentes (educadores, técnicos y políticos) para consensuar el encargo y los objetivos de la acción educativa. 
• Los técnicos, resaltan la necesidad de incluir a los jóvenes en los procesos de evaluación, pero se centran en el papel de cada uno de los agentes implicados: los jóvenes evalúan su proceso vital; los educadores evalúan la acción directa, en la que el joven es el centro; el técnico asume un papel de trasladar esta información, y un papel de evaluación, supervisión y orientación del proyecto global; y los políticos, hacen una evaluación de los informes de impacto a la hora de tomar decisiones. 
• Los políticos, reconocen su falta de implicación en los procesos de evaluación. Se posicionan en la necesidad de que los jóvenes se autoevalúen. Y afirman tener una mirada global de los municipios, limitándose a evaluar si se cumplen los objetivos globales de los proyectos.

PREGUNTA 3: ¿Cómo se evalúa?

A diferencia de las preguntas anteriores, respecto a cómo se evalúa, han surgido más discrepancias que coincidencias entre los diferentes equipos.

Los jóvenes parecen no ser muy conscientes de cómo se evalúa y querrían saber más.

Sospechan que puedan ser evaluados y entienden, en algunos casos, la evaluación como una forma de control. También opinan que el diálogo debería ser la forma de evaluar y creen que es difícil “poner una nota” a una persona. Algunos jóvenes no dan importancia a la evaluación. Les da igual si se les evalúa.

Los educadores opinan que la evaluación cuantitativa está muy clara sin dar detalles de cómo la hacen. En cambio, piensan que, al no estar suficientemente sistematizada, parece que la cualitativa pierda el valor comparada con la primera. Los educadores no creen que las evaluaciones cualitativas o participativas sean suficientemente rigurosas en relación al tipo de indicadores que se piden desde la administración. Coinciden con los técnicos en que faltan herramientas para justificar el trabajo que hacen.

Los educadores y los técnicos opinan que las evaluaciones son herramientas de control de las empresas y los servicios municipales. Los técnicos y los políticos consideran que la rendición de cuentas debería ser inherente al trabajo tanto de los educadores como de los propios técnicos.

Los técnicos afirman que los jóvenes participan en la evaluación de su propio proceso. Indican que se hacen entrevistas donde los jóvenes pueden construir indicadores. También proponen espacios de evaluación participativa tanto a nivel grupal como individual.

Los educadores creen que no pueden evaluar de forma rigurosa el trabajo que se hace. Los técnicos apelan a recursos clásicos de evaluación como los indicadores, los objetivos, sub-objetivos, etc. Los políticos, por último, valoran la participación en los espacios más cercanos a ellos, como los Consejos de la Juventud.

PREGUNTA 4: ¿Cómo caracterizamos la evaluación que se hace?

En la respuesta a la última pregunta los entrevistados tienen más discrepancias que coincidencias. Probablemente esta situación esté relacionada con la posición que ocupan, que hace que caractericen la evaluación de formas diferentes.

Se podría decir que educadores y técnicos coinciden en que la evaluación puede ser o bien institucional (administrativa) o bien estar más en relación con servicio (ajustada a la realidad). También coinciden en que ésta es totalmente cuantitativa. Los técnicos matizan que es una evaluación por niveles; los educadores que evalúan la intervención directa; los técnicos apuntan virtudes y carencias de la evaluación; y los políticos, por último, se centran en la toma de decisiones.

Evaluación institucional: Caracterizan la evaluación institucional como aquella que es más sistematizada, organizada, objetiva, clara y cuantitativa, aunque consideran que no siempre es útil para la tarea educativa. Se considera que la parte cuantitativa esta lograda, aunque los indicadores que se utilizan no siempre son útiles y son más bien justificaciones de lo que se hace; justifican la necesidad del servicio. Es un tipo de evaluación impuesta. Se concreta, sobre todo, en memorias de evaluación e indicadores cuantitativos. Es una evaluación que, a veces, es de seguimiento y monitorización.

Evaluación que se considera necesaria para el servicio

Esta evaluación es muy subjetiva y de tipo no formal. Aunque habitualmente es algo compartido entre las parejas de educadores no queda recogida en ningún documento. Es útil en la tarea educativa, pero es informal e invisible. No está sistematizada, falta metodología y herramientas específicas. Se plantea lo que se hace diariamente a través del intercambio de sensaciones y opiniones.

En las dos evaluaciones anteriores no participan ni jóvenes ni otros implicados o agentes.

Los educadores consideran que la evaluación que se hace parece evidenciar una falta de confianza entre la administración, la empresa, los empleadores y los jóvenes. Una carencia que destacan es los criterios de evaluación utilizados, que no están bien definidos. También echan de menos el que queden claramente establecidos los momentos de la evaluación.

Hay coincidencia entre políticos y educadores en que la evaluación actual es costosa, pesada, compleja, fiscalizadora y poco sistematizada. Se concreta en memorias e indicadores. No siempre está ligada a los objetivos y no está consensuada.

Los jóvenes ven la evaluación actual como un proceso que hace el educador, que los observa para poder hacerse una idea sobre ellos, sobre lo que hacen y su progreso. La ven como un juicio y una calificación, pero también como una herramienta que utilizan los educadores para conocerlos, orientarlos y analizarlos. Para ellos la evaluación actual mira su ser, estar y hacer, así como los progresos que hacen. Es una evaluación de la que viven las consecuencias.

Los técnicos consideran que hay territorios que han desarrollado más la evaluación que otros. Hacen referencia, al igual que los educadores a los dos tipos de evaluación señalados (institucional y para el servicio). No hay acuerdo entre ellos. Unos caracterizan la evaluación como muy flexible y abierta, que evalúa la evolución del joven con fichas muy sencillas. Mientras que otros refieren una valuación cerrada que tiene que hacer el educador y otros hablan de una recogida de información a partir de indicadores. Al mismo tiempo se quejan de una excesiva burocratización. Es una evaluación para rendir cuentas y para mostrar qué pasaría si los que se está haciendo no se hiciera.

Los políticos y técnicos hacen referencia a la diversidad de formas de hacer y organizar la evaluación en el territorio.

Los políticos señalan que la evaluación actual es básicamente de resultados o de detección de necesidades o carencias para poder tomar decisiones y para hacer autocrítica. No se hace casi nunca con los jóvenes y, cuando se hace, no hay retorno. Creen que no es una evaluación de proceso, aunque educadores y técnicos coinciden en señalar el valor dicha evaluación.

Los políticos apuntan que es una evaluación hecha por técnicos y educadores, pero carente de reflexión sobre el por qué se está haciendo. Piensan que la evaluación va más dirigida a evaluar si se cumplen los objetivos. La mirada de los políticos es global y de ciudad. Consideran la evaluación lineal y jerárquica. Siempre es un superior quien evalúa; la cadena es político-técnico-educador-joven. Es una evaluación condicionada, por una parte, por tiempo, presupuestos y recursos y, por otra, por el hecho de que las políticas de juventud están dirigidas a cumplir las políticas de la Generalitat.

5. CONCLUSIONES DE LA INVESTIGACIÓN EVALUATIVA

Los equipos de evaluadores configurados para educadores, jóvenes, técnicos y políticos se refieren a diferentes tipos de evaluación que denominan de maneras diversas a lo largo de las sesiones de evaluación participativa. Se habla de evaluación institucional, administrativa, de programas, de actividades, útil para el servicio y, por último, personal. Más allá de las denominaciones se puede concluir que existen tres niveles de evaluación:

a) La evaluación vinculada a la institución o empresa que presta el servicio

b) La evaluación vinculada a los servicios o acciones concretas desarrolladas

c) La evaluación vinculada a los jóvenes ya sus procesos o necesidades.

El primer tipo de evaluaciones, las programáticas o institucionales, se centran en la detección de necesidades y el logro de objetivos. Suelen ser de tipo cuantitativo, vienen impuestas y se dirigen al rendimiento de cuentas y la toma de decisiones.

Las evaluaciones vinculadas a los servicios o las actividades se focalizan sobre la cotidianidad de la tarea educativa en el medio abierto. Sin embargo, hay que señalar que a menudo se producen desajustes entre el encargo institucional y la tarea cotidiana de los educadores. Se pretende evaluar los procesos, el impacto del programa y los procesos de intervención o acompañamiento. En general, sin embargo, esta es una evaluación que está poco sistematizada. También dificulta esta evaluación el hecho de que en el medio abierto haya muchos agentes implicados.

Se habla, por último, de la evaluación de personas; en este caso, de los jóvenes. Respecto a este tipo de evaluación se enfatiza la falta de recursos y herramientas específicas para llevarla a cabo. Hay que matizar embargo, que no evalúa las personas, sino los cambios y la evolución que se produce en ellas como resultado de los procesos de acompañamiento. Se detectan, por otra parte, problemáticas concretas que complican la tarea evaluadora como, por ejemplo, el cambio de las personas con las que se trabaja y la falta de tiempo o de momentos concretos para hacer este tipo de evaluación. Se considera que esta evaluación es mucho más compleja que las anteriores y los educadores verbalizan la falta de recursos y herramientas para poder desarrollarla de manera consistente.

Se insiste, sin embargo, que hay que discriminar en los informes dos tipos de evaluación: la institucional y la que es verdaderamente útil para los servicios. La primera es impuesta, para rendir cuentas y la piden tanto las instituciones como las empresas. Y la segunda que, aunque no se hace por falta de tiempo, les resulta muy útil a los educadores para seguir con los procesos de acompañamiento de los jóvenes en medio abierto.

Todos los equipos de evaluadores están de acuerdo en que los que hacen la evaluación son, sobre todo, los educadores. Se hace referencia a que es un tipo de evaluación jerárquica en la que unos, los educadores, evalúan a otros, los jóvenes. Estos últimos participan muy poco o nada en estas evaluaciones y, en ocasiones, ni siquiera son conscientes de que se están desarrollando. La ausencia o falta de protagonismo de los jóvenes en los procesos de evaluación de su desarrollo en medio abierto es una de las constantes destacadas por los cuatro equipos de evaluación participativa.

Cada uno de los agentes implicados en los procesos de evaluación de jóvenes en el medio abierto desarrolla el papel que tiene asignado en la estructura de los servicios municipales y proyecta en ellos sus propios objetivos. Los jóvenes visualizan la evaluación desde un punto de vista de acompañamiento a su proceso vital, evidenciando la tarea del educador como esencial, con la posibilidad de hacer partícipes otros agentes de su entorno y a ellos mismos. Los educadores se centran en la acción directa y en el proceso de trabajo socioeducativo con los jóvenes, así como en recoger la información valorativa necesaria para dar respuesta a los indicadores de evaluación que, en general, los vienen impuestos. Los técnicos asumen y trasladan esta información a los políticos. Tienen también un papel de evaluación, supervisión y orientación del programa socioeducativo global. Los políticos, por último, reconocen su falta de implicación directa en los procesos de evaluación y centran el interés en el impacto de sus resultados, que les sirve a la hora de tomar decisiones; que estarán siempre limitadas por los recursos disponibles y los cambios entre legislaturas.

La evaluación que se está haciendo en la actualidad en los servicios municipales participantes es diversa en función de cada territorio y de los programas específicos que se desarrollan. Posiblemente es por eso que no hay acuerdo ni entre los diferentes equipos de evaluación participativa -educadores, jóvenes, técnicos y políticos- ni a veces dentro de un mismo equipo, respecto a las características concretas de esta evaluación. Algunos la caracterizan diciendo que es flexible y abierta mientras otros se refieren a ella como pesada, compleja, fiscalizadora, poco sistematizada y no consensuada.

La evaluación de jóvenes en medio abierto que se lleva a cabo desde los servicios municipales es, sobre todo, cuantitativa. Es una evaluación que, en general, está sistematizada y sus procesos y resultados se recogen con indicadores y memorias de evaluación. Los educadores y técnicos hablan también de un tipo de evaluación que, cuando pueden, desarrollan de manera informal. La caracterizan como una evaluación invisible, que es de tipo cualitativo. Una evaluación narrativa y no sistematizada para la que, a pesar de ver su necesidad y pertinencia, manifiestan tener falta de herramientas y recursos específicos.

Todos los equipos de evaluadores, están de acuerdo en que la evaluación es necesaria. Se pretende, por otra parte, que proporcione informaciones que puedan servir y ser útiles a todos los agentes implicados. La percepción general de los equipos de evaluación participativa es que esto no se está produciendo. Para poder evaluar según el interés de cada agente parece que deberían hacer cosas diferentes a las que habitualmente se hacen en estos procesos de evaluación. Habría, sin embargo, promover un diálogo entre los diferentes agentes implicados (jóvenes, educadores, técnicos y políticos) a la hora de establecer qué es lo que necesita o quiere cada uno para generar una evaluación que sea útil para todos.

Los cuatro equipos están de acuerdo en que hay que mantener la evaluación de jóvenes en el medio abierto a pesar de aducir razones diferentes para hacerlo. Desde los educadores se plantea que la evaluación que se hace es útil, aunque debe ser depurada de aquellos indicadores que no aportan información relevante. Los jóvenes apuntan a evaluar en positivo e insisten en la confianza con los educadores. Los técnicos se focalizan, sobre todo, en la relación entre los educadores y los jóvenes afirmando que estos últimos deben ser los protagonistas. Por último, los políticos afirman que hay que mantener la evaluación por parte de los profesionales, aunque los jóvenes deben participar. Señalan también que hay que mantener el diálogo con los educadores y el tejido asociativo.

A excepción de los jóvenes, que tienen unas opiniones más dispersas, hay un acuerdo en lo esencial respecto a lo que hay que cambiar y modificar en relación a la evaluación de jóvenes en medio abierto entre los educadores, los técnicos y los políticos. Los educadores y técnicos piensan que hay que mejorar los indicadores de evaluación cualitativos, los que se refieren a procesos. Dicen también que habría que construir indicadores conjuntos entre ellos mismos y las instituciones o empresas para dar coherencia y utilidad en la evaluación. Los políticos insisten también en estas ideas, pero enfatizan, sobre todo el diálogo y la intercomunicación entre los diferentes niveles y agentes implicados en la evaluación.

En relación a lo que debería añadirse a la evaluación hay que señalar que la mirada más concreta y precisa la tienen los educadores y educadoras, seguida del equipo de técnicos. Los educadores especifican claramente los cambios o añadidos que habría que hacer a la evaluación de jóvenes en el medio abierto. Los educadores piden cambiar la cultura de la evaluación que debería dejar de ser finalista o de rendimiento de cuentas. Afirman que hay que romper la desconfianza entre la administración/empresa y los educadores; que sería necesario que las primeras confiaran en el juicio de los segundos en relación a la evaluación. Apuntan también que hay que generar conciencia de la utilidad, el sentido y la finalidad de la evaluación en los diferentes colectivos implicados en los procesos de evaluación. Para lograr esto es necesario unificar criterios entre todas las instancias evaluadoras, teniendo claro que los jóvenes son el centro del proceso. Se debe crear un sistema que posibilite el cruce de la información entre los diferentes agentes y agencias de evaluación. Los técnicos añaden que hay que incorporar la participación de los jóvenes en la evaluación, que se debe capacitar en evaluación a los profesionales y que hay que explicar el impacto de los proyectos a la ciudadanía.

ANEXOS

A.1: Propuesta de indicadores y metodología para la evaluación participativa 

INDICADORES

1. La evaluación utilizada en el medio abierto que se encarga desde las instituciones

a. Como se hace la evaluación en el medio abiertoa. Indicadores que se utilizan. (¿Qué y quién evalúa?)

b. Metodologías y técnicas que se utilizan. (¿Cuáles son los procedimientos, técnicas e instrumentos que utilizamos para evaluar los indicadores?)

c. Criterios de evaluación que vienen dados. (¿Cuáles son -si se saben- los referentes conceptuales, normativos o comportamentales para valorar los resultados obtenidos de los indicadores?)

d. Formato de presentación de los resultados de la evaluación (¿Cómo, bajo qué formato presentamos los resultados de la evaluación -memorias, informes, etc.? ¿Con qué periodicidad?)

e. Modificaciones en los resultados de evaluación (si es que se hacen, para ajustarlos a las demandas de la institución)

f. Receptor de los resultados de la evaluación (¿Quién nos encarga la evaluación / A quién entregamos los resultados de la evaluación?)

g. Otros (ideas, sugerencias o nuevos temas en relación a la evaluación en el medio abierto que habría que tener en cuenta) 

1.  Mejora de los procesos de evaluación en el medio abierto

a. Procesos y actividades de evaluación no solicitados desde las instituciones (¿Qué indicadores, metodologías y técnicas, y criterios de evaluación de la intervención en medio abierto desarrollamos en nuestra práctica cotidiana sin que nos lo hayan encargado? ¿Qué hacemos sin que se nos pida?)

b. Mejora de la evaluación en el medio abierto (¿Qué hay que hacer y cómo hay que hacerlo para mejorar los procesos de evaluación en el medio abierto?) 

METODOLOGÍA DE TRABAJO

Si os parece bien en la primera sesión de evaluación participativa trabajaremos el punto A) y en la segunda el punto B). 

Preparar la primera sesión de evaluación participativa

Sería bueno que recogierais el máximo de información posible sobre cada uno de los sub-puntos que configuran este apartado. Las maneras de hacerlo pueden ser, muchas. Os sugiero algunas:

• Responder tú mismo, de la manera más ampliada y precisa posible, cada una de las preguntas que se plantean en cada uno de los sub-puntos (a, b, etc.) 
• Preparar un pequeño cuestionario con estos sub-puntos y pasarlo a los educadores y educadoras que trabajan en tu servicio. A continuación, vaciar y organizar los resultados los resultados. 
• Organizar un foco grupo o grupo de discusión con compañeros / as del servicio para discutir en torno a cada uno de los sub-puntos. Fuera bueno que algún compañero se encargara de tomar notas de lo que discuta sobre cada punto. 
• Otros que se os ocurran 

Una semana antes de la fecha de la primera sesión de evaluación participativa nos deberías hacer llegar los datos que hayas recogido, lo más organizados y trabajados posible, para que podamos preparar la dinámica.

Comparte...

Facebook

Pinterest

Twitter

Linkedin