Margarita Peña, Directora General del ICFES

Palabra Maestra: ¿Cuál es el principal aporte que hacen las evaluaciones al país? ¿Qué pueden hacer los docentes con ellas? ¿Cómo pueden usarlas en el día a día?

Icfes: La política en Colombia ha sido que las evaluaciones externas de calidad son censales y deben servir principalmente para el mejoramiento antes que para el ordenamiento o clasificación de colegios. No es tarea fácil. Una cosa es evaluar y obtener resultados, otra tanto o más compleja es entregar resultados en forma comprensible. Pero para que realmente sirvan, es necesario convertir esos resultados en referentes para el mejoramiento. El Icfes ha asumido el reto de llegar hasta la entrega de resultados comprensibles, en forma oportuna. Su utilización para efectos de producir cambios en la calidad de la educación depende de otros actores: el Ministerio, las secretarías de Educación y los establecimientos educativos parten de los resultados y los convierten en información para elaborar sus planes. Por su parte, los docentes son quienes convierten esos planes en realidad. O sea, el camino es muy largo.

P. M.: ¿Podría decirse que los exámenes son una suerte de rendición de cuentas para las instituciones educativas?

I.: No exactamente. No ha habido con estas pruebas el propósito de rendición de cuentas y eso es muy importante que quede claro. En el Icfes nos hemos cuidado muchísimo de aclarar nuestras pretensiones. El resultado de este enfoque ya lo estamos viendo: el enorme apoyo a la evaluación y el interés que los maestros tienen en entender y trabajar con los resultados.

En esto nos hemos diferenciado de países en donde los resultados de las pruebas son utilizados como criterio para asignar recursos o para sancionar directores y profesores. Hay un fuerte debate internacional en torno a esto.

P. M.: ¿Qué caracteriza la evaluación en Colombia?

I.: Hablemos de Saber. Lo que se pretende es que cada colegio tenga información sobre el estado de las competencias de sus estudiantes de quinto y noveno grado en lenguaje, matemáticas y ciencias. Los resultados de las pruebas dan información sobre cómo están los niños en relación con unos referentes, los estándares básicos de competencias. Este es un punto de quiebre importante no solo con respecto a lo que se hacía en el Icfes, sino también en América Latina.

P. M.: ¿Por qué?

I.: Hasta la década de los noventa los exámenes que hacía el Icfes se calificaban respecto a la norma. Esto quiere decir que cada muchacho que tomaba el examen era calificado en relación con el promedio del grupo y se establecía quiénes estaban por encima y quiénes por debajo. Esas pruebas servían especialmente para efectos de ingreso a la universidad, aunque desde los ochenta también comenzaron a utilizarse para juzgar la calidad de los colegios. Con la introducción de Saber en los años noventa la lógica cambió, porque la intención de esta evaluación siempre fue valorar calidad, y para ello se debe tener un referente, lo que se llama evaluación con referencia a criterio. Así, se establecen unos niveles en los puntos deseables de llegada y en relación con ellos se hacen unos cortes en donde se pueden establecer en qué punto de ese corte está la población. Esta nueva visión se trasladó al examen de Estado,
a partir del 2000.

P. M.: ¿Cuáles son esos referentes?

I.: Las pruebas que hizo el Icfes en los noventa –Saber y examen de Estado– tomaron como referencia los lineamientos curriculares y demás documentos del Ministerio donde se exponen las posturas conceptuales sobre las áreas. Posteriormente, la versión 2009 de Saber fue ajustada conforme a lo planteado en los estándares donde se ha precisado lo que los niños deben saber y saber hacer al finalizar cada grupo de grados. Es claro que hoy en día lo que evaluamos son competencias y no lo que el niño sabe del currículo de matemáticas, de lenguaje o de ciencias. En el caso del examen de Estado de educación media estamos avanzando en su alineación con los estándares.

P. M.: ¿Cómo lograr que una prueba evalúe si una persona tiene x o y competencias?

I.: Es un proceso fascinante en el que participa un equipo de expertos en evaluación junto con maestros de varias regiones del país. La metodología usada por el Icfes para el diseño de Saber 2009 se denomina Evaluación Basada en Evidencias. El proceso es el siguiente: se toma cada uno de los estándares y se establece qué competencia o competencias están implicadas allí; luego se traduce esto en una serie de tareas que podrían ejecutar los niños o jóvenes si tuvieran dicha competencia y posteriormente se establece cuáles podrían ser las evidencias de esa tarea que indican si ese niño domina o no la tarea, si la puede hacer o no, si tiene o no la competencia. Y la evidencia finalmente se convierte en preguntas guiadas por el siguiente interrogante: ¿cómo sé yo, en una pregunta de escogencia múltiple, que ese niño puede hacer eso? Esas preguntas se prueban y se validan, a ver si miden lo que se quería. En esa validación se descartan unas y se aplican otras, que pasan a conformar un banco de preguntas que se utilizan en las pruebas (ver gráfico).

P. M.: ¿Logran medir las pruebas todas las competencias?

I.: No, es clarísimo que no. El único que puede evaluar todo es el maestro acudiendo por supuesto a otro tipo de evidencias: observaciones en clase, preguntas abiertas, respuestas orales, trabajos, etc. Hay determinadas competencias que no pueden ser recogidas en un test de papel y lápiz y que en consecuencia no podemos evaluar; por ejemplo la capacidad de un niño para escribir, o indagar, para hacer preguntas o formular hipótesis. Hicimos un trabajo con el proyecto Pequeños Científicos para ver de qué manera podíamos nosotros traducir en el formato el tipo de cosas que queríamos evaluar y eso está ahora a disposición de la investigación para que diga qué tanto se logró. De entrada uno sabe que si bien este formato tiene unas limitaciones, también provee unas mediciones bastante precisas y comparables de lo que los niños pueden hacer.

P. M.: ¿Conviene que los maestros evalúen a sus estudiantes con preguntas tipo Icfes y Saber?

I.: No. Hay una excelente conferencia de Felipe Martínez-Rizo en www.colombiaaprende.edu.co sobre el uso de los resultados de las evaluaciones estandarizadas donde es clarísimo por qué los maestros no deberían hacer este tipo de preguntas. El verdadero alcance del aprendizaje de los estudiantes solo puede ser evaluado por el docente en el aula de clase, en donde es posible recoger evidencias no solo a través de una prueba “de papel y lápiz”, sino de observaciones, experimentos, presentaciones verbales, para mencionar solo unas pocas. Por esta razón en el Instituto nos resistimos a enseñar a hacer preguntas tipo Icfes, pese a la enorme cantidad de solicitudes que recibimos en este sentido. Para eso están las pruebas del Icfes. En su lugar, hemos comenzado a trabajar en talleres sobre Evaluación Basada en Evidencias, lo cual estamos seguros aportará al trabajo en el aula.

P. M.: Pasando a los resultados arrojados por las pruebas, ¿es posible hacer comparaciones entre las distintas aplicaciones de Saber y establecer si la calidad ha ido mejorando o empeorando?

I.: Vamos a tener una aproximación a esa respuesta al final de este semestre después de que hagamos los trabajos de equiparación de las pruebas que se han aplicado en los tres censos, 2002, 2005 y 2009. Es un asunto, hoy por hoy, muy complejo, dado que las pruebas han tenido modificaciones.

P. M. : ¿Cómo le fue al país en Saber 2009? ¿Qué retos tenemos?

I.: Los resultados dejan mucho que desear. En lenguaje, por ejemplo, el 16% de los estudiantes de quinto grado de los colegios oficiales está en un nivel insuficiente, 46% en el mínimo, apenas 31% es satisfactorio y solo el 8% está en el avanzado. En los privados el desempeño es un poco mejor: 3% está en insuficiente, 22% en el mínimo, 38% en satisfactorio y 37% avanzado. La brecha entre las zonas rurales y urbanas sigue siendo amplia: 16% de las instituciones rurales presenta nivel de insuficiente, 43% está en el nivel mínimo y apenas 30% y 12% son satisfactorios y avanzados, respectivamente, frente a las urbanas, que tienen 12% de los establecimientos en nivel insuficiente, 42% en el mínimo y 34% y 13% en los niveles satisfactorio y avanzado. Es una situación preocupante, pero hay que valorar muy positivamente que gracias a Saber tenemos información sobre lo que los alumnos pueden y no pueden hacer en las competencias evaluadas y eso es valiosísimo, pues quiere decir que sabemos hacia dónde exactamente dirigir los esfuerzos de mejoramiento. En cuanto a los desafíos en el orden nacional, uno diría por ejemplo, que todos nuestros niños y jóvenes deberían estar, cuando menos, en un nivel mínimo y que ninguno debería estar en insuficiente. Ahora, las metas que se plantee cada entidad territorial y cada colegio frente a esos niveles, dependen de dónde están. La meta es móvil. Para algunos colegios salir del insuficiente es un reto gigantesco. Entonces ellos van a decir, “bueno, yo no voy a tener en la próxima medición ningún niño en nivel insuficiente”, y eso es legítimo en relación con sus propias metas; lo mismo un municipio, o un departamento.

P. M.: ¿Hay alguna manera de saber si los maestros están enseñando lo que deben enseñar y cómo lo están haciendo?

I.: Saber aplicó una encuesta a una muestra representativa de docentes de quinto y noveno grados con el fin de conocer qué tanto trabajaban con sus estudiantes los aspectos que se evaluaron en lenguaje, matemáticas y ciencias. Encontramos que cerca del 90% de los maestros afirmaron trabajar frecuentemente dichos aspectos en sus aulas. Ahora bien, cuando miramos los resultados obtenidos por los estudiantes en las pruebas, vemos que estos no son satisfactorios. Por ello, es importante realizar investigaciones que indaguen y profundicen sobre lo que los docentes hacen en el aula.

_{*Imagen de Margarita Peña, tomada de: www.larepublica.co}