Notas
ÍNDICE
 
Instituto Mexicano del Transporte
Publicación bimestral de divulgación externa

NOTAS núm. 161, JULIO-AGOSTO 2016, artículo 1
Un diagnóstico de la evaluación ex-post en proyectos de inversión carretera en México
HERNÁNDEZ Salvador, TORRES Guillermo, GONZÁLEZ Alejandro y ARROYO Antonio

 

Introducción

El presente artículo se orienta a la divulgación de las prácticas de la evaluación ex – post en México, con la finalidad de proporcionar un marco de referencia básico para dar seguimiento al uso de los recursos de inversión en obras de construcción de infraestructura carretera que han entrado recientemente en operación.

Existe una práctica cada vez más aceptada de dar seguimiento a la eficiencia en el logro de los objetivos de las inversiones en proyectos relevantes de infraestructura, como parte de una serie de políticas para la optimización del uso de recursos y fomento al crecimiento competitivo de las economías regionales. Sin embargo, también se reconoce que en las evaluaciones costo – beneficio aún existe un limitado conocimiento en el grado de certeza de las predicciones utilizadas, en la eficacia del proyecto para lograr sus objetivos y sí los tomadores de decisiones contaron con la información apropiada para la evaluación ex –ante.

En México, y en particular en el sector transporte, se cuenta con experiencias de proyectos de infraestructura carretera donde los objetivos y escenarios pronosticados distan mucho de los resultados obtenidos en costos de construcción, costos de operación, volúmenes de tránsito, entre otros; sin que ello signifique necesariamente la aplicación de medidas de control para mejorar los procesos de evaluación de proyectos similares a futuro; a pesar de la existencia de regulaciones oficiales como son los: “Lineamientos para el seguimiento de la rentabilidad de los programas y proyectos de inversión de la Administración Pública Federal” (DOF, 2008), donde se establecen directrices para dar seguimiento a los proyectos con inversión pública y que específicamente pide realizar evaluaciones ex-post en diez proyectos finalizados en el ejercicio fiscal anual recién finalizado.

En el ámbito internacional se han realizados diversos estudios de evaluación ex-post que han permitido analizar y caracterizar las desviaciones más comunes detectadas entre los objetivos esperados y los resultados obtenidos, destacando las prácticas europeas, como es el caso de países como Francia y Noruega o el proyecto de investigación EVATREN de la Comisión Europea (2008), donde se resaltan los beneficios de las evaluaciones ex-post en proyectos de infraestructura, principalmente a través de la identificación de las desviaciones que se presentan entre pronósticos y resultados, así como por la caracterización de las causas.

El pleno aprovechamiento de los recursos invertidos resulta de mayor valor en los países donde los costos de oportunidad recaen en el desarrollo social de grandes regiones con altos niveles de marginación, como es el caso de México. Por ello la evaluación de proyectos es un requisito indispensable para incrementar el logro de objetivos de los proyectos de infraestructura económica y social donde invierte el gobierno.

 

 

Evaluación ex-post en infraestructura en México

En México, la evaluación ex-post ha tenido una limitada difusión, a pesar de la importancia de dar a conocer los resultados de las inversiones que se realizan en el país, una vez que la obra entra en operación, salvo casos donde las desviaciones en el logro de objetivos es tan evidente que requiere de la actuación de las autoridades para responder a los reclamos de la sociedad y medios de información.

Actualmente, el principal instrumento para la evaluación de la inversión en proyectos carreteros son las auditorias de obras, realizadas principalmente por parte de las entidades encargadas de ejercer el gasto como de aquellas que asignaron dicho presupuesto.

La aplicación de medidas de control de las inversiones, ejercidas por el gobierno mexicano, es una tarea que realiza primordialmente la Secretaría de Hacienda y Crédito Público (SHCP) para controlar el ejercicio del gasto federal cuya principal base normativa son los “Lineamientos” mencionados anteriormente. Aunque el alcance de la evaluación ex-post se extiende a muy diversos ámbitos, el presente análisis se enfocará a los proyectos de infraestructura carretera, y específicamente a los casos de construcción o modernización que cuenten con información pública disponible en la página Web de la SHCP.

Con el propósito de dar una mayor divulgación a los resultados de proyectos de infraestructura carreteros recientemente finalizados, así como sugerir mejoras a las prácticas de evaluación ex – post de dichos proyectos en México, se realizó una búsqueda de aquellos proyectos carreteros recientes, de 2009 a 2013, que fueron elegidos por la SHCP para aplicar una evaluación ex-post. En promedio, la cantidad de proyectos carreteros contemplados por la SHCP para ser objeto de tal evaluación fue de 3.2 por año, con un total de 16 proyectos en dicho periodo, de ellos se eligieron seis para su descripción y análisis de resultados, de acuerdo con el grado de información disponible.

La base del estudio de los proyectos seleccionados fueron los Lineamientos oficiales, los cuales señalan que “la evaluación ex – post consiste en la elaboración de un análisis por parte de la entidad encargada de la realización del proyecto de inversión, utilizando información observada de costos y beneficios, una vez que dicho proyecto se encuentra en la etapa de operación”. El análisis se concentró en los indicadores de rentabilidad, dado que ellos resumen el impacto total de los beneficios y costos, de entre los nueve rubros de información que piden los Lineamientos, a saber:

i. Nombre y clave de Cartera del proyecto de inversión;

ii. Montos anuales de inversión, para la realización del proyecto;

iii. Montos anuales de gasto de operación y mantenimiento y otros gastos asociados, durante la etapa de operación;

iv. Costos socioeconómicos del proyecto de inversión;

v. Beneficios socioeconómicos del programa o proyecto;

vi. Descripción de costos y beneficios intangibles,

vii. Indicadores de rentabilidad, esto es, la actualización del Valor Presente Neto (VPN), la Tasa Interna de Retorno (TIR), el Costo Anual Equivalente (CAE) y la Tasa de Rentabilidad Inmediata (TRI), según corresponda;

viii. Comparación de los indicadores de rentabilidad ‘del proyecto’ con los indicadores considerados en el último análisis costo y beneficio presentado para efectos del registro en la Cartera ‘de inversión’, y

ix. Explicación sobre el cumplimiento del objetivo, propósito, componentes, actividades y, en su caso, metas de producción de bienes y servicios del proyecto.

 

Algunas prácticas internacionales de Evaluación ex-post

En el ámbito internacional se han realizados diversos estudios de evaluación ex-post que han permitido conocer las desviaciones más comunes entre los objetivos esperados y los resultados obtenidos. A continuación se describen algunas de las prácticas internacionales.

 

Unión Europea, caso EVATREN

La Unión Europea, fomenta la mejora de la evaluación integral de proyectos a través de diversos estudios, tal es el caso del proyecto: Evaluaciones de proyectos trans-europeos de redes de transporte y energía (EVATREN), publicado por la Comisión Europea en 2008, y el cual define lineamientos para la evaluación ex – ante y ex – post, a través de la recomendación de diez puntos centrales para la evaluación integral de proyectos, todos ellos interrelacionados y destacando específicamente el punto de la evaluación ex – post, el cual se conforma de ocho pasos a seguir, mismos que se enumeran a continuación:

  1. Planear desde el inicio del proyecto cual será la información requerida para mejorar el proceso de evaluación y así crear una base de datos accesible y adecuada para medir el desempeño, es decir, ¿cómo se medirá? y ¿qué se requiere?. Debe identificarse claramente la versión del análisis Costo- Beneficio que da soporte a la inversión.
  2. Para disminuir costos de recolección de información para la evaluación ex – post es necesario concentrarse en los principales indicadores y en el uso de métodos estandarizados de medición.
  3. En la comparación de los resultados obtenidos contra las expectativas de la evaluación, se deja en un segundo lugar a las desviaciones de los pronósticos, dado que es más importante identificar la causa de dichas desviaciones, incluso debe revisarse el comportamiento de variables no consideradas inicialmente que hayan afectado a los pronósticos.
  4. Comparación de la situación real con proyecto, después del inicio de operación, contra la situación esperada en la solución de referencia de la evaluación ex – ante, esta última debe incorporar, si fuese necesario, cualquier cambio no contemplado originalmente que haya influenciado los resultados obtenidos.
  5. Identificación de factores endógenos y exógenos, se debe determinar si los efectos y cambios se explican por factores internos o externos del proyecto, así como identificar dichos cambios en los parámetros de planeación aplicados en el análisis económico, es decir, definir la causalidad de las desviaciones halladas.
  6. En la evaluación de costos, se debe identificar como se determinaron los costos, si fue con base en reportes de proyectos similares, usando precios unitarios públicos e incluso sí se aplicaron subsidios explícitos para favorecerlo, así como identificar las razones de las desviaciones registradas. Se recomienda la creación una base de datos de costos por rubros de interés como son: tipo de proyecto, región de localización, etc.
  7. El proceso de evaluación ex - post, examina las razones detrás de la diferencia entre los resultados observados y los esperados desde el punto de vista del proceso de toma de decisiones, se busca precisar los problemas derivados de la adopción de objetivos específicos, así como identificar los efectos derivados por la intervención de alguna de las partes interesadas y de la consulta pública.
  8. Medición de la eficacia de las inversiones, mide el impacto neto del proyecto en el bienestar económico sobre la base de los resultados y rendimientos observados. El análisis tiene que comparar la situación real después de la apertura del proyecto contra la situación esperada actualizada. La evaluación debe llevarse a cabo de la misma manera que en la evaluación económica ex - ante y aplicar procedimientos afines. El resultado será el cálculo de la TIR y VPN reales, que se comparan contra los esperados.

 

Caso Noruego

En Noruega, desde 2006 se ha dado seguimiento a algunos de los proyectos de inversión carretera, siendo la Norwegian Public Roads Administration (NPRA) la encargada de presentar y analizar la información relacionada con dichas inversiones y con el desempeño de los esquemas de inversión utilizados.

Algunos de los requisitos que deben cumplir los proyectos candidatos a que se aplique la evaluación ex – post son: que tengan al menos cinco años de abiertos al tránsito, un monto de inversión superior a los 200 millones de Coronas noruegas (casi 400 millones de pesos mexicanos) y sean entre 3 a 5 proyectos seleccionados anualmente, de acuerdo con Kjerkreit (2012).

La NPRA ha presentado los resultados obtenidos de la evaluación ex – post aplicada a veinte proyectos. Las principales variables seleccionadas, para medir las desviaciones de los resultados obtenidos contra los esperados, fueron: monto de la inversión, tránsito registrado y costo de accidentes. Dichas variables afectan directamente la estimación de las variables financieras: VPN, TIR y TRI, estas últimas son re-calculadas sustituyendo los pronósticos con los registros reales obtenidos y sobre la misma línea base del modelo de evaluación ex – ante que recibió la aprobación para la inversión de recursos en dichos proyecto.

Utilizando los valores registrados de las variables: inversión, tránsito y accidentes, se registró que los proyectos noruegos en su mayoría sobrepasaron las expectativas planeadas y presentan mejores resultados en comparación con los beneficios esperados, a través de la comparación de los indicadores establecidos para dicho propósito.

 

Caso Francés

En Francia, desde la promulgación de la LOTI (Loi d'Orientación sur les Transportes Intérieurs) “Ley del transporte” en 1982, las evaluaciones socio económicas ex ante y ex post son una obligación para los grandes proyectos de infraestructura de interés nacional. El objetivo de la LOTI fue armonizar el proceso de evaluación considerando todos los modos, y tener las evaluaciones ex – ante  y ex – post como obligación legal.

Al inicio de la aplicación de la LOTI, la evaluación ex – post era obligada después de 10 años de implementado el proyecto, asimismo, fue más difícil de establecer en el ámbito de los proyectos ferroviarios que para en la red de autopistas.

La experiencia en Francia ha sido útil, aunque puede ser considerada aún como un proceso de aprendizaje, así en la evaluación de los trenes se han incorporado en la discusión otros organismos como el Conseil General de l’Environnement et du Developpement Durable (CGEDD) con la finalidad de armonizar y mejorar constantemente la metodología de evaluación ex – post. El contexto de las evaluaciones ex – ante y ex – post ha cambiado mucho en Francia en los últimos 25 años. De esta forma, el proceso de planeación para el transporte, a nivel de la administración central, ha sido abandonado y sustituido por un proceso, más descentralizado, de consulta con las regiones; a la vez que existe una mayor obligación de consulta con el público, que incluye un debate público en las primeras fases del proceso de decisión. Por último, se han incorporado nuevas leyes ambientales para la protección del medio ambiente, así como nuevas obligaciones en materia de urbanismo que deben tenerse en cuenta durante el proceso de evaluación.

Por tanto, la evaluación ex – post se ha vuelto más importante con la finalidad de señalar cuáles son las diferencias entre los resultados proyectados y los observados, no sólo para analizar si se han alcanzado los objetivos iniciales de la política de inversión, sino también para evaluar si la calidad de la información proporcionada al público ha sido satisfactoria. Esto muestra claramente que la evaluación ex – post es de hecho un proceso de aprendizaje largo y complejo, que también debe reforzar las "relaciones de confianza" entre los tomadores de decisiones y la población.

 

Otras experiencias

En 2014, la Organización para la Cooperación y Desarrollo Económicos (OCDE), organizó una mesa de discusión titulada “Ex-post Assessment of Transport Investments and Policy Interventions” en la que se incluyeron experiencias de Estados Unidos y del Reino Unido en el contexto de seguimiento de los impactos de las inversiones en el sector transporte, en ellos se muestra interés por incorporar la evaluación Ex – post en sus prácticas de control de inversiones en infraestructura de transporte.

El caso de Estados Unidos lo documenta Fitzroy et Al. (2014), quienes revisaron las prácticas de los análisis posteriores a la finalización de proyectos de inversión en el sistema de transporte de Estados Unidos (E.U.) y resaltan el interés para mejorar el análisis ex – post de proyectos de transporte orientados al desarrollo económico en los E.U., para ello crearon una base de datos especializada: “Impacto de los proyectos de Transporte, estudios de caso” conocida como TPICS (por sus siglas en inglés: Transportation Project Impact Case Studies), la cual fue desarrollada como una base nacional de estudios del uso de suelo y del impacto del desarrollo económico, dentro del contexto de implementación de proyectos de transporte. Los autores concluyen con una serie de recomendaciones para una mayor distribución y apoyo para el desarrollo de las herramientas y métodos del sistema TPICS, asimismo, valora los desafíos que enfrenta el análisis ex – post para su mayor aplicación en el contexto estadounidense.

Para el caso del Reino Unido, de acuerdo con Barker et Al. (2014), sus esfuerzos se centran en las auditorias de proyectos, para lo cual se analizan anualmente alrededor de 60 estudios dentro del Programa de evaluación “Valor por el Dinero”(VfM, por sus siglas en inglés: Value for Money), que incluyen cerca de tres proyectos relacionados con el sector transporte.

El programa VfM no consigue cubrir los alcances de un estudio de evaluación ex – post debido, principalmente, a la larga vida de los proyectos de infraestructura de transporte y a que su mandato lo enfoca a la contabilidad de la inversión en dichos proyectos. A pesar de que la NAO (Oficina Nacional de Auditorias) reconoce la importancia de la evaluación ex – post, no se cuenta aún con casos completos de evaluación ex – post de proyectos de transporte, debido a que por su larga duración se han entregado sólo estudios que se realizan antes de que el proyecto reporte la totalidad de los beneficios esperados, por ello se está explorando la posibilidad de incluir a la evaluación ex - post como parte de un programa más amplio que tome en cuenta el ciclo completo de vida del proyecto.

 

Casos de estudio de proyectos carreteros en México

La selección de casos para la aplicación de la evaluación ex – post, se realizó de una cartera inicial de 16 proyectos, de los que por limitaciones de tiempo e información se consideraron sólo seis proyectos que se presentan en el cuadro 1.

La información que se utilizó para realizar la evaluación ex – post fueron: la inversión total realizada y el tránsito vehicular registrado, básicamente. De esta forma se elaboró un esquema básico en una hoja de cálculo de Excel con la información requerida para la comparación de las evaluaciones ex – ante y ex – post, véanse cuadros 2 y 3.

El periodo para la evaluación ex – post se realizó para todos los proyectos a precios del año 2013, aunque sus años en operación fueran distintos. Así los proyectos 1, 2 y 5 se evaluaron en su primer año de operación, mientras que los otros tres, fueron evaluados después de al menos tres años de haberse puesto en operación. Asimismo, se debe aclarar que para los últimos cuatro proyectos sólo se contó con la inversión total publicada por la SHCP y actualizada a febrero de 2014, mientras que para los dos primeros se cuenta con el informe detallado de la evaluación ex – post proporcionados por la Secretaría de Comunicaciones y Transportes (SCT), mismos que facilitan el entendimiento de dicho proceso de evaluación en México.

 

Cuadro 1
Lista de proyectos seleccionados para analizar la evaluación ex – post

Proyecto

Tipo de proyecto

1. Carretera Ojuelos – Aguascalientes.

Ampliación a 28m de ancho de corona, 4 carriles con acotamiento y camellón central.

2. Libramiento Mex II.

Ampliación a 21m de ancho de corona, 4 carriles con acotamiento.

3. La Paz - Los Cabos.

Ampliación a 21m de ancho de corona, 4 carriles con acotamiento.

4. Saltillo-Monterrey

Construcción autopista de 4 carriles

5. Irapuato-La Piedad.

Ampliación a 21 m de ancho de corona, 4 carriles con acotamiento.

6. Apizaco - Límite Estados Tlaxcala /Puebla.

Ampliación a 22 m de ancho de corona, 4 carriles con acotamiento.

Fuente: SHCP, Cartera de programas y proyectos de inversión. Página Web http://www.apartados.hacienda.gob.mx/sistema_cartera_inversion/index.html

 

 

Cuadro 2
Valores de las variables de actualización de los proyectos seleccionados

Variable

Proy. 1

Proy. 2

Proy. 3

Proy. 4

Proy. 5

Proy. 6

Año de evaluación ex – ante

2011

2011

2007

2004

2009

2007

Inversión (millones de pesos corrientes)

75.0

60.0

217.7

1 950.0

1 294.8

455.9

TDPA base

9 211

4 446

6 265

6 900

14 963

11 970

Tasa de crecimiento media anual esperada del tránsito

3.5%

4.0%

2.00%

3.50%

1.90%

2.50%

Fuente: SHCP, Cartera de programas y proyectos de inversión. Página Web http://www.apartados.hacienda.gob.mx/sistema_cartera_inversion/index.html

 

 

Cuadro 3
Valores observados de las variables al finalizar los proyectos seleccionados

Variable

Proy. 1

Proy. 2

Proy. 3

Proy. 4

Proy. 5

Proy. 6

Año de evaluación ex – post

2013

2013

2013

2013

2013

2013

Inversión (millones de pesos 2013)

53.0

63.7

263.8

2 853.0

1 802.9

638.3

TDPA 2013

10 843

5 203

7 271

8 506

20 781

10 563

Tasa de crecimiento media anual del tránsito

8.50%

8.18%

1.50%

2.11%

8.56%

-1.24%

Fuente: SHCP, Cartera de programas y proyectos de inversión. Página Web http://www.apartados.hacienda.gob.mx/sistema_cartera_inversion/index.html

 

Conocidos el año de valoración del modelo de evaluación base, los montos de inversión total, el TDPA y su tasa de crecimiento, se realizó la actualización de los indicadores económicos VPN, TIR y TRI, siendo dichas variables las que se utilizan para la descripción de las desviaciones encontradas a través de las evaluaciones ex – post. Sin embargo, es conveniente mencionar que la tasa de crecimiento del TDPA utilizada para la estimación de los indicadores económicos en los dos primeros proyectos fue de 3.5% de manera conservadora ya que el análisis costo-beneficio se realizó en el primer año de operación, mientras que para los proyectos restantes se mantuvo la tasa de crecimiento utilizada en el análisis costo-beneficio de la evaluación ex – ante.

 

Resultados y conclusiones

A continuación se muestra la comparación de los resultados obtenidos con la evaluación ex – post en función de la inversión real ejercida (actualizada a precios de 2013)

 

Cuadro 4
Comparación de los indicadores de rentabilidad ex – ante y ex – post de los proyectos

Proyecto

(millones de pesos corrientes)

(millones de pesos de 2013)

Diferencias

 

VPN

TIR

TRI

VPN

TIR

TRI

TIR

TRI

Ojuelos – Aguascalientes

123.4

23.60%

26.80%

13.7

14.00%

19.20%

-9.6

-7.6

Libramiento Mex II

9.5

13.67%

10.61%

22.4

14.00%

12.00%

0.33

1.39

La Paz – Los Cabos

77.5

15.49%

12.81%

170.86

19.15%

12.80%

 3.66

 -0.01

Saltillo – Monterrey

922.7

17.40%

12.50%

1 350.0

17.40%

12.50%

 0.00

0.00 

Irapuato – La Piedad

2 152.1

24.70%

27.20%

2 522.74

24.10%

27.40%

- 0.60

0.20 

Apizaco – Límite estatal  con Puebla

346.9

18.30%

15.10%

430.74

17.78%

15.10%

 -0.52

0.00 

 

Se puede observar que se reportan desviaciones mayores a un punto porcentual en el caso de la TIR, para los proyectos Ojuelos – Aguascalientes y La Paz – Los Cabos, dichos proyectos serían candidatos a un mayor análisis para conocer las causas de dichas desviaciones, el resto de los proyectos presentan desviaciones menores a 1%. Por otra parte, se encontraron dos proyectos con resultados menores a los esperados, siendo Ojuelos – Aguascalientes el de mayor caída en su rentabilidad, a pesar de ello, su TIR fue mayor a la tasa social de descuento de 12%, que requería la SHCP para invertir en dichos proyectos.

Con base en la experiencia de recopilación de información, se recomienda el establecimiento de un monitoreo permanente de proyectos carreteros por parte de la SCT, que incluya la divulgación pública de los objetivos y resultados obtenidos con la operación de dichos proyectos, seleccionados en función del monto invertido, como en el caso noruego. Asimismo, se recomienda que la SCT promueva un seguimiento de los resultados a través de una evaluación ex – post después de 5 años de iniciada la operación de los proyectos.

Por último, se debe considerar la inclusión de los beneficios por reducción de accidentes en evaluaciones ex – post futuras, así como explorar la incorporación de otras variables relacionadas con las externalidades tales como las emisiones de gases y sus efectos en la salud en función de la disponibilidad de la información requerida para su valoración.

 

Bibliografía

1.         BARKER, G.; Et Al. The National Audit Office’s value-for-money assessment of transport investments. Discussion Paper N° 2014-12 for Roundtable: Ex-Post Assessment of Transport Investments and Policy Interventions. OECD. Paris, France. 2014.

2.         BONNAFOUS, A. Permanent observatories as tools for ex-post assessment: the French case study. Discussion Paper N° 2014-10 for Roundtable: Ex-Post Assessment of Transport Investments and Policy Interventions. OECD. Paris, France. 2014.

3.         COMISIÓN EUROPEA. Improved decision-aid methods and tools to support evaluation of investment for transport and energy networks in Europe (EVATREN). Deliverable 5, Guidelines for ex-ante and ex-post evaluation. Europa. 2008.

4.         DIARIO OFICIAL DE LA FEDERACIÓN (DOF). Lineamientos para el seguimiento de la rentabilidad de los programas y proyectos de inversión de la Administración Pública Federal, edición del 18 de marzo de 2008.

5.         FITZROY, S.; Et Al. US Experience: A Focus on Cased-Based Ex Post Economic Impact Assessment. Discussion Paper N° 2014-11 for Roundtable: Ex-Post Assessment of Transport Investments and Policy Interventions. OECD. Paris, France. 2014.

6.         KJERKREIT, ANNE. Lessons from ex-post benefit-cost analyses of road projects in Norway. PIARC, Reunión del Comité Técnico 1.4: Road Transport System Economics and Social Development. London 2012.

7.         SECRETARÍA DE HACIENDA Y CRÉDITO PÚBLICO (SHCP). Documentos relevantes. Consulta en febrero de 2014 a la página Web. http://www.shcp.gob.mx/EGRESOS/ppi/Paginas/Documentos_relevantes.aspx.

HERNÁNDEZ Salvador
Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.

TORRES Guillermo
Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.

GONZÁLEZ Alejandro
Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.

ARROYO Antonio
Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.