Criterio 8
Descripción
El criterio básico de funcionamiento 8 es el siguiente:
8. El interesado habilitado propone al menos una solución tecnológica para garantizar la confidencialidad de la información y la verificación de confidencialidad de la misma.
Recurso de CMX
El representante del Consorcio CMX argumentó que existe una inconsistencia pues a pesar de lo advertido por el asesor t&e
Criterio 9
Descripción
El criterio básico de funcionamiento 9 es el siguiente:
9. El interesado habilitado propone facilidades para la creación de los formatos requeridos para la captura de información transaccional y operativa.
Recurso de CMX
El representante del Consorcio señala que no es posible dar por cumplido este requisito por parte de la BMC, dado que no propuso alguna facilidad para la creación de los formatos, pues la simple presentación de los formatos no pude ser entendida como cumplimiento del criterio.
Asimismo, afirmó que la Comisión debe tener en cuenta las observaciones efectuadas por el asesor, pues expresamente dijo que solo se evidenciaba la existencia de los formatos, pero no se contaba con ningún detalle adicional y reconoció la diferencia entre la facilidad para la creación de los formatos y los formatos en sí mismos, por lo cual la sola presentación de los formatos no puede ser entendida como cumplimiento del requisito.
Análisis
Expuestas las argumentaciones planteadas por el apoderado del Consorcio CMX, es pertinente señalar que en el informe presentado por Hart Energy & Control Consulting S.A.S, se incluyó como comentario lo siguiente
“Se evidencia la existencia de formatos asociados a la operación del gestor del mercado, no se cuenta con detalle.”
Adicionalmente, en la declaración rendida por el Ingeniero Téllez, cuando la Comisión le preguntó sobre el comentario realizado en su informe y el fundamento para dar por cumplido este criterio, se resalta lo siguiente: “Sí, el objetivo de este criterio era tratar de evidenciar por parte de los proponentes, como iba hacer la captura de la información, tanto a nivel transaccional como operativo, para las funciones de soporte de gestor del mercado, entonces consideramos preguntar, si se crearían unos formatos específicos para esta captura de la información, es así que la Bolsa evidenció la existencia de los formatos, como decimos, no se cuenta con detalle, en la demostración hicieron algunas presentaciones de como serían los formatos para esta captura de la información, a este nivel no se requería de mucho detalle, pero si se requería que evidenciara la existencia y que los oferentes propusieran esa facilidad de captura de información, entonces la Bolsa tanto en su documento como en la demostración lo hizo evidente y por tal razón nosotros consideramos que cumple con el requisito solicitado.”
De igual forma cuando el apoderado del Consorcio CMX le preguntó “El interesado propone facilidades para la creación de formatos requeridos para la captura de información transaccional y operativa”, luego dice; “Se evidencia de formatos asociados de la operación del gestor del mercado, no se cuenta con detalle”, pregunto ¿cuál es la facilidad que propuso la Bolsa Mercantil? respondió:
La facilidad específicamente, sobre eso, ellos presentaron en las demostraciones unos formatos que serían los utilizados para esto. No me acuerdo como ellos lo presentaron, pero si había una demostración que se contaría con esos formatos recopilar esa información, las facilidades y el cuerpo especifico como lo vayan a hacer es particular para cada uno de que se pida y de que exista esta facilidad, es lo que se necesita en este requisito, entonces si cuenta con esos mecanismos de recopilación. ¿No sé si sea conveniente precisar cuáles fueron esos formatos, Jorge o Carol de esas facilidades que propuso la Bolsa?
Preguntado por el apoderado del Consorcio CMX: Usted debería saber ya que es el testigo técnico, tendría que saber que se presentó. ¿una facilidad es lo mismo que un formato o una facilidad es un medio para hacer un formato?
Respondido: Esa facilidad funcional es permitir crear formatos para la recopilación de la información, eso es.
(…)
Preguntado por el apoderado del Consorcio CMX: El punto específicamente es la facilidad que presentó la Bolsa Mercantil, ¿cuál fue?
Respondido: Funcionalmente la capacidad que ellos tienen fue captura y recopilación de la información.
Preguntado por el apoderado del Consorcio CMX: ¿Eso equivaldría a una facilidad?
Respondido: Son los medios que permite manejar cada de unas necesidades, la facilidad es disponibilizar los accesos y los sitios y las paginas para recopilar la información eso es una de las facilidades que se podría hacer. Otra puede ser, creación de formatos en Excel y carga o envío de la información a través de otros medios, pero en específico en este programa basados en las herramientas web que la Bolsa disponibilizaria
Preguntado por el apoderado del Consorcio CMX: La herramienta web para esto, ¿cuál fue?
Respondido: La plataforma de captura, si era transaccional era a través de la plataforma SEGAS y si es operativa era a través de la plataforma BEC.
Preguntado por el apoderado del Consorcio CMX: ¿y qué parte del BEC y que parte del SEGAS específicamente tiene una facilidad para manipulación o la elaboración de formularios de consulta, tal cual lo está pidiendo el requisito?
Respondido: No lo sé, específicamente para ese detalle no se tocó.
Preguntado por el apoderado del Consorcio CMX: Sin embargo, la Bolsa paso el requisito que usted no pudo verificar.
Expuestos los anteriores elementos de juicio, es preciso señalar que el fundamento para entender por cumplido este criterio “facilidades para la creación de formatos requeridos para la captura de información transaccional y operativo”, consiste en que la BMC propone las facilidades para la creación de los formatos según se evidenció de la existencia de formatos asociados a la operación del gestor del mercado.
En tal sentido, el hecho de que no se cuente con el detalle de la creación de los formatos es diferente a que no se disponga de las facilidades, por lo cual no es posible se entienda que el criterio básico de funcionamiento fue incumplido por parte de la BMC.
Criterio 10
Descripción
El criterio básico de funcionamiento 10 es el siguiente:
10. El interesado habilitado propone al menos un mecanismo para la verificación del registro de contratos como pre-requisito obligatorio para el despacho de suministro y transporte.
Recurso de CMX
El representante del Consorcio CMX, señala que, a partir del comentario realizado por el asesor en su informe, en el cual se afirma que la demostración no fue clara en temas de verificación, la CREG no podía aceptarlo como cumplido al tratarse de un criterio básico de funcionamiento.
Adicionalmente, señala que, en la declaración del testigo técnico, reconoce que en la demostración este punto no fue claro pero que en el documento técnico sí se encontraba. Lo anterior, hace evidente nuevamente la falta de coherencia en la aplicación de los criterios de evaluación por parte del asesor, pues, mientras que para evaluar la propuesta y la demostración de CMX utilizó como fundamento la supuesta inconsistencia entre estos para bajar la calificación en el
numeral 1.1. de la tabla 3, en el caso de la evaluación de la propuesta de la BMC no tuvo en cuenta la existencia de falencias e inconsistencias entre el documento y la demostración y aceptó como cumplido el requisito, a pesar de tratarse de un criterio básico de funcionamiento en el cual la rigurosidad en la calificación debía ser mucho mayor.
Análisis
Conforme los argumentos expuestos, resulta pertinente señalar que en el informe presentado por Hart Energy & Control Consulting S.A.S, señaló como comentario lo siguiente:
“La demostración no es clara en temas de verificación”
De igual forma, resulta relevante mencionar que, en la declaración rendida por el Ingeniero Téllez, cuando la Comisión le preguntó sobre el comentario realizado en su informe y el fundamento para dar por cumplido este criterio, señaló que: “Sí, en particular como se anota en el informe, esa demostración no fue clara para evidenciar esa verificación, sin embargo, en el documento técnico ellos manifestaron que proponían mecanismo para la verificación del registro de contratos, ese mecanismo, ellos lo sustentan a través de la plataforma que ellos llaman SEGAS, que ha sido propiamente desarrollado por la BMC y sobre la cual se habilitarían todos los procesos de verificación del registro de los contratos. Ellos en el documento técnico si evidenciaron esto, aun cuando en la demostración no fue posible verificar este requisito. Como lo hemos manifestado y lo he manifestado antes, los elementos para dar cumplimiento o no está basado tanto en los documentos como en las demostraciones, entonces dado a que en el documento técnico si había un compromiso y si había una evidencia que si es cumplido a través de la plataforma SEGAS, consideramos que el criterio de verificación de contratos era cumplido por la Bolsa.”
Adicionalmente, cuando el apoderado del Consorcio CMX preguntó “El interesado habilitado propone al menos un mecanismo para la verificación del registro de contratos como prerrequisito obligatorio para despachos de suministro y transporte” y usted comentó “la demostración no es clara en temas de verificación”, ¿Por qué si usted comenta que la demostración no es clara en tema de verificación, pasa el requisito de la Bolsa Mercantil?, el asesor técnico respondió: “Porque en el documento dejan evidenciado el cumplimiento de estos mecanismo para la verificación de los registros del contrato, la propuesta de la Bolsa, en los folios 24 y 25, la Bolsa manifiesta que tendrá los mecanismos para hacer la verificación de estos registros a través de la plataforma SEGAS y el detalle sí, ósea no entramos a ver y no era objeto de nosotros entrar a evaluar el SEGAS, pero si se evidenció en los documentos técnicos y en los folios que hago referencia que la Bolsa proponía los mecanismos de registro, si bien en presentación no fue claro, ese cumplimiento de la verificación pero eso no eximía a la Bolsa, si cumple porque en el documento técnico lo manifestaba expresamente.”
En el numeral 2.2.4.2 -Verificación de la información- del Documento Técnico, se señala
“Para el registro de los contratos, la plataforma cuenta con mecanismos de validación que aseguran la coincidencia de la información declarada por el vendedor y el comprador, de acuerdo con las condiciones establecidas en la declaración de información previstas en el anexo 2 de la Resolución CREG 114 de 2017. De igual manera, existen controles para verificar el cumplimiento de las reglas de mercado establecidas en el Reglamento de Comercialización de Gas Natural (…)”, detallando las principales verificaciones que se hacen a través de la plataforma SEGAS.
Expuestos los anteriores elementos de juicio, se considera que la BMC cumple con este criterio ya que propone un mecanismo para la verificación del registro de contratos. Este mecanismo se realizará a través del SEGAS, el cual ha sido desarrollado por BMC. Lo anterior se hace evidente en su documento técnico, folios 24 a 25.
Lo anterior, no desconoce que en el informe presentado por Hart Energy & Control Consulting S.A.S, se hubiera señalado que no era claro en la demostración los temas de verificación, pero por ello no es posible concluir que no se encuentre acreditado el criterio, pues tal como se expuso, la BMC propuso el mecanismo que se desarrolla a través del SEGAS o entender que exista inconsistencia entre lo expuesto en el documento técnico y la demostración, en el marco del sentido y forma de calificación de estos criterios, en donde no existe ponderación.
Conforme todo lo expuesto, no es posible acceder a la solicitud realizada por el representante del Consorcio CMX, en el sentido de suprimir los 50 puntos otorgados a la Bolsa Mercantil de Colombia -BMC- y en consecuencia la calificación otorgada a los criterios 1, 5, 6, 8, 9 y 10 no será modificada
3.3. Evaluación técnica de IT
La Resolución 055 de 2019, establece en el anexo 3, numeral 5.2 que “La evaluación técnica de los criterios ponderables para las soluciones propuestas se realizará con base en el análisis de las propuestas técnicas presentadas por los interesados habilitados y en las demostraciones.”
La norma dispone que “Para el cálculo del Puntaje Técnico se considerarán los factores y porcentajes de ponderación que se refieren a puntos específicos de la presente resolución, así como las resoluciones CREG 136 de 2014, 114 de 2017 y de aquellas que las modifiquen y/o complementen.
En el anexo citado se establece que la asignación del puntaje en la evaluación técnica de IT deberá considerar los siguientes niveles:
A su vez, en la tabla 3 del Anexo 3 de la resolución establecen “los grupos de criterios ponderables considerados y los porcentajes de ponderación para cada uno de los aspectos asociados al cumplimiento de cada grupo”.
También debemos destacar que la Resolución CREG 055 de 2019 describe los criterios, los niveles y los puntajes, pero no hay una definición de lo que se considera excelente, bueno, regular o malo, por tanto, para determinar estos conceptos debemos atenernos a lo que se entiende por ellos en el lenguaje común.
Así las cosas, tenemos que conforme a la definición del leguaje común el nivel de “Excelente” corresponde a aquello que “sobresale por sus óptimas cualidades”; el de “Bueno” atañe a los que es “útil y a propósito para algo”; el de “Regular” corresponde a una “cualidad en grado medio” o no plenamente ajustada, y el nivel “Malo” pertenece a “la falta de cualidades que cabe atribuirle por su naturaleza, función o destino”.
Ahora bien, para la evaluación, tal como ya se había mencionado, la Comisión de Regulación contó además con los servicios de asesoría técnica de la firma Hart Energy Consulting SAS, empresa que acreditó amplia experiencia en la implementación de plataformas tecnológicas para empresas de servicios públicos en Colombia y en otros países. Esta firma analizó los documentos técnicos y participó en las dos audiencias en las que los proponentes hicieron la presentación de las plataformas.
La firma Hart Energy & Control Consulting S.A.S presentó sus evaluaciones al Comité Evaluador.
Adicionalmente, para resolver los recursos interpuestos, la CREG decretó y practicó el testimonio técnico del señor Marco Téllez, líder del equipo de la firma asesora para que explicara sus recomendaciones y comentarios sobre las propuestas.
Al respecto de la consideración precedente, podemos observar que el testigo técnico explicó los criterios utilizados, al exponer que “consideramos que una calificación es excelente cuando sobre pasa o cuando manifiesta características y requisitos más allá de los establecidos plenamente en el criterio, cuando estos requisitos son cumplidos de manera conveniente y sin ningún valor agregado consideramos que la calificación debe ser buena y de ahí en adelante sería regular y mala, esos serían los niveles de calificación que se tendría para estos puntajes”.
En el informe puede observarse que la firma asesora utilizó los conceptos de Excelente, Bueno, Regular y Malo en su sentido natural y que con su experticia en la implementación de plataformas describió las cualidades de cada uno de los componentes y su valoración frente a cada uno de los requisitos.
En consecuencia, para resolver los recursos se tendrán en cuenta, además de la documentación de las propuestas y la evaluación del comité, el informe de la firma asesora y el testimonio técnico del señor Marco Téllez.
También debemos observar para resolver, que el Comité Evaluador acogió la mayoría de las recomendaciones del asesor, razón por lo cual su dicho resulta relevante para conocer las razones objetivas que tuvo en cuenta el comité evaluador para asignar el puntaje que los recurrentes cuestionan, para así contrastar aquellos con los argumentos que éstos exponen en sus recursos.
En cuanto a la valoración de la prueba testimonial, se considera que el testigo respondió en forma clara y concreta el interrogatorio formulado por el Director de la CREG y por los apoderados de los recurrentes y expuso con detalle las razones por las cuales la firma recomendó cada uno de los puntajes recurridos, los aspectos sobresalientes, los buenos o adecuados y aquellos donde por su experiencia pudo determinar debilidades, limitaciones o que podía esperarse una mejor solución, una mejor documentación o una mejor demostración de lo propuesto; también señaló inconsistencias entre el documento técnico y la demostración.
El resultado final de la evaluación de los cinco grupos de criterios se resume así
El puntaje asignado es resultado de la evaluación de cada uno los criterios ponderables considerados y los porcentajes de ponderación para cada uno de los aspectos asociados al cumplimiento de cada grupo, con los niveles de puntaje que se establen en el numeral 5.2 del anexo 3, como se detalla en el informe de evaluación del comité evaluador designado por la Comisión.
Los recurrentes, BMC y Consorcio CMX (cargo No 6) cuestionan la evaluación de este componente y solicitan modificación de los puntajes asignados, por lo que procederemos a examinar la evaluación de cada una de propuestas, el nivel y puntaje asignado a cada de los criterios ponderables, la justificación de la CREG, las objeciones del recurrente, la prueba practicadas y el análisis de la CREG, así:
Criterio de la Tabla 3. Numeral 1.1. Arquitectura conceptual
Descripción
Este requisito presenta el sistema como componentes que incluya las funcionalidades requeridas, tanto las principales como las de soporte, con la finalidad de dar una visión general del sistema.
Evaluación de CMX
El puntaje máximo para este aspecto es de 4 puntos y el comité evaluador le asignó 3 puntos a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, señaló como comentario lo siguiente:
Sistema basado en AWS.
Multi-capas: capa de servicios, procesos de negocios, aplicaciones e infraestructura.
-Esquemas y diagramas inconsistentes entre el Documento Técnico y la Demostración
-Dos zonas de disponibilidad en "hot-hot" con balanceadores de carga
-Segmentación del sistema en cuatro subredes por zona de disponibilidad (pública, BEC, Mecanismo de subastas, almacenamiento)
Recurso de CMX
La recurrente solicita que se corrija el puntaje en cuanto al requisito previsto en el numeral 1.1. (arquitectura conceptual) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
CMX alega que cumplió a cabalidad el criterio, que los Diagramas de Arquitectura Conceptual presentados en el documento Técnico y en la Demostración son técnicamente CONSISTENTES y completos. Manejan el mismo lenguaje técnico y visual.
Aduce CMX, respecto al criterio 1.1, que “no es cierto que los esquemas y diagramas sean inconsistentes como lo señala erradamente el asesor sin ofrecer ninguna razón para realizar dicha manifestación. Por el contrario, es necesario advertir que los Diagramas de Arquitectura Conceptual presentados en el Documento Técnico y en la Demostración son técnicamente CONSISTENTES y completos, y manejan el mismo lenguaje técnico y visual. Invocan que, como consecuencia, se cumpliría con la condición general establecida en la Resolución CREG 055 de 2019, de tal manera que el puntaje debería ser corregido”
Pruebas
Testimonio técnico del asesor Marco Téllez:
Preguntado por la Comisión: ¿cuál es la razón para afirmar que en la solución de CMX los esquemas y los diagramas son inconsistentes entre el documento técnico diferentes con la demostración?, esa sería la primera pregunta y ¿cuál fue el criterio tenido en cuenta para la recomendación de la calificación de bueno y no excelente en este requisito, igualmente para CMX?
Para esta serie de criterios vamos a conversar, partiendo del que mencionó el doctor Jorge, es importante tener en cuenta que, esos son criterios ponderables, que se califica con base en una puntuación máxima definida y a la cual se le asigna una serie de puntos, dependiendo de la revisión de los documentos y la participación en las demostraciones. Estos criterios están establecidos en la resolución y quedaron presentados en ella. Bajo esa perspectiva nosotros, los criterios para establecer la puntuación de los dos oferentes.
En cuanto a la primera pregunta, nos dimos cuenta de que desafortunadamente el documento técnico presentaba varios diagramas que el Consorcio presentó en su demostración, utilizó unos diagramas ligeramente diferentes en varios de ellos, no se entendía porque lo presentado en el documento y en la demostración difería, no se entró en el detalle del porque esa diferencia. Entendería que coincidente tanto a nivel de documento como de demostración, hubiese sido conveniente que los diagramas estuvieran relacionados uno a uno, de tal forma, que no fuera una nueva información para las partes que están evaluando, si no los documentos que utilizaron para demostrar la arquitectura proponiendo fueran inconsistentes. Eso no quiere decir que no sean los adecuados, solo se hace explícito que los presentados en el documento o en la demostración no fueran exactamente los mismos.
En la calificación, es importante tener en mente, que consideramos que una calificación es excelente cuando sobre pasa o cuando manifiesta características y requisitos más allá de los establecidos plenamente en el criterio, cuando estos requisitos con cumplidos de manera conveniente y sin ningún valor agregado, consideramos que la calificación debe ser buena y de ahí en adelante seria regular y mala, esos serían los niveles de calificación que se tendría para estos puntajes. Entonces aun cuando se presentaba esa inconsistencia, no consideramos que la arquitectura conceptual propuesta por el CONSORCIO fuera inconveniente, es adecuada, nos parece buena, como tal se asignaba la puntuación de tres.
Preguntado por CMX: ¿en que se basó usted para otorgar la calificación de tres puntos frente a cuatro a BMC?
Respondió: Aquí hay un nivel de detalle, en cuanto a lo que esperábamos, como respuestas en cuanto a cómo se iba a diseñar el sistema, entonces en esa particularidad se le solicitó a los proponentes que propusieran cual iba hacer la arquitectura conceptual, sobre la que iba a estar desarrollada su solución, en esa solitud se hace ya evidente que las dos arquitecturas están orientadas sobre la misma, digamos que la solución propuesta por cada uno de ellos está orientada sobre la misma capacidad de solución, por decirlo, que es lo que decimos los servicios AMAZON WEB SERVICES de alguna forma basados en un producto que ellos llaman Infraestructura and Services, esto hace que ambas soluciones propuestas de tecnología en la nube sean convenientes y apropiadas. Ahora en la presentación del documento técnico y en la demostración, la bolsa demostró que propondrían una arquitectura conceptual más robusta y de más alta disponibilidad y se hizo evidente lo que a través de ellos llaman como zonas de disponibilidad de tal forma que disponibilizarían cuatro zonas para la plataforma, tanto para el BEC como para el SEGAS. Entonces respondiendo para la arquitectura conceptual propuesta por la Bolsa es excepcionalmente mejor y del Consocio cumple lo solicitado, entonces es así como se le asignaron las calificaciones correspondientes.
Preguntado por CMX: “Me salto para tener en claro lo que usted acaba de decir, me voy a saltar al anexo tres, tabla dos, criterios básicos de la Bolsa Mercantil De Colombia, me voy a referir criterio de funcionamiento según el cual “el interesado habilitado abre un sitio web para la gestión del BEC boletín electrónico central, usted dentro de los comentarios del documento, dijo lo siguiente “actual con dos ambientes BEC y BEC PRIME migrará a uno solo y se va hacer un CMS drupal” y “en la demostración no queda explicito el desarrollo de drupal¨ usted sin embargo le dijo que cumplía. Usted me puede explicar ¿por qué cumple?
Respondió: “Específicamente en este punto, la solicitud era cumplimiento pleno, si o no. No había ponderación, entonces es muy claro para nosotros como asesor de que la Bolsa cumple, porque esta asignando un sitio web, para la gestión del BEC. No tengo nada más que decir.”
Análisis
Para analizar el recurso frente a cada uno de los criterios, tanto de CMX como de la BMC, debemos hacer las siguientes consideraciones generales:
La Resolución CREG 055 de 2019, en el anexo 3, numeral 5.2 ordena la evaluación se unos criterios ponderables en cuatro niveles: excelente, bueno, regular y malo, y a cada uno de estos niveles le asigna un puntaje. Esta ponderación debe hacerse con base en el análisis de las propuestas técnicas presentadas por los interesados habilitados y en las demostraciones, por tanto, una valoración de estos criterios exige al evaluador motivar los aspectos técnicos observados en el documento y/o en la demostración de los cuales se pueda inferir de manera objetiva el nivel que merece cada una las propuestas, individualmente considerada, frente a la descripción del criterio.
También debemos observar que la Resolución CREG 055 de 2019 describe los criterios, los niveles y los puntajes, pero no hay una definición de lo que se considera excelente, bueno, regular o malo, por tanto, para determinar estos conceptos debemos atenernos a lo que se entiende por ellos en el lenguaje común, con la justificación técnica.
Así las cosas, tenemos que conforme a la definición del leguaje común el nivel de Bueno significa que la propuesta es “útil y a propósito para algo”, según una de las acepciones de la Rae, y el nivel de excelente corresponde a aquello que “sobresale por sus óptimas cualidades”. Así lo interpretó y lo aplicó la firma que prestó la asesoría técnica al proceso de evaluación, Hart Energy & Control Consulting S.A.S, y el comité evaluador.
Al respecto, de la consideración precedente podemos observar que el testigo Marco Téllez, quien participó en la actividad de asesoría que brindó la firma Hart Energy, explica la aplicación de estos niveles, al exponer que “consideramos que una calificación es excelente cuando sobre pasa o cuando manifiesta características y requisitos más allá de los establecidos plenamente en el criterio, cuando estos requisitos con cumplidos de manera conveniente y sin ningún valor agregado, consideramos que la calificación debe ser buena y de ahí en adelante sería regular y mala, esos serían los niveles de calificación que se tendría para estos puntajes”.
Ahora, en lo que respecta al primer criterio -Arquitectura Conceptual- la evaluación de “Buena” otorgada a CMX obedece a que la solución propuesta es técnicamente aceptable o adecuada. La firma Hart Energy hace una descripción de los componentes y de las funcionalidades requeridas, tanto las principales como las de soporte, lo cual permite una visión general del sistema y su adecuación a los propósitos del servicio que debe prestar el gestor del mercado.
Sobre el particular, preguntado el testigo Marco Téllez sobre las razones por las cuales recomendó la calificación de 3 puntos en este criterio a la propuesta de CMX, expuso que “no consideramos que la arquitectura conceptual propuesta por el Consorcio fuera inconveniente, es adecuada, nos parece buena, como tal se asignaba la puntuación de tres”
Ahora bien, se preguntó al testigo por las razones por las anotaciones que hizo la firma Hart Energy sobre inconsistencias de los diagramas, y luego de explicar el sentido de estas anotaciones afirmó que “hubiese sido conveniente que los diagramas estuvieran relacionados uno a uno, de tal forma, que no fuera una nueva información para las partes que están evaluando, si no los documentos que utilizaron para demostrar la arquitectura proponiendo fueran inconsistentes” y agrega sobre el particular “Eso no quiere decir que no sean los adecuados, solo se hace explícito que los presentados en el documento o en la demostración no fueran exactamente los mismos.”
Pero, lo que solita CMX es que se le califique en el nivel de excelente, es decir, que sobresale por sus óptimas cualidades, y fundamenta su petición en que cumple el requisito el numeral 1.1. y que no son ciertas las inconsistencias que señala el informe de Hart Energy.
Sobre esta alegación se debe observar que no estamos ante una evaluación binaria de cumple o no cumple, sino ante una ponderación de excelente, bueno, regular y malo, luego no es razonable exigir que se le califique como excelente el criterio con el argumento de que cumple, puesto que lo que debe sustentar el recurrente es por qué a su propuesta debe corresponderle el nivel de excelente, por qué debe ser considerada óptima o sobresaliente, cuando los evaluadores no encontraron motivo para ello.
Así las cosas, la Comisión no encuentra y el recurrente no aclara, ni prueba, cuáles son esas cualidades que lo haría merecer el nivel de excelente en la evaluación de la Arquitectura Conceptual, por tanto, se procederá a mantener la evaluación de Bueno y se ratificará el puntaje asignado.
Criterio de la Tabla 3. Numeral 1.2. Diseño de software
Descripción
Sistemas operativos en los que se ejecuta el sistema. Servicios del sistema: impresión, copiado, restauración y almacenamiento de largo plazo.
Evaluación de la BMC:
El puntaje máximo para este aspecto es de 4 puntos y el comité evaluador le asignó 3 puntos a la propuesta de BMC y 3 puntos a CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, comentó lo siguiente:
Respecto de BMC
• Servicios de almacenamiento tanto de respaldo (backup con S3) como de largo plazo en la nube (Glacier).
• Servicios para la ejecución de los respaldos de información.
• Ciertos componentes se desarrollan en torno a .NET Framework. Solución que tiene limitaciones técnicas.
Respecto de CMX
Línea base con 4 instancias (en 2 zonas de disponibilidad).
• Diseño basado en MS.NET.Core, el cual cuenta con limitaciones técnicas relevantes.
• Lógica de negocios basado en OWASP.
• Servicios de sincronización de base de datos.
• PowerBI para reporting.
Recurso de la BMC:
En su recurso, la BMC describe las especificaciones y características del diseño de software, señala que durante la demostración presentó el detalle del diseño de capas, relaciona las licencias con las que cuenta y concluye que “de esta manera se demuestra que la Bolsa cumple con el requisito de la Tabla 3 – Numeral 1.2…”
Recurso de CMX.
Este recurrente solicita que se corrija el puntaje dado a CMX en cuanto al requisito previsto en el numeral 1.2. (diseño de software) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Argumenta el recurrente que “CORE no tiene limitaciones técnicas relevantes. Inclusive es recomendado por sobre la plataforma .NET Framework (plataforma propuesta por la BMC) de acuerdo con las especificaciones dadas por Microsoft.”
Señala que “Respecto al requisito 1.2. (Diseño de software), nuevamente la observación presentada por el asesor no cuenta con ninguna justificación pues no determina cuales son las supuestas “limitaciones técnicas”. Por el contrario, lo propuesto por CMX es lo recomendado por Microsoft.”
Pruebas
Documentales:
La BMC solicita tener en cuenta para resolver lo que se observa en los folios 22 y 23, gráfico 10 del sobre 10.
Testimonio técnico de Marco Téllez:
Preguntado por la Comisión. “En el numeral doce (sic) de la misma tabla tres, en cuanto al diseño del software, se pregunta ¿Cuáles son las limitaciones técnicas que se presenta en el diseño basado en MS.NET Cord, propuesto por CMX? y explique por favor cual fue el criterio para evaluar ese requisito como bueno y no excelente en ambas propuestas. (sic es 1.2)
Respondió: “En cuanto al diseño, se les solicitaba a los proponentes que propusieran una forma de hacer este desarrollo, basados operativos que ejecutara el sistema y que tuviera todos los servicios que se requieren, esos servicios tienen que ver con lo que llamamos gestión de la información, gestión de copiado, restauraciones, almacenamiento o incluso en capacidades de impresión. Ambos proponentes fueron buenos, la solución que propusieron, obviamente no entramos en el detalle, en los niveles de detalle, lenguaje de programación, pero si ambos propusieron que tuvieran aplicaciones o algunas herramientas desarrolladas en .NET. En nuestra experiencia hemos visto que .NET en algunos casos es limitado en los aspectos de seguridad, compatibilidad y desempeño, aunque no toda la plataforma va a hacer desarrollada en .NET, sí, algunas herramientas y por eso quisimos llamar la atención sobre que esas herramientas que estuviesen desarrolladas en .NET tenían esas limitaciones. Por tal razón ninguna de las ofertas fue posible calificarlas como excelente y se asignó puntuación de calificación buena, para ellos.”
Preguntado por CMX: Anexo tres de la tabla tres, demostración de CMX punto uno, punto dos, diseño de software. Usted da respuesta de una de las preguntas que le hace el director de a CREG, usted contesto que en su experiencia el NET CORD tenía limitaciones, le pregunto ¿qué experiencia es esa y de qué año es?
Respondió: Yo no soy desarrollador de software, yo soy asesor técnicos en procesos de adquisición de sistemas de información, en los últimos tiempos hemos visto que las plataformas NET para el desarrollo de software están siendo superadas y si bien algunas herramientas están siendo desarrolladas en .NET, en nuestra validación nos hemos dado cuenta que tienen algunas limitaciones, no estamos diciendo cual desarrollo o metodología es mejor una que otra, aquí estamos evidenciando por ambos oferentes que en punto NET hay una limitaciones y que están han sido revisadas y evaluadas en diferentes sistemas de información operativo. Como digo no soy desarrollador de software no se a qué podía yo darle detalle de cuáles son las versiones, los tiempos y los años en que esto ha sido utilizado.
Preguntado por CMX: Pero Ingeniero, usted dice que tuvo en cuenta su propia experiencia para calificar este criterio de acuerdo con su experiencia en NET CORD y yo le pregunto por la experiencia y usted me dice que no la tiene.
¿Cuál experiencia específica y de qué año es?
Respondió: Nosotros en particular en los últimos dos años hemos trabajado en la revisión de los sistema de información para la infraestructura de sistema críticas de sistemas de control tanto nacionales como regionales, específicamente he trabajado en el sistema de transmisión de chile, hemos trabajado en el sistema de soporte a la operación para la empresa EMSA en Panamá cerca de dos años y actualmente venimos siendo asesores con la empresa de transmisión con el sur en Perú y de la empresa COLBUN en chile, en este proceso de la elaboración de los requerimientos técnicos y la revisión de las diferentes ofertas en el cumplimiento de eso, nos damos cuenta de las soluciones que ellos proponen, entonces de ahí sale la experiencia técnica que tengo para decir sobre que desarrollos tecnológicos, tanto de datos como del software, y saber cuáles son convenientes o no.
Preguntado por CMX: Ósea, ¿en esa experiencia técnica que limitaciones encontró del NET CORD?
Respondió: En el documento están dichas. Si no están dichas, son aspectos como de seguridad, compatibilidad y desempeño.
Preguntado por CMX: ¿Esas limitaciones técnicas que usted está determinando, son relevantes para el caso específico, o por qué haría que no funcionara el criterio, que el diseño del software fuera equivocado o que incumpliera el requisito?
Respondió: No, como usted lo dice, no causaban incumplimiento por ninguna de las dos partes, porque ambas la están utilizando y por eso ambas tienen la misma calificación, es un criterio que no es mandatorio, es un requerimiento ponderado.
Preguntado por la Comisión: En relación con el numeral 1.3 de la Tabla 3 Arquitectura de datos. Explique las consideraciones para evaluar como bueno este requisito en la propuesta de la BMC y no como excelente.
Respondió: “En cuanto al requisito como tal, el requisito está orientado como dice ahí a la arquitectura de datos, tanto como para el acceso como el almacenamiento de los datos. La calificación de buenas para BMC, obedece a que esta solución es técnicamente aceptada, ya que propone todos los diferentes servicios con los que contaría la infraestructura para poder tanto acceder como almacenar los datos. Vuelvo y reitero, las soluciones están siempre basadas en lo que se denomina AWS, entonces digamos, lo conveniente que hace cada uno de los proponentes es disponibilizar ciertas herramientas que ofrece AMAZON WEB y NW Services para todo el almacenamiento y la gestión de los datos. Entonces lo hemos manifestado anteriormente, tanto la BOLSA, como el CONSORCIO, manifestaron que van a contratar esos servicios con AMAZON y disponibilizarán todas las herramientas para ello. Entonces consideramos que la Bolsa propuso los servicios adecuados, sin sobrepasar algo solicitado en el requisito, entonces la calificación para la BOLSA fue de buena y para el CONSORCIO de excelente”
Análisis:
Igual que en punto anterior, la calificación como “Buena” otorgada a BMC obedece a que la solución propuesta es técnicamente aceptable o adecuada, ya que incluye las facilidades para el acceso y almacenamiento de datos y hace una descripción de los componentes de base de datos y sus relaciones. Por tanto, no está en duda que la arquitectura de datos propuesta es útil y a propósito para el servicio que debe prestar el gestor del mercado de gas natural.
La Bolsa recurre porque no se le calificó en el nivel de excelente, es decir, que sobresale por sus óptimas cualidades. La Comisión no encuentra y el recurrente no aclara, ni prueba, cuáles son esas cualidades que lo haría merecer el nivel de excelente en la evaluación de la arquitectura de datos. En sentido contrario, el asesor Marcos Téllez en su testimonio sobre los criterios de evaluación de este requisito afirma “La calificación de buenas para BMC, obedece a que esta solución es técnicamente aceptada, ya que propone todos los diferentes servicios con los que contaría la infraestructura para poder tanto acceder como almacenar los datos” y termina diciendo “Entonces consideramos que la Bolsa propuso los servicios adecuados, sin sobrepasar algo solicitado en el requisito, entonces la calificación para la Bolsa fue de buena.”
Se reitera que no se trata de cumplir el requisito para ser merecedor del puntaje más alto, sino de acreditar alguna cualidad técnica, evidenciada en el documento técnico o en la demostración, que lo haga objetivamente sobresaliente para que la propuesta se ubique en el nivel de “Excelente”.
Por lo expuesto, la Comisión ratificará el puntaje asignado a BMC en el componente de diseño de software.
Criterio de la Tabla 3. Numeral 1.4. Arquitectura de seguridad.
Descripción
Requisitos para garantizar la seguridad del sistema, el cual deberá incluir un perímetro de seguridad electrónica claramente definido dentro del cual residirán todos los componentes asociados.
Se implementará un esquema para controlar el acceso del usuario al sistema (como mínimo ID más contraseña).
Evaluación e la BMC:
El puntaje máximo para este aspecto es de 4 puntos y el comité evaluador le asignó 3 puntos a la propuesta de BMC, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Se garantiza la seguridad a través de una VPC (Virtual Private Cloud) con características:
- AWS Grupos de Seguridad para instancias
- AWS ACLs como firewall a nivel de subred.
-WAF Similar a un firewall virtual.
-No se evidencia una definición clara sobre los perímetros de seguridad
El recurso de BMC
La Bolsa argumenta que durante la demostración describió los componentes de seguridad perimetral y de las diferentes capas que comprende la arquitectura de infraestructura y software. También que en la demostración describió los servicios de carácter perimetral con los que contaría la plataforma para protección ante ataques web y explicó sobre el cifrado en tránsito y en reposo, los mecanismos que son utilizados en cada capa de la arquitectura tanto perimetral como interna y los servicios que comprende. Señala además que se cuenta con un esquema robusto de procesos, los cuales fueron explicados en la presentación.
Concluye en sus argumentaciones que de esta manera se demuestra que la Bolsa cumple con el requisito de la Tabla 3 – Numeral 1.4, por tanto, solicita que se califique a la Bolsa con un puntaje adicional para obtener el máximo de 4.
Pruebas
Documentales:
La Bolsa mercantil se remite a los folios 16 y 18, Tabla 1 “requerimientos tecnológicos y mecanismos utilizados del sobre 2 y en la Gráfica 5 del Anexo 1, que contiene la dispositiva “Requerimientos de infraestructura”. También pide remitirse a las Gráficas 6 y 7 del Anexo 1.
Testimonio de Marco Téllez:
Preguntado por la Comisión: Se solicita al testigo técnico que explique las consideraciones para evaluar como bueno este requisito en la propuesta de la BMC y no como excelente,
Respondió: Nosotros revisamos la propuesta de la arquitectura técnica propuesta por la Bolsa y manifestaron que había una arquitectura con parámetros definidos de seguridad, incluyendo todos los perímetros de seguridad electrónica que se requieren, mostraron cual sería dentro de su arquitectura propuesta tanto los mecanismos a nivel de equipamiento como al nivel de sistema y del software, utilizarían para una arquitectura segura, no hubo algo excepcional que permitiese calificar como excelente, apenas cumplía con lo ampliamente solicitado por lo menos en establecer una arquitectura segura con un perímetro claramente identificado como seguridad electrónica, para garantizar tanto los accesos de los usuarios fueran confiables y seguros como para evitar posibles intromisiones no seguras al sistema. Entonces la arquitectura propuesta como tal se seguridad nos parecía la conveniente y la aceptable sin haber nada excepcional, por eso se califica como buena.”
Análisis
Nos encontramos con un análisis similar al de los dos puntos anteriores. La Comisión evaluó como buena la propuesta de la Bolsa en este aspecto, lo cual obedece a que la solución propuesta es técnicamente aceptable o adecuada ya que incluye los requisitos para garantizar la seguridad del sistema, incluyendo un perímetro de seguridad electrónica claramente definido, dentro del cual residirán todos los componentes asociados, pero cómo lo señala el asesor Marcos Téllez, no hubo algo excepcional que permitiese calificarla como excelente.
Analizado el recurso, no encuentra la Comisión cuáles son esas cualidades que lo haría merecer el nivel de “Excelente en la evaluación de la arquitectura de seguridad, por tanto, ratificará el puntaje otorgado”.
En este criterio, como en los anteriores la Bolsa manifiesta que cumple con el requisito de la Tabla 3 – Numeral 1.4, por tanto, solicita que se califique a la Bolsa con un puntaje adicional para obtener el máximo de 4. Esta argumentación no es coherente con la forma de evaluación que establece a Resolución CREG 055 de 2019, la cual dispone tres niveles del criterio: Excelente, bueno, regular y malo.
Por tanto, no encuentra la Comisión motivos para modificar la evaluación de este criterio, por lo que se ratificará.
Criterio de la Tabla 3. Numeral 1.5. Administración del Sistema.
Descripción
Descripción de las facilidades para la gestión y monitoreo de los recursos del sistema. Facilidades para el registro de eventos del sistema y facilidades para auditoría del sistema.
Evaluación de la BMC:
El puntaje máximo para este aspecto es de 4 puntos y el comité evaluador le asignó 3 puntos a la propuesta de BMC, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
'Los servicios de administración serán provistos por AWS
-Implementación de credenciales de usuario: usuario + contraseña, empleando cifrado a través de la capa de transporte, no se especifica profundidad de bits.
El recurso de BMC:
La Bolsa alega que durante la demostración del Componente Tecnológico describió los servicios y los mecanismos para a administración del sistema, así como lo mecanismo para la gestión y monitoreo de los recursos del sistema, facilidades para el registro de eventos y auditoría. Señala que estos mecanismos fueron expuestos en detalle en la demostración. Concluyen que cumplen con el requisito de la Tabla 3 -Numeral 1.5 y, en consecuencia, solicitan la asignación de un puntaje de 4.
Pruebas
Señalan como evidencia las Gráficas 9 y 10 del Anexo 1.
Testimonio técnico de Marcos Téllez:
Preguntado por la Comisión: En relación con el requisito 1.5 de la Tabla 3 Administración del sistema. En el informe se describe la implementación de credenciales de usuario y se señala para los dos sistemas que "no se especifica profundidad de bits". Explique la significancia de esta afirmación y ¿por qué se otorga a BMC 3 puntos y a CMX 4 puntos?:
“Este requisito está orientado a la capacidad que tiene la plataforma para ser administrada y en cuanto a los controles que se pueden tener para los usuarios al sistema. Los dos proponentes incluyeron esas facilidades, en su documento técnico hacen las descripciones de lo que sería fácil para controlar el acceso a los usuarios y la definición de los diferentes perfiles de usuario, en particular la Bolsa es técnicamente aceptable ya que implementar un esquema para controlar el acceso basado en la identificación del usuario y la contraseña, mientras que el Consorcio presentó unos servicios de administración un poco más detallado, hacían posible en su documento evidenciar de que habría facilidades o mecanismos para monitorear esos servicios, todos los servicios que se realizaran dentro de la plataforma podrían ser monitoreados, esto evidencia que hay una mejor orientación, hacia lo que es la gestión de la información, obviamente esto facilita todo el proceso de control y gestión y con un mayor logro de desempeño global de la plataforma. Es por tal razón que al Consorcio se le asigna una puntuación de excelente.
Análisis
Una vez más, nos encontramos frente a la situación plateada en los numerales precedentes, en tanto que la Comisión evaluó la propuesta en el nivel de “Bueno”, en razón a que técnicamente aceptable o adecuada, ya que se implementará un esquema para controlar el acceso del usuario al sistema basado en ID más contraseña.
Analizado el recurso, no encuentra la Comisión cualidades que lo haría merecer el nivel de excelente en la evaluación de la administración del sistema, por tanto, ratificará el puntaje otorgado.
Criterio de la Tabla 3. Numeral 2.1 Capacidad del sistema.
Descripción
Requisito relacionado con la capacidad que tendría el sistema conforme a un número de transacciones por día o volumen total de transacciones manejadas.
Evaluación de BMC y de CMX
El puntaje máximo para este aspecto es de 7 puntos y el comité evaluador le asignó 5 puntos a la propuesta de BMC y 5 puntos a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador, sobre las dos propuestas:
No se establece explícitamente el cumplimiento de requerimientos de procesamiento, memoria y uso de red.
-Se especifican herramientas de AWS para monitoreo, despliegue automático de recursos, gestión de tráfico entrante y saliente y uso de red por demanda.
El recurso de la BMC
La Bolsa invoca que durante la demostración describió los servicios y mecanismos para la capacidad del sistema y mencionó los servicios de auto escalamiento, alta disponibilidad, alto desempeño en las diferentes capas de la infraestructura y sostiene que los mecanismos satisfacen los requerimientos previstos en la normatividad e incorporan capacidades superiores. La Bolsa solicita que se le asignen 2 puntos adicionales para alcanzar 7 puntos y lo fundamenta en que se demuestra que cumple el requisito de la Tabla 3 – Numeral 2.1.
El recurso de CMX
Se solicita corregir el puntaje dado a CMX en cuanto al requisito previsto en el numeral 2.1. (capacidad del sistema) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.MX argumenta que realizó demostración de cómo configurar reglas para monitorear los requerimientos de procesamiento, memoria y uso de red como umbrales establecidos en la Resolución CREG 076 de 2019. En este sentido, las observaciones del asesor frente a este requisito resultarían contradictorias con las afirmaciones relacionadas con la Administración de Sistema, en las cuales se confirme que, en efecto, sí se cumplen estos requerimientos. De acuerdo con lo anterior, la calificación tendría que ser ajustada. El consorcio pide que se corrija el puntaje y se otorgue el máximo puntaje.
Pruebas
Documental
La bolsa solicita tener en cuenta lo consignado en el último párrafo del folio 17 y folio 18 Tabla 1 “Requerimientos Tecnológicos y Mecanismos Utilizados”, fila “implementación configuración alto desempeño”
Testimonio técnico de Marco Téllez:
Preguntado por la Comisión. ¿EL Consorcio CMX en la demostración describió cómo configurar reglas para monitorear los requerimientos de procesamiento, memoria y uso de red? En caso afirmativo, explique la afirmación de que "No se establece explícitamente el cumplimiento de requerimientos de procesamiento, memoria y uso de red".
Respondió: Sí. Digamos que lo que se requiere con este requisito es mirar cual sería la capacidad que tendría el sistema para manejar los volúmenes de transacción que el sistema requiere, aunque obviamente no había un parámetro específico para determinar cuánto era el volumen de información que se iba a manejar ni que se estableciera unos tiempos de respuesta de cuales eran esos criterios, si hubiese sido conveniente que nos manifestaran o mostraran cual sería el volumen de transacción manejada y que se entendiera que abrían un amplio desempeño en el sistema para manejar esa información, no hubo una cuantificación, digámoslo así, en cuanto a los parámetros mínimos que se pudieran manejar, solo se manifestaba que se iban a cumplir con esos parámetros, pero no hubo una cuantificación de los mismos. Normalmente, sobre estos temas de capacidad de desempeño y disponibilidad es conveniente establecer parámetros medibles, aunque fueran teóricos en principio, podrían ser compromisos que los proponentes con este tipo de sistemas que pudiesen cumplir. Entonces es ahí, que, aunque existiera el compromiso no había una forma de evidenciar o de cuantificar, mediante una medición de un índice de un requerimiento de desempeño, por parte del Consorcio, entonces fue así como que se estableció que la calificación debería ser de buena.
Análisis
La Comisión evaluó el cumplimiento del requisito en el nivel de “Bueno” decir útil y a propósito para algo. La calificación como Buena otorgada a la Bolsa obedece a que la solución propuesta es técnicamente aceptable o adecuada. Los evaluadores aceptan la manifestación de que la solución tecnológica cuenta con recursos suficientes para atender todos los servicios a ser prestados por el gestor del mercado. Sin embargo, esto no se encuentra cuantificado y el criterio no definió parámetros mínimos de capacidad, razón por la cual se califica como adecuada.
Los dos recurrentes fundamentan sus solicitudes de asignación de dos puntos adicionales, en el argumento de que lo que proponen en este ítem cumple los requisitos previstos en el numeral 2.1.
La Bolsa sostiene que los mecanismos satisfacen los requerimientos previstos en la normatividad e incorporan capacidades superiores. A este respecto, se observa que la Bolsa no específica cuáles son esas capacidades superiores, y por el contrario.
En relación con CMX, el testigo técnico señala que no se establecieron parámetros medibles, aunque fueran teóricos en principio, por lo cual no se pudo evidenciar o cuantificar la capacidad del sistema, de donde resulta ausencia de elementos que permitan evaluar el criterio en el nivel de “Excelente”.
También frente a este requisito señalamos que no se trata de una evaluación de cumple o no cumple, en cuyo caso habría sólo dos puntajes a asignar, sino de una valoración en cuatro niveles, correspondiendo el máximo a la propuesta presenta condiciones óptimas o sobresalientes, lo cual debe estar evidenciado y descrito de tal manera que se pueda controlar su objetividad.
Analizados los recursos, no encuentra la Comisión cualidades que lo harían merecer el nivel de excelente en la evaluación de la administración del sistema, por tanto, ratificará el puntaje otorgado a las dos participantes.
Criterio de la Tabla 3. Numeral 2.3 Disponibilidad del sistema.
Descripción
El sistema garantizará una disponibilidad mayor al 99%, se deberá proponer un mecanismo de verificación de esta disponibilidad
Evaluación de CMX
El puntaje máximo para este aspecto es de 7 puntos y el comité evaluador le asignó 5 puntos a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Se garantiza el nivel de disponibilidad requerido mediante los servicios AWS
Se plantean 2 zonas de disponibilidad, respaldadas con 5 centros de datos en cada una.
Recuro de CMX
Se solicita corregir el puntaje dado a CMX en cuanto al requisito previsto en el numeral 2.3 (disponibilidad del sistema) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Argumenta la recurrente que la arquitectura de disponibilidad y desempeño planteada garantiza la disponibilidad del sistema mayor al 99%. Tal como lo manifiesta la observación de HART. Tanto en el documento técnico como en la demostración de hace explícita referencia que la verificación se hace a través de las herramientas de Administración System Manager y Cloud Watch.
Alega que no se entiende por qué a pesar de que el mismo asesor señala como cumplido el requerimiento, la calificación no resulta acorde. En este sentido, en la medida que se cumple con lo establecido en la regulación, el puntaje debe ser corregido.
Pruebas
Testimonio técnico de Marco Téllez.
Preguntado por la Comisión: “El numeral dos tres, habla de disponibilidad del sistema de la tabla tres, explique por qué en el informe no recomendó el máximo puntaje para CMX en relación con la disponibilidad de los sistemas, si afirma que se garantiza el nivel de disponibilidad requerido mediante los servicios AWS.”
Respondió: “Sí, como lo decía antes, siempre es conveniente establecer unos parámetros y algunos índices que sean cumplibles y medibles en particular en el criterio de disponibilidad del sistema. La CREG y nosotros, establecimos un indicie de disponibilidad del 99%, aquí si fue claro un criterio de disponibilidad del sistema y en el caso del Consorcio y de CMX, ellos manifestaron que su solución, que la arquitectura en todo el diseño que ellos habían realizado garantizaría una disponibilidad del 99% y se comprometerían a que cumplirían esa disponibilidad. Esa es una de las formas más claras de asignar una puntuación en cuanto al cumplimiento de un requisito. En el caso de CMX ellos manifestaron que cumplirían, lo cual nos parece aceptable, buena, pero en el caso de la Bolsa ellos manifestaron que sobrepasaría ese indicie de disponibilidad y garantizaban que con la arquitectura propuesta podrían cumplir con un índice de disponibilidad mayor del 99.9% no recuerdo bien el dato, pero creo que eran cinco nueves, que ellos garantizarían la disponibilidad de la información. Por eso a ellos los consideramos que pasando un requisito más allá de los que pedíamos en el criterio, pues nos parece que la calificación es excelente, pero para el Consorcio con lo manifestado en su documento técnico solo se comprometían con el 99% y es por ello por lo que le asignamos de buena de cinco puntos.”
Análisis
La calificación como BUENA otorgada a CMX obedece a que la solución propuesta es técnicamente aceptable o adecuada, en concordancia con lo solicitado por la CREG y garantiza el parámetro de disponibilidad mínima de 99%. Lo anterior se hace evidente en el DT Pag. 21.
Sin embargo, no hay razón para considerar que este criterio es sobresaliente en la propuesta del Consorcio CMX, ni el recurrente especifica ninguna cualidad excepcional o superior al nivel de cumplimiento del 99%, razón por la cual se ratificará el nivel de bueno y el puntaje que corresponde a dicho nivel.
Criterio de la Tabla 3. Numeral 3.1 Interfaz del usuario.
Descripción
La principal interacción de los usuarios y el sistema serán los despliegues, tablas, gráficos y demás elementos presentados en el sitio web.
Los despliegues se cargarán rápidamente (con tiempos de respuesta adecuados), tanto en operación normal como de alta actividad. Los despliegues tendrán una apariencia y estilo consistentes. Los botones de control, ayudas de navegación, ventanas de mensajes, ventanas emergentes y demás funciones de ventanas tendrán apariencia, función y ubicación consistente. Se implementarán ayudas de navegación entre despliegues.
Evaluación de CMX
El puntaje máximo para este aspecto es de 10 puntos y el comité evaluador le asignó 4 puntos a la propuesta de CMX, que corresponden a un nivel de “Regular” en la tabla de puntajes máximos del requisito.
- Se elabora gruía de estilo y despliegue
- Se presenta un demo sencillo para exhibición de algunas características
- Se espera consistencia en los diseños de las guías de estilo
- Responsive Design para soportar cualquier explorador de internet con soporte vigente
- Requerimientos W3C
- No se presenta analítica basada en OLAP
Recurso de CMX
Argumenta que presentó en la demostración un prototipo no funcional con cerca de 100 pantallas diferentes en donde se evidenciaba el uso de tablas, reportes, menús de navegación. El prototipo presenta a detalle las interacciones del usuario con el sistema a nivel de consulta e ingreso de información. Se estableció de manera explícita que el manual de estilo contendría los lineamientos de uso de color, tipografía, e iconografía del sistema y sus diferentes módulos. Así mismo se expuso el uso del componente CLOUD FRONT como servicio AWS que atenderá lo relacionado a desempeño del FrontEnd del sistema hacia el usuario final. Así mismo el cumplimiento de las condiciones de usabilidad establecidas por la W3C.
Alega que la calificación no es coherente con las observaciones. Asimismo, es necesario advertir que las condiciones para cumplir el requerimiento no mencionan nada sobre analítica basada en OLAP, de tal manera que no podría ser considerado como parámetro de evaluación de este requisito. En todo caso, dicho elemento fue revisado en la Arquitectura de Datos (Base de datos OLAP), Diseño de Software (Power BI) y Publicación de información (Ejemplo de visualización de un informe realizado en Power BI con información extraída de un cubo de datos). En consecuencia, el puntaje debe ser corregido.
Pruebas
Testimonio técnico de Marco Téllez.
Preguntado por la Comisión: En relación con el
numeral 3.1 de la Tabla 3 Interfaz del usuario. Explique cuál es la significancia de no presentar analítica basada en OLAP. ¿dónde está explícito o implícito este requisito? ¿cuál fue el criterio para recomendar sólo 4 puntos para la oferta de CMX?
Respondió: Sí, como parte del todo en el manejo de la información, que se van a tener en estas plataformas, obviamente uno de los criterios que nosotros establecemos, es como se evidencia al usuario, como el usuario va interactuar, con el sistema para manejar la información, obviamente con múltiples características que están relacionadas con facilidad de despliegue, uso de transboard para manejar de manera conveniente la información, ambientes basados en web, toda esta serie de capacidades que el usuario pueda utilizar para interactuar con el sistema. Una de ellas analizadas conjuntamente con la CREG era la posibilidad de ser analítica, en el significado de poder gestionar los datos para sacar un mayor valor a la simple presentación, en esa analítica quedaba de alguna forma implícito que el uso de tecnología OLAP, era lo que respecta actualmente y lo que maneja los soportes para el sistema de información son convenientes y adecuadas, en particular para la calificación otorgada regular para el Consorcio, digamos que lo que fue en la presentación y en el uso de las herramientas que ellos presentaban en la presentación fue bastante simple, sencilla sim grandes pretensiones, obviamente es importante mencionar que para el Consorcio era como trasmitir como era el diseño, digamos le era un poco más difícil frente a la Bolsa ya que ellos ya tienen desarrollado la plataforma y era evidentemente más fácil de demostrar de que la interfaz de usuario cumplía con estas características de ser la conveniente, adecuada y amigable, para su uso, entonces claramente hay una posición desventajosa, sin embargo consideramos que el Consorcio, podría haberse esforzado algo más en presentar algunas pantallas y algunas herramientas que pudieran determinar que podríamos tener una interfaz de usuario conveniente. Entonces todavía consideraos que no era posible identificar ventajas reales, frente a lo que ellos presentaron, entonces ambas demostraciones en esto fueron muy extensas y muy claras en cuanto a lo que presentaron, se evidencia obviamente que la Bolsa tiene un amplio desarrollo en esta interfaz de usurario con todas las tecnologías que hemos conversado actualmente y era evidente que excedía los requerimientos, mientras que para el Consorcio el diseño fue demasiado simple, sin muchas pretensiones y consideramos que hubiese sido conveniente para ellos haber presentado un mayor despliegue de lo que podría ser la interfaz de usuario. Esa carencia nos lleva a que el desarrollo es apenas regular, la calificación debería ser en consecuencia regular de cuatro puntos.
Preguntado por CMX: (...) me refiero al requisito 3.1, interfaz del usuario, ¿la base analítica de OLAP en este requisito era exigible o no?
Respondió: No, era un deseable, no era mandatorio, estaba dentro de los requisitos ponderables y el proponer una analítica era lo esperado por la CREG y si se proponía una analítica en el OLAP resulta ser más conveniente.
Preguntado por CMX: ¿Ese criterio es suyo o definido por la regulación?
Respondió: No está definido por la regulación, el criterio está definido como interacción del usuario y el sistema, entre esas interacciones una deseable era analítica basada en el OLAP por eso consideramos que si lo propusiesen puntuado en alguna forma.
Preguntado por CMX: ¿Pero los proponentes nunca supieron que eso fuera lo deseable?
Respondió: Exactamente, nunca lo propusieron, nosotros no acotamos de dirigir a como cada cual podrá proponer la solución fuimos de carácter funcional, de tal forma que cada uno propusiese como solucionar los temas requeridos.
Análisis
EL Criterio se describe como una serie de requisitos y cualidades de interacción de los usuarios y el sistema y los proponentes debían demostrar como la solución propuesta cumplía estos requisitos y cualidades, por lo cual tenía la carga de hacer una presentación detallada del diseño de la interfaz, lo cual, como lo señala Hart Energy Consulting exigía un esfuerzo para evidenciar estar condiciones: despliegues, tablas, gráficos, botones de control, ayudas de navegación, ventanas de mensajes, ventanas emergentes, tiempos de cargue, consistencia, apariencia y estilos.
El asesor técnico señala que la evaluación como “Regular” otorgada a CMX se debe a que se refleja un diseño simple, y agrega en la declaración del testigo técnico que las herramientas se presentaron de manera sencilla, sin grandes pretensiones, y apura a decir que podría haberse esforzado algo más en presentar algunas pantallas y algunas herramientas que pudieran determinar que podríamos tener una interfaz de usuario conveniente. De lo expuesto, se concluye que los evaluadores no pudieron verificar plenamente la conveniencia de la interfaz propuesta, sólo que la habría.
De otro lado, se señala que una las capacidades de la interacción del usuario con el sistema es su capacidad de hacer analítica, y para ello el asesor considera que lo conveniente sería haber usado OLAP, si embargo, el asesor reconoce que no era un requisito del criterio sino algo deseable, por lo que consideramos que era una de esas características que podrían permitido valorar la propuesta en el nivel de sobresaliente, de donde, su inexistencia, a contrario sensu, no debe servir de argumento para considerarla como regular.
Descartada la posibilidad de evaluar el criterio como Regular, por no presentar la alternativa de analítica de OLAP, sólo no queda la apreciación de la simplicidad y poco esfuerzo para demostrar que la interfaz era la adecuada, pero no hay un criterio técnico específico, objetivo, para asegurar que la propuesta no es adecuada.
Por lo expuesto, se reconsidera la evaluación de este criterio, y se evalúa en el nivel de “Bueno” y se le asignará el puntaje que corresponde a este nivel.
Criterio de la Tabla 3. Numeral 3.2 Recopilación de información.
Descripción
El sistema deberá contar con las facilidades para la recopilación de información relacionada con:
1. Información transaccional del mercado primario: suministro de gas natural y contratos de transporte.
2. Información transaccional del mercado secundario: suministro de gas y contratos de transporte.
3. Información sobre negociaciones entre comercializadores y usuarios regulados.
4. Información operativa relacionada con el suministro y transporte de gas con entregas a usuarios finales.
5. Otra información que determine la regulación.
Evaluación de la BMC y CMX:
El puntaje máximo para este aspecto es de 10 puntos y el comité evaluador le asignó 7 puntos a la propuesta de BMC y 7 puntos a CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
En relación con BMC: “El SEGAS se presenta como herramienta de Gestión de Subastas y se identifica como el sistema que recopila la información relevante para su operación”
En relación con CMX: Se elabora prototipo no funcional "Sistema de Información de GN". Fase de desarrollo temprana sobre este prototipo.
-Se trata de un prototipo referencial
El recurso de BMC
La Bolsa arguye que cumple a cabalidad el requisito, en cuanto el SEGAS cuenta con las facilidades para la recopilación de la información, y además se proponen mecanismos para proveer mayores facilidades (...) Este requisito fue demostrado con suficiente claridad dentro del Componente Analítico, componente que fue dividido en cuatro secciones; registro, verificación, publicación y conservación.
Alega que se demostró como la Bolsa recopila la información, el registro se puede realizar en PC o en dispositivos móviles, se propuso un trabajo en conjunto para la implementación de mecanismos de interoperabilidad entre las plataformas de los agentes del mercado de gas natural y se presentó la forma en la que se recopila la información de los agentes.
En consecuencia, la Bolsa solicita que este aspecto sea calificado con tres puntos adicionales, en razón a que cumple el requisito exigido en el numeral 3,2, Tabla 3.
El recurso de CMX
El recurrente solicita que se corrija el puntaje dado a CMX en cuanto al requisito previsto en el numeral 3.2. (recopilación de la información) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Argumenta CMX que presentó en la demostración un prototipo no funcional con cerca de 100 pantallas diferentes en donde se evidenciaba el uso de tablas, reportes, menús de navegación. El prototipo presenta a detalle las interacciones del usuario con el sistema a nivel de consulta e ingreso de información. Recopilación de información relacionada con: 1. Información transaccional del mercado primario: suministro de gas natural y contratos de transporte. 2. Información transaccional del mercado secundario: suministro de gas y contratos de transporte. 3. Información sobre negociaciones entre comercializadores y usuarios regulados. 4. Información operativa relacionada con el suministro y transporte de gas con entregas a usuarios finales. Adicionalmente lo relacionado con infraestructura, registro de campos, puntos, tramos, resoluciones de cargos, mercados relevantes y rutas.
Invoca el recurrente que la calificación debía ser acorde a la etapa de desarrollo, ya que, para poder ser funcional, obviamente se requeriría de un desarrollo adicional que sería efectuado en el periodo de planeación, exigir esto, en una etapa temprana antes de la elección o pretender comparar el requerimiento con lo presentado por la BMC quien ya tenía una plataforma funcional al ser el actual gestor del mercado, constituiría una evaluación discriminatoria, contraria a los principios de selección objetiva, transparencia e imparcialidad, pues se estaría privilegiando indebidamente la posición de uno de los proponentes en perjuicio de los demás interesados.
Pruebas
Documentales
La Bosa solicita observar las Gráfica 12 a 18 del Anexo 1 del Recurso de BMC y el video de la aplicación SEGAS.
Testimonio técnico de Marco Téllez.
Preguntado por la Comisión: Interrogado el asesor Marco Téllez sobre ¿cuál fue el criterio para no recomendar el máximo puntaje en este requisito a ninguna de las propuestas?, contestó:
“Este prerrequisito está orientado a toda la información que estuviese recopilada tanto en las transacciones, sobre como las diferentes de operatividad, del sistema, de las funciones que debería cumplir el gestor en cuanto al suministro y transporte de gas, es decir aquel mecanismo que le permitiría al gestor recopilar toda la información que proviene de los diferentes participantes, la calificación fue otorgada buena, porque ambos presentaban estas facilidades de recopilación de información hubo evidencia de que tanto la bolsa como el consorcio, iban a tener las herramientas y los mecanismos para recopilar la información. No hubo nada adicional por parte de ellos, apenas cumplían con esta facilidad, digamos que el sistema contara con esta facilidad, entonces no se considera nada importante el haber presentado algo diferente, no hay ningún parámetro que pudiese decir que la recopilación pudiese ser mucho más fácil, que manifestaran que hubieran más facilidades, ambos proponentes los incluyeron, las presentaron en el documento y las evidenciaron también en la demostración, entonces esa es la razón por la cual ambas calificaciones fueron apenas aceptables.
Análisis
La calificación como BUENA otorgada a ambos proponentes obedece a que se identifica el cumplimiento del requisito para todas las soluciones y se consideran adecuadas, en concordancia con lo solicitado por la CREG, pues se presentan los componentes que permitirían recopilar la información completa.
Analizados los recursos, no encuentra la Comisión el sustento para reconsiderar la evaluación, en tanto que los mismos se centran a que las propuestas cumplen el requisito del numeral 3.2, sin señalar cual es la condición o cualidad excepcional o sobresaliente que permita calificarlas en el nivel de “Excelente”.
Al respecto, el testigo técnico indicó que “No hubo nada adicional por parte de ellos, apenas cumplían con esta facilidad, digamos que el sistema contara con esta facilidad, entonces no se considera nada importante el haber presentado algo diferente, no hay ningún parámetro que pudiese decir que la recopilación pudiese ser mucho más fácil, que manifestaran que hubiera más facilidades…”
En consecuencia, se ratificará la evaluación de Bueno para ambas propuestas y el puntaje otorgado.
Criterio de la Tabla 3. Numeral 3.3. Gestión del mecanismo de subastas
Descripción
El gestor del mercado deberá implementar en su sistema mecanismos para facilitar, operar y mantener el sistema de subastas, las cuales estarán relacionadas con:
1. Comercialización de gas natural en el mercado primario
2. Negociación de la capacidad de transporte de gas natural (Proceso úselo o véndalo de largo plazo)
3. Negociación de suministro y de capacidad de transporte de gas natural (proceso úselo o véndalo de corto plazo)
4. Contratos con interrupciones y firmes bimestrales en el mercado mayorista de gas natural.
La plataforma tecnológica que soporte el sistema de subastas deberá cumplir con requisitos específicos de facilidad de acceso, autenticación de usuarios, cumplimiento de legislación vigente, garantía de confidencialidad, capacidad de respaldo de la información y registro de procesos.
Evaluación de CMX
El puntaje máximo para este aspecto es de 10 puntos y el comité evaluador le asignó 7 puntos a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Se identifican capacidades dentro del sistema TRANSAGAS actualmente implementado para gestión de mercado secundario:
- Control de acceso mediante credenciales de usuario
-Se plantean componentes de confidencialidad a nivel de arquitectura
-No se evidencia método de validación de garantía de confidencialidad
-Mediante las herramientas expuestas a nivel de arquitectura se enuncia la capacidad de respaldo de la información y el registro de eventos y actividades.
Recurso de CMX
El recurrente pide que se corrija el puntaje dado a CMX en cuanto al requisito previsto en el numeral 3.3. (gestión del mecanismo de subastas) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Sostiene el recurrente que cumplió a cabalidad el requisito y argumenta que se presentó en la demostración un prototipo no funcional con cerca de 100 pantallas diferentes en donde se evidenciaba el uso de tablas, reportes, menús de navegación. El prototipo presenta a detalle las interacciones del usuario con el sistema a nivel de consulta e ingreso de información y mecanismos relacionados con: 1. Comercialización de gas natural en el mercado primario 2. Negociación de la capacidad de transporte de gas natural (Proceso úselo o véndalo de largo plazo) 3. Negociación de suministro y de capacidad de transporte de gas natural (proceso úselo o véndalo de corto plazo) 4. Contratos con interrupciones y firmes bimestrales en el mercado mayorista de gas natural.
Sustenta que el único reparo presentado por el asesor es que, en su criterio, no se evidenciaba ningún método de validación de garantía de confidencialidad; no obstante, esta observación resulta contradictoria con lo expuesto anteriormente por el mismo asesor pues desconoce la evaluación del requisito de Arquitectura de seguridad en el cual se hace explícita referencia a los mecanismos a implementar para salvaguardar la confidencialidad de la información que se registre y almacene en el sistema. Asimismo, no se tiene en cuentan los cuatro niveles de seguridad descritos de manera detallada en el documento técnico. Como consecuencia, en la medida que no le asiste la razón al asesor en la observación, el requisito debe entenderse cumplido a cabalidad y la calificación debe ser corregida.
Pruebas
Testimonio técnico de Marco Téllez.
Preguntado por la Comisión: En relación con el numeral 3.3 de la Tabla 3 Gestión de mecanismos de subastas: En el informe se manifiesta, en relación con el sistema de CMX, que "No se evidencia método de validación de garantía de confidencialidad. Explique la significancia de esta limitación y el criterio para recomendar una calificación de 7 puntos en este requisito.
Respondió: Uno de los requisitos fundamentales o digamos de las funciones y responsabilidades que el gestor del mercado va a tener todo el mecanismo de la gestión de las subastas, la función y la responsabilidad que se pedía, el criterio mejor que se establecía, obviamente garantizar o implementar mecanismos para que la gestión de esta subasta permitiera facilitar y hacer una operación y mantenimiento del sistema de una forma conveniente. La limitación en particular que tuvo el Consorcio en cuanto al mecanismo de subastas es que no había evidencia ni en el documento ni en la demostración que permitiese validar la especialidad, la confidencialidad de la información que se iba a utilizar en la facilidad de la gestión de subastas, no se consideraba que era un aspecto demasiado relevante, aunque obviamente se presentó la facilidad para gestionar subastas, no se pudo validar el tema del manejo de la confidencialidad de la información, al igual la información fue muy limitada en cuanto al mantenimiento del sistema, fue una característica de ambos proponentes y dentro de los aspectos solicitados de operación y mantenimiento a subastas, se notó que en particular con el mantenimiento, había información muy limitada de las capacidades de los servicios que ellos podrían proponer y mantener el sistema de gestión de subastas, entonces calificamos como buenas ambas ofertas y no había ningún tema excepcional. Es importante anotar que, ambos proponentes tenían limitaciones de espacio, por decirlo de alguna forma, en cuanto al documento técnico que se les dio un tamaño de la propuesta que debería ser limitado a treinta páginas, si no estoy mal, sin embargo algunas de esas características podrían digamos, superadas en las demostraciones, es por tal razón que se les pidió las demostraciones, algunos de ellos demostraron en la demostración más de lo que en el documento técnico presentaba, entonces… de ahí surge las calificaciones como buenas y excelentes de parte de ellos. En particular, reitero un cumplimiento aceptable con unas limitaciones no muy relevantes que no ameritaba una calificación como regular sino como buenas y aceptable.
Análisis
La evaluación en el nivel “Buena” otorgada a CMX obedece a que se identifica el cumplimiento del requisito para todas las soluciones y se consideran adecuadas, ya que cuentan con las facilidades para la gestión del registro de participantes del mercado y registro de contratos.
En la valoración de este criterio, la firma Hart Energy Consulting hace entre otras las siguientes observaciones: que se plantean componentes de confidencialidad a nivel de arquitectura, y que no se evidencia método de validación de garantía de confidencialidad.
El recurrente se basa en la anotación resaltada para argumentar la aparente contradicción entre las dos anotaciones, sin embargo, se debe observar, que la evaluación se hace en el nivel de “Buena” y que el no haber evidenciado el método de validación de la garantía de confidencialidad, no es la razón para que no se haya considerado como excelente, sino la ausencia de elementos que pudieran ser considerados como sobresalientes. Por el contrario, el testigo técnico revela que observaron otras limitaciones en las dos propuestas como la información sobre el mantenimiento del sistema.
Por lo expuesto, no existiendo razones técnicas objetivas que permitan evaluar este criterio en el nivel de “Excelente” se ratificará la valoración en el nivel de “Bueno” y el puntaje que corresponde a este nivel.
Criterio de la Tabla 3. Numeral 3.4. Gestión de registro.
Descripción
Facilidades para la gestión del registro de participantes del mercado y registro de contratos. Esto incluirá mecanismos para la habilitación y actualización de los participantes
Evaluación de CMX
El puntaje máximo para este aspecto es de 10 puntos y el comité evaluador le asignó 7 puntos a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Se entiende que el registro de participantes es responsabilidad de los actores participantes del mercado y de los entes de vigilancia y control, sin embargo, los mecanismos de habilitación corresponden a procesos manuales.
Recurso de CMX
CMX solicita que se corrija el puntaje dado a CMX en cuanto al requisito previsto en el numeral 3.4. (gestión de registro) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
CMX fundamenta su recurso en que presentó en la demostración un prototipo no funcional con cerca de 100 pantallas diferentes en donde se evidenciaba el uso de tablas, reportes, menús de navegación. El prototipo presenta a detalle las interacciones del usuario con el sistema a nivel de consulta e ingreso de información y mecanismos relacionados con: registro de participantes del mercado y registro de contratos. Incluidos los mecanismos para la habilitación y actualización de los participantes.
Señala la recurrente que la calificación no resulta acorde con los parámetros de evaluación. En este caso, no se entiende a que se refiere el asesor cuando señala que los mecanismos de habilitación corresponden a “procesos manuales”. Tal como se explica en el cuadro, para el cumplimiento de este requerimiento, en la demostración se presentó un prototipo no funcional con cerca de 100 pantallas diferentes en donde se evidenciaba el uso de tablas, reportes, menús de navegación, etc. Consecuentemente, el prototipo presentó a detalle las interacciones del usuario con el sistema a nivel de consulta e ingreso de información y mecanismos relacionados con el registro de participantes del mercado y el registro de contratos, incluidos los mecanismos para la habilitación y actualización de los participantes. En este sentido, el puntaje otorgado para este requisito debe ser corregido ya que la propuesta de CMX cumple a cabalidad con lo establecido en la regulación.
Pruebas
Testimonio Técnico de Marco Téllez
Preguntado por la Comisión. En el numeral tres cuatro de la tabla tres, gestión de registro ¿qué mecanismos de habilitación mostro el prototipo no funcional de CMX y cuáles fueron sus características y cuál fue el criterio para no recomendar el máximo puntaje?
Este requisito estaba orientado a que hubiera una forma de gestionar los registros tanto por los participantes del mercado como para el registro de los contratos, incluyendo mecanismos para la habilitación y actualización de los participantes, ambos fueron calificados como buena, ellos de alguna forma, ambos proponentes identificaron claramente que la solución propuesta era adecuada, continuada, para poder gestionar el registro de los participantes y el registro de contratos y también incluiría el mecanismo para habilitación y actualización de la información de ellos. Entonces no había un mecanismo más allá de lo que podría ser la simple verificación de que ese registro tanto de participante como de los contratos fueran el conveniente y solamente se limitaron a garantizar de que existirían esas facilidades para ese registro. No hubo una calificación más allá de nuestro criterio, que pudiera determina que estoy fuera excelente.
Preguntado por CMX: Me voy a referir al mismo anexo tres punto cuatro, gestión de registro, al comentario donde HART usted señala que se hicieron unos procesos manuales, exactamente ¿a qué se refiere usted con esa aclaración de que los mecanismos de habilitación corresponden a esos manuales, a la propuesta de CMX?
Respondió: Esta dicho, no había unos mecanismos de registro sino de habilitación, nosotros hablábamos de unos mecanismos de registro, entonces los mecanismos que ustedes proponían para la habilitación corresponde, como dice nuestro comentario se asignan direcciones IP donde esto corresponda, entonces si la pregunta se a que se refiere con habilitación manual, pues entendería que para ustedes eran procesos de definición de unos parámetros incluyendo direcciones IP y que estos se asignaría en forma manual, no automática, que consideramos es adecuada
Preguntado por CMX: Pero si todos los procesos de CMX eran automatizados, usted me quiere mostrar en que parte de la propuesta de CMX se hablaba de que eran procesos manuales.
Respondió: No se estaba pidiendo que fueran procesos manuales, la solicitud eran mecanismos para esa participación de los participantes, en el caso de la Bolsa ellos son automáticos, en este momento no lo sé porque en el proceso se evidenció que era manual en el caso de ustedes en el caso de habilitación, esto no hace que sea determinante o excluyente, existe mecanismo de habilitación que es lo importante.
Preguntado por CMX: Por eso estoy diciendo, ¿de dónde saca que había una propuesta manual por parte de CMX?
Respondió: En la revisión de los documentos técnicos y en las demostraciones se determinó que lo mecanismos de habilitación eran manuales, ahora específicamente en que punto tendría que buscarlo para ser especifico donde fue dicho eso.
Preguntado: Por favor, podría buscarlo
Director Ejecutivo: No entiendo la relevancia de la pregunta.
Preguntado por CMX: En la calificación tuvo en cuenta, determinó eso para decir que eran mecanismos manuales, entonces queremos saber ¿de dónde lo saco? Y si es relevante porque nosotros no presentamos procesos manuales, tal vez sea una confusión entre el formato y la facilidad que son dos cosas distintas y así como ha corregido errores en contra de CMX puede hacerlo a favor de CMX.
Respondió: Inevitablemente no puedo afirmar exclusivamente si esto fuente de esta afirmación es exclusivamente del documento técnico o de las demostraciones, estoy tratando de conseguir un soporte frente a esto y es exclusivamente frente al documento técnico o fue algo que se hizo en las demostraciones, permítame unos minutos.
Revisando el documento técnico no hay una anotación específica sobre el proceso manual de la habilitación de los participantes, que debería estar en la sección tres cuatro, gestión de registro, me queda difícil saber si la fuente de esto como no fue el documento técnico seguramente resulto de las demostraciones y se pidió una aclaración o un comentario respecto a ese proceso de habilitación, ¿no se si eso es suficiente para usted doctor Angel?
Preguntado: Entiendo de su respuesta que no sabe la fuente y que no está en el soporte técnico y que no se acuerda si fue en la audiencia.
Respondió: Estoy diciendo que pudo ser de las demostraciones.
Preguntado: Pero a usted no le consta, porque no se acuerda.
Respondió: Mi memoria no da para tanto, si fue registrado esa anotación y con ese hecho, se tomó nota y se incluyó en nuestros comentarios.
Análisis
La calificación otorgada como Buena para CMX obedece a que se identifica el cumplimiento del requisito para todas las soluciones y se consideran adecuadas, ya que cuentan con las facilidades para la gestión del registro de participantes del mercado y registro de contratos. Esto incluirá mecanismos para la habilitación y actualización de los participantes.
El testigo técnico ratifica que ambos proponentes identificaron claramente que la solución propuesta era adecuada, continuada, para poder gestionar el registro de los participantes y el registro de contratos y también incluiría el mecanismo para habilitación y actualización de la información de ellos. Y agrega que se limitaron a garantizar de que existirían esas facilidades para ese registro.
El recurrente fundamentó su recurso en la no veracidad de la existencia de procesos manuales, y en el interrogatorio al testigo técnico el Consorcio CMX fue insistente en solicitar al testigo que revelara el sustento de su anotación, incluso ante el llamado del Director Ejecutivo de la CREG para señalar que la pregunta no era relevante, Y en efecto, no lo era, porque como lo afirmó el testigo “en el proceso se evidenció que era manual en el caso de ustedes en el caso de habilitación, esto no hace que sea determinante o excluyente, existe mecanismo de habilitación que es lo importante.
Como puede observarse, más allá de que el proceso de habilitación fuese automático o Manuel, lo importante era la existencia del proceso de habilitación, y en todo caso este era apenas un elemento de la gestión de registro, la que en general fue calificada en el nivel de “Buena”
Lo que tendría que demostrar el recurrente son los aspectos que permitieran evaluar la gestión de registro como óptima, es decir con aspectos sobresalientes, sobre lo cual nada se dice en el recurso. El recurrente considera que el cumplimiento de las condiciones que se desprenden de la descripción del criterio amerita que se le valore como “Excelente”, cuando tal situación sólo amerita la valoración de “Bueno”, como lo hemos expuesto de forma reiterada
Criterio de la Tabla 3. Numeral 3.5. Verificación de la información
Descripción
El sistema contará con mecanismos para la verificación de la siguiente información en términos de completitud, consistencia y oportunidad:
1. Transaccional declarada por los participantes del mercado mayorista
2. Información operativa declarada por las partes que intervienen en los contratos.
En este proceso de verificación deberá existir las facilidades para la notificación a las partes involucradas y a los organismos de inspección, vigilancia y control
Evaluación de CMX
El puntaje máximo para este aspecto es de 10 puntos y el comité evaluador le asignó 10 puntos a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Se presenta la verificación de la consistencia y correspondencia de la información dentro del mecanismo de subastas para proceder con la notificación.
El Comité Evaluador modifica en este punto el criterio de Hart Energy y evalúa el criterio en el nivel de Excelente, motivado en que se evidencia propuesta para mejorar el proceso de verificación de información mediante codificación de datos.
Recurso de CMX
El recurrente solicita que se corrija el puntaje dado a CMX en cuanto al requisito previsto en el numeral 3.5. (verificación de la información) de la
Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Expone el recurrente que cumplió a cabalidad el requisito. Manifiesta que en la propuesta se presenta un proceso maduro de gestión de información y se ejemplifican los mecanismos mediante los cuales se implementarán las verificaciones de completitud, consistencia y oportunidad.
Considera que la calificación no resulta coherente con las observaciones, toda vez que, a pesar de que el mismo asesor acepta que los requerimientos se cumplen a cabalidad, el puntaje es inferior. En este sentido, dado que se cumple con lo previsto en la regulación, la calificación tendría que ser ajustada.
Pruebas
Testimonio técnico de Marco Téllez
Preguntado por la Comisión. En cuanto al numeral tres cuatro de la tabla tres, verificación de la información, en la evaluación de requisito de la verificación de la información se afirma en el informe que “en la propuesta se hace explicito el mecanismo de la verificación de la información transaccional y operativa para su posterior notificación”, Se pregunta ¿porque no se recomendó el máximo puntaje para este requisito a la oferta de CMX?
Respondió: El requerimiento era un poco más amplio en cuando a la verificación tanto en la completitud, la consistencia y la oportunidad de la información tanto transaccional, como operativa. Había una facilidades de notificación de todos los participantes en la gestión, entonces en particular el proceso de verificación para las notificaciones, es una práctica que propuso el Consorcio bastante conveniente, sin embargo no era suficiente para que esto garantizara una excepcionalidad en cuanto al cumplimiento, el cumplimento era apenas válido y aceptable para que se hubiese un entendimiento claro del proceso de verificación, no consideramos que la calificación o este punto específico ameritara una excepcionalidad a la propuesta del Consorcio.
Análisis
La calificación obtenida como “Buena” otorgada a CMX obedece a un entendimiento del proceso de verificación para la posterior notificación. El procedimiento podría llevarse a cabo de forma correcta según se describe en su Documento Técnico, Páginas 23 a 28. Adicionalmente, en las demostraciones se hicieron evidentes los mecanismos de verificación.
Lo que no se observan son las condiciones que permitan considerar una excepcionalidad en este aspecto. Al respecto, el testigo técnico señala que “sin embargo no era suficiente para que esto garantizara una excepcionalidad en cuanto al cumplimiento, el cumplimento era apenas válido y aceptable para que se hubiese un entendimiento claro del proceso de verificación”
Por lo expuesto, se ratificará la evaluación en el nivel de Bueno y el puntaje que le corresponde a este nivel.
Criterio de la Tabla 3. Numeral 3.6. Publicación de la información.
Descripción
El sistema contará con las facilidades para la publicación de información. Esta funcionalidad permitirá la divulgación periódica en el BEC de la información agregada del mercado primario, del mercado secundario y de las negociaciones entre comercializadores y usuarios no regulados.
Evaluación de CMX
El puntaje máximo para este aspecto es de 10 puntos y el comité evaluador le asignó 7 puntos a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
El BEC, es la herramienta para publicación de información.
-Se especifica que información disponible es sensible al tipo de usuario identificado.
-La información presentada en el BEC corresponde a lo solicitado en el mercado dentro de sus diferentes actores y actividades
Recurso de CMX
El Consorcio CMX solicita que se corrija el puntaje dado a CMX en cuanto al requisito previsto en el numeral 3.6. (publicación de la información) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Alega que se presenta el sitio web www.concentra.co como referencia para la publicación de informes diarios, mensuales y anuales. Se presenta ejemplo de informe en línea funcional del sector de Gas Natural realizado con Power BI relacionado con el comportamiento del mercado de gas con periodicidad diaria. Mismas condiciones a las expuestas por la BMC según observaciones en el informe de HART. Se otorgaron 10 puntos con una solución similar.
Considera que la calificación no resulta coherente con las observaciones, toda vez que, a pesar de que el mismo asesor acepta que los requerimientos se cumplen a cabalidad, el puntaje es inferior. En este sentido, dado que se cumple con lo previsto en la regulación, la calificación tendría que ser ajustada.
Testimonio técnico de Marco Téllez.
Preguntado por la Comisión. El numeral tres seis de la tabla tres dice, publicación de la información frente a ese requisito de los sistemas se hace una descripción del BEC ¿Cuál fue el mecanismo por el cual no se recomendó el máximo puntaje para este requisito a la oferta de CMX?
Respondió: La facilidad de la información y publicación es obviamente aquella que permita su divulgación de la información en forma periódica BEC, está gestionando. En el caso de Consorcio se da una calificación de buena ya que manifestaron y se evidencia que el sistema contaría con esas capacidades para cumplir con este requerimiento, obviamente de la facilidad de la publicación de la información, tanto de la información del mercado primario como del secundario y de los comercializadores y usuarios no regulados, entonces esto era lo que se pedía, que hubiese forma de publicar, una facilidad de publicar esa información y el Consorcio evidenció que si es posible hacer esta información de forma periódica de toda la información requerida. No hay un criterio que lo considere excepcional dada solamente a la característica de que están cumpliendo plenamente con el requisito.
Análisis
La calificación obtenida como “Buena” otorgada a CMX obedece a que el sistema contaría con las capacidades para cumplir con este requerimiento, ya que el sistema contará con las facilidades para la publicación de información periódica en el BEC de la información agregada del mercado primario, del mercado secundario y de las negociaciones entre comercializadores y usuarios no regulados.
El recurrente funda su solicitud de modificación en que la calificación no resulta coherente con las observaciones, toda vez que, a pesar de que el mismo asesor acepta que los requerimientos se cumplen a cabalidad, el puntaje es inferior. De Esta manera es evidente la pretensión del recurrente para que se evalúe el criterio en nivel de “Excelente” con el cumplimiento cabalidad, sin ningún aspecto destacado o sobresaliente.
Por lo expuesto, se ratificará la valoración de “Bueno” y el puntaje correspondiente.
Criterio de la Tabla 3. Numeral 3.7. Conservación de la información
Descripción
El sistema contará con las soluciones tecnológicas adecuadas y seguras que son requeridas para la conservación de la información recopilada por el gestor del mercado en sistemas de almacenamiento externo. Esta solución deberá contar con las capacidades de redundancia y respaldo requeridas para toda la información. Se deberá incluir facilidades tanto de copiado como de recuperación y archivo a largo plazo de la información.
Adicionalmente. Este sistema de almacenamiento de la información deberá contar con registro de eventos y cambios con el fin de hacer seguimientos para propósitos de auditoría.
Evaluación de CMX
El puntaje máximo para este aspecto es de 10 puntos y el comité evaluador le asignó 7 puntos a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Servicios AWS para almacenamiento:
-Simple Storage System S3 y de almacenamiento de largo plazo (Glacier).
-S3 para gestión del almacenamiento y definir ciclos de almacenamiento
Recurso de CMX
El Consorcio CMX solicita que se corrija el puntaje dado en cuanto al requisito previsto en el numeral 3.7. (conservación de la información) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Alega que se presentan los servicios de AWS S3 y Backup, los cuales son explicados y referenciados en el documento técnico. En cuanto a bases de datos, en Arquitectura de Datos se expuso el uso de dos bases de datos transaccionales y OLAP. Mismas condiciones a las expuestas por la BMC según observaciones en el informe de HART. Se otorgaron 10 puntos con una solución similar.
Invoca que la calificación no resulta coherente con las observaciones, toda vez que, a pesar de que el mismo asesor acepta que los requerimientos se cumplen a cabalidad, el puntaje es inferior. En este sentido, dado que se cumple con lo previsto en la regulación, la calificación tendría que ser ajustada.
Testimonio técnico de Marco Téllez
Preguntado por la Comisión. En cuanto a la conservación de la información, numeral tres siete de la tabla tres, en el informe con relación a los informes de CMX que describen los servicios AWS de almacenamiento System S3 y de almacenamiento a largo plazo RECIER S3 para el almacenamiento y definir ciclos de almacenamiento ¿Cuál fue el mecanismo por el cual no se recomendó el máximo puntaje para este requisito a la oferta de CMX?
Respondió: Sobre el criterio preguntado estamos sobre el tres punto siete sobre la conservación de la información. Como lo comentamos anteriormente la relación con el criterio mandatario de habilitar una tecnología o un mecanismo para la conservación de la información, ambos proponentes, propusieron servicios de almacenamiento de gestión de datos de almacenamiento a largo plazo y de todo lo que implica la conservación de la información, las verificaciones de la información basados otra vez en servicios de AMAZON WEB SERVICES, ambos propusieron esas herramientas que AMAZON disponibiliza para su uso en lo que es la conservación de la información, en ambos casos se propuso GLACIER, S3, para la conservación y almacenamiento de la información, tanto disponible como en línea, como para la información que estaría almacenada a largo plazo. Digamos que este es el criterio que se pedía que se cumpliera, vuelvo y digo, como se manifestó anteriormente, ambos proponentes lo cumplieron, por tal razón consideramos que como era un criterio mandatorio, nosotros quisimos dentro de la metodología de evaluación, establecer una ponderación, de cuál era el nivel de cumplimiento de uno frente al otro, particularmente por el lado del Consorcio se pudo constatar a través de la documentación técnica que ellos estaban incluyendo todos los servicios y contratando, por decirlo de alguna forma con AMAZON los servicios que garantizarían, esa conservación de la información, no hubo, otra vez, nada excepcional con respecto a lo requerido, solamente específicamente en cuanto a las capacidades para garantizar que la información fuera almacenada y respaldada en los casos que fuese necesario y es por esa razón que no hubo nada diferente a lo que se propondría por parte del Consorcio, es apenas un cumplimiento a lo solicitado y por esa razón no consideramos como buena la calificación
Análisis
La calificación obtenida como BUENA otorgada a CMX obedece a que el sistema contará con los servicios de almacenamiento requeridos, incluyendo las soluciones tecnológicas adecuadas y seguras para la conservación de la información recopilada. Como lo señala el testigo técnico “no hubo, otra vez, nada excepcional con respecto a lo requerido, solamente específicamente en cuanto a las capacidades para garantizar que la información fuera almacenada y respaldada en los casos que fuese necesario.”
Es evidente la pretensión del recurrente para que se evalúe el criterio en nivel de “Excelente” con el cumplimiento cabalidad, sin ningún aspecto destacado o sobresaliente, lo cual no corresponde con el procedimiento de evaluación que ordena la Resolución 055 de 2019.
Por lo expuesto, se ratificará la valoración de “Bueno” y el puntaje correspondiente.
Criterio de la Tabla 3. Numeral 3.8. verificación de registro de contratos para despacho de gas.
Descripción
El sistema contará con la capacidad de verificación del registro de contratos enviados por los participantes del mercado con el fin de que esto permita el despacho de gas. Esta capacidad deberá contar con mecanismos de control y seguimiento de tal forma que permita realizar auditorías posteriores.
Evaluación de BMC y CMX
El puntaje máximo para este aspecto es de 10 puntos y el comité evaluador le asignó 4 puntos a la propuesta de BMC, que corresponden a un nivel de “Regular” y 7 puntos a CMX que corresponde al nivel de “Bueno”.
Sobre BMC
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Durante el proceso de verificación de consistencia y completitud se identifica una verificación.
-No se evidencia explícitamente verificación de contratos enviados, se asume que existe
-No se aprecian mecanismos de control y seguimiento
Sobre CMX
Durante el proceso de verificación de consistencia y completitud se identifica una verificación.
-No se aprecian mecanismos de control y seguimiento
El recurso de la BMC.
La Bolsa alega que en la demostración y en el documento técnico se dejó evidencia explícita de que cumple con el requisito de la Tabla 3 -Numeral 3.8. invoca que ella incluyó en dos secciones de la presentación lo relacionado con la verificación de contratos para despacho de gas. Dice que en la demostración se logró mostrar cómo, en la plataforma dispuesta para tal fin, los agentes mercado podrán visualizar la información de los contratos resultantes del mecanismo, permitiendo así la verificación del registro de contratos resultantes de cada mecanismo. Así mismo, se mostró en la explicación de los procesos relacionados con el úselo o véndalo. Señala que el segundo momento fue en la explicación del componente de analítica y Adicionalmente se hizo especial énfasis en las diferentes notificaciones que el sistema remite.
La Bolsa solicita otorgar el puntaje máximo de 10 puntos establecido para este ítem.
Recurso de CMX
El recurrente solicita que se corrija el puntaje dado a CMX en cuanto al requisito previsto en el numeral 3.8. (Verificación de registro de contratos para despacho de gas) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Considera que cumplió a cabalidad el requisito y argumenta que se presenta reporte de contratos vigentes y en la demostración se explicó que se realizaría la captura o snapshop del reporte diario que permitiría el control o auditorías posteriores.
Reclama que el asesor no tuvo en cuenta que, en la demostración, CMX explicó que se realizaría la captura o snapshop del reporte diario, lo cual permitiría el control o auditorías posteriores.
Pruebas
Documentales
La Bolsa señala que lo expuesto se ilustra en las gráficas 19 a 22 del Anexo 1 del recurso.
Testimonio de Marco Téllez.
Preguntado por la Comisión. Interrogado el asesor Marco Téllez para exponga ¿cuáles son las especificaciones que permiten afirmar que un sistema de información cuenta con mecanismos de control y seguimiento?, si ¿observó estas especificaciones en la demostración de CMX y de BMC? y que explique los criterios para recomendar evaluaciones de 4 puntos para BMC y 7 para CMX,
Respondió: “Sí hubo una forma de verificar o de mirar tanto en el documento técnico como en la demostración la capacidad de hacer esta verificación de registro de contratos. En particular para la bolsa, ellos establecieron dentro del documento que tenían las capacidades para verificar este registro por parte de los participantes del mercado. Sin embargo, ante una pregunta que se le hizo a la Bolsa, respecto a la posibilidad de evidenciar esa capacidad de verificación de registro, no hubo una respuesta clara y se identificó una limitación en cuanto a específicamente este requisito. Mientras que por el lado del Consorcio si se verificó el cumplimiento de la verificación. Incluyeron una capacidad del registró tanto de la información que enviaran de los participantes del mercado a través de mecanismos fáciles de control y seguimiento, mientras que el Consorcio demostró que abría esas capacidades para monitorear y hacer seguimiento a la verificación de los contratos y además su documento técnico establecía que se contaría con las herramientas para verificarlo, esa razón nos permitió de darle una calificación como buena, mientras que la Bolsa tuvo limitaciones en evidenciar e identificar como sería dentro de su propuesta y en la demostración como sería ese cumplimiento de la verificación de los registros de contratos. Eso fue básicamente las explicaciones del porque se asignaron esas calificaciones.”
Preguntado por la Bolsa. Ingeniero Téllez, nos vamos a referir a la tabla tres del anexo tres, cuéntenos si HART tuvo en cuenta el concepto que se logró probar en la plataforma que presentó la Bolsa los agentes del mercado podían visualizar los registros de los contratos y realizar la verificación de estos. En el punto 3.8 de la tabla 3.
Respondió: En la evidencia clara, si fue digamos clara, en cuanto a que se podía hacer ese registro, en cuanto a la verificación del registro como tal era, en la parte en que nosotros y hubo una pregunta específica, si había un mecanismo para verificar y hacer seguimiento del registro de contratos fuera evidente, eso es lo que nosotros, dentro de la demostración no lo vimos evidente y consideramos que esa fue la particular razón en cuanto a la capacidad del mecanismo de verificación de registro que no era evidente ni claro para nosotros, eso es por lo que nosotros consideramos una calificación regular Carol.
Preguntado por la Bolsa. Perfecto, Ingeniero sobre este punto 3.8, ¿HART tuvo en cuenta que en la calificación de la Bolsa y que la misma se planteó en un documento técnico, esta cuenta con algoritmos que permiten asegurar que el informe transaccional y operativa es consistente?
Respondió: Sí, la consistencia de la información y las capacidades para verificar esa consistencia si es aceptable, pero en este requisito en particular está orientada a los mecanismos para hacer seguimiento y verificar de los registros de los contratos, en particular la consistencia de la información, obviamente no entramos en detalle de los algoritmos que proponen, pero si es hecho que existieran esos algoritmos, garantizan una consistencia en la información, pero eso no tiene nada que ver con los mecanismo para poder verificar y hacer seguimiento a los registros de los contratos.
Preguntado por CMX: Punto tres, punto ocho, sírvase aclarar cuál fue el criterio que usted utilizó para decir que no se aprecia mecanismos de control y seguimiento en la calificación del CONSORCIO.
Respondió: El criterio contemplaba para poder hacer la verificación de estos contratos, una de las facilidades y las formas que se deben hacer es tener mecanismo de control y seguimiento, auditable de ese registro de ese proceso de verificación, no hubo forma de evidenciar de que esos mecanismo de control y seguimiento fueran presentados, no estamos diciendo que no existieran, solo que no fueron evidentes dentro lo que presentaron en la documentación técnica y dentro de la demostración, obviamente hubo limitaciones de presentación de detalle en todas las prestaciones, pero específicamente a esto no se pudo constatar que existiera esos mecanismos.
Preguntado por CMX: En ese sentido le pregunto ¿de las herramientas presentadas de las propuestas, tampoco se podía inferir?
Respondió: No se puede inferir eso si hay cosas que fueron evidentes y documentadas o fueron recabadas de las demostraciones, entonces aquellos que son evidentes en donde nosotros vimos claridad en el cumplimiento y de la demostración que se hizo, se pudo calificar. Como usted entenderá no se podía entrar en detalle por limitaciones de tiempo, durante la presentación muchos detalles no fueron evaluados, en este esperábamos que se hubiese pronunciado en el cumplimiento del requisito, específicamente en la verificación de los registros de contratos, el sistema contara con verificación de control y seguimiento.
Análisis
La Bolsa alega que en la demostración y en el documento técnico se dejó evidencia explícita del cumplimiento del requisito. Al respecto, el asesor Marco Téllez expone que “ellos establecieron dentro del documento que tenían las capacidades para verificar este registro por parte de los participantes del mercado. Pero Inmediatamente aclara que “ante una pregunta que se le hizo a la Bolsa, respecto a la posibilidad de evidenciar esa capacidad de verificación de registro, no hubo una respuesta clara y se identificó una limitación en cuanto a específicamente este requisito”.
En respuesta a las preguntas que le formuló la Bolsa, el asesor Marco Téllez ratifica que la capacidad para verificar la consistencia de información es aceptable, pero en la demostración no fue posible evidenciar que contaran con un mecanismo para verificar y hacer seguimiento del registro de contratos. Aclara que los algoritmos de verificación de la información no tienen nada que ver con la capacidad de seguimiento y verificación del registro de los contratos.
En conclusión, la Bolsa no logra describe en el documento técnico, pero en la demostración no logra mostrar que la plataforma propuesta contará con un mecanismo de verificación de registro de contratos, por tanto, se ratifica la evaluación y el puntaje asignado.
La calificación como “Buena” para CMX obedece a que se identifica el cumplimiento del requisito para la solución y se considera adecuada, incluyendo la capacidad de verificación del registro de contratos enviados por los participantes del mercado contando con mecanismos de control y seguimiento de tal forma que permita realizar auditorías posteriores.
No se identificaron condiciones sobresalientes, ni el recurrente las describe, y mucho menos prueba ningún elemento o cualidad excepcional que permita asignarle el nivel de excelente en la evaluación de este criterio.
En consecuencia, conforme a los criterios de evaluación que de manera uniforme hemos sostenido en este recurso se mantendrá la evaluación y se ratificará el puntaje correspondiente.
Criterio de la Tabla 3. Numeral 4.1. Documentación.
Descripción
El gestor del mercado pondrá a disposición de las partes interesadas la documentación necesaria para el entendimiento del funcionamiento y operación de la plataforma tecnológica del sistema.
Esta documentación deberá estar en línea de forma pública o privada, según corresponda, y deberá estar orientada a personal ejecutivo técnico con los niveles adecuados de detalle. Se deberá garantizar la seguridad de la documentación disponible.
Evaluación de BMC:
El puntaje máximo para este aspecto es de 5 puntos y el comité evaluador le asignó 2 puntos a la propuesta de BMC, que corresponden a un nivel de “Regular”.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Se cuenta con documentos técnicos de cada sistema de información.
-No indican si la información estará disponible y en línea.
-No se indica si existen manuales de usuario.
-No se indican procedimientos de seguridad de la información orientada al Gestor de Mercado.
El recurso de la BMC
La Bolsa impugna las deficiencias expuestas, señalando que describió que cuenta con documentación técnica y de usuario de sus sistemas de información: diccionario de base de datos, diagramas de arquitectura y manuales de usuario detallando el uso de la plataforma. Agrega que esta información se encuentra disponible y que, adicionalmente, dentro de los módulos de la plataforma tecnológica se encuentra el relacionado a DOCUMENTACIÓN.
La Bolsa expresa que toda vez que cuenta con la documentación exigida, evidenciando el cumplimiento del requisito, se solicita reconocerle los 5 puntos establecidos para este ítem.
Pruebas
Documentales
La Bolsa señala que lo expuesto se puede ver en las Gráficas 23 y 24 del Anexo 1.
Testimonio técnico de Marco Téllez.
Preguntado por la Comisión: Interrogado el asesor sobre si ¿Observó en la presentación de BMC los siguientes documentos: diccionario de base de datos, ¿diagramas de arquitectura y manuales de usuario detallando el uso de la plataforma?, respondió:
No fue posible identificar el cumplimiento de la verificación requerida, en particular para esto se establecía que se iba a otorgar la documentación requerida o los documentos técnicos requeridos, sin embargo, durante la demostración se identificaron que no presentaba estos documentos en forma clara. Esa fue la forma para poder determinar porque el cumplimiento de esta obligación fuera regular, no se evidenció claramente que la documentación requerida estaría disponible.
Preguntado por la Bolsa. Ingeniero vamos al punto 4.1 de esta misma tabla tres, en la calificación de la demostración hacia la Bolsa ¿tuvo en cuenta HART que la Bolsa cuenta con documentación técnica y de usuario y sistema de información, diccionario de bases de datos, organigrama y arquitectura, los contemplados que están en el numeral 4.1?
Respondió: Sí, de hecho la manifestación por parte de ustedes, si existía la documentación, nos parece que es la conveniente, sin embargo, es importante anotar que la documentación perse que no es suficiente si no se garantizaba la información de la gestión de la documentación y que fuera una gestión de ella y que fuera útil y disponible para los participantes, en que se nombraba que iban a estar disponibles esos documentos si existen y que estarían disponibles, pero no hubo una evidencia de esa disponibilidad, ni que era evidente, ni que la gestión que fuese evidente esa es un poco la razón por la cual nos llevó hacer la calificación asignada.
Preguntado por la Bolsa. Ingeniero de acuerdo con la demostración que presentó la Bolsa, ¿HART tuvo en cuenta que la Bolsa, al ser una entidad sometida a la Superintendencia Financiera, se encuentra sometida a los estándares más altos de la seguridad de la información en materia de riesgos de administración y cyber seguridad, para dar la calificación que en su oportunidad dio la firma HART a este mismo punto 4?1?
Respondió: Sí, obviamente es aceptado por las partes que se debe cumplir con todos los estándares en cuanto a la documentación, no sé si su anotación está orientada a que no era posible mostrar esa documentación en la demostración a sabiendas de que por parte de la CREG se manifestó al inicio de las demostraciones que toda la información que se iba a manejar en dichas demostraciones iba hacer de forma confidencial y por decirlo de alguna forma segura, para que aquellos que estaban demostrando y si esta es la razón por la cual no pudiesen evidenciar lo que estábamos solicitando, entonces no entenderíamos porque no se trata de mostrar documentos ni de entrar en detalle de cuál era su contenido más que la demostración por un lado, la documentación existiese como ustedes lo manifestaron y que por otro lado había capacidades por un lado de la prestación de la documentación y de la gestión de la misma documentación entonces esta era la orientación de este requisito en su calificación.
Preguntado por la Bolsa: Ingeniero, básicamente la pregunta iba enfocada a eso que la Bolsa establecía los mínimos criterios como entidad vigilada entonces, ¿lo que queríamos saber es si ese principio que nos regia a nosotros, fue tenido en cuenta precisamente y que por tal razón no se habían aportado esos documentos, pero sí que se tenía en cuenta que había unos estándares mínimos que como entidad vigilada debe cumplir hoy la Bolsa?
Respondió: Sí eso lo tiene que cumplir ustedes como ente gestor y que es obviamente parte importante para garantizar y dicho sea de paso, me parece muy conveniente su anotación para efectos de saber de qué están cumpliendo los estándares y no están mostrando la documentación para los que estábamos participando en esa demostración, sin embargo para efectos de la calificación, nuestro requerimiento era de que al margen del cumplimiento de los estándares de seguridad, ustedes pudiesen evidenciar y mostrar la forma en que esa información iba a estar disponible, vuelvo y reitero no que mostraran la información ni que la evidenciaría explícitamente y detalladamente sino que hubiese unas facilidades por parte de su solución de su plataforma de la plataforma de que pudieran a ver, formas de acceder a la documentación y a gestionar esa documentación es esa básicamente la orientación. Los estándares existen a esta charla, puedan ser garantizar con esos mecanismos de información.
Requerimiento de la CREG: Responda si o no.
Respondió: No, para nosotros, nos remitimos solo al criterio y a la tabla de demostración.
Análisis
La calificación como Regular otorgada a BMC se debe a las deficiencias observadas por el asesor tanto en el documento técnico como durante la demostración, consistente en no haber evidenciado las condiciones que fija el criterio, como son la forma como el gestor pondrá a disposición de las partes interesadas la documentación necesaria para el entendimiento del funcionamiento y operación de la plataforma tecnológica del sistema.
El criterio especifica que a documentación deberá estar en línea de forma pública o privada, según corresponda, y deberá estar orientada a personal ejecutivo técnico con los niveles adecuados de detalle y que se deberá garantizar la seguridad de la documentación disponible. Por tanto, el proponente debía mostrar como se gestionaba esa documentación.
La Bolsa manifiesta que cuenta con la documentación técnica y de usuario y que está disponible, por el contrario, el asesor Marco Téllez declara que en la demostración se identificó que no presentaban estos documentos en forma clara y no se evidenció que la documentación requerida estaría disponible. El testigo aclara que, además, la existencia de la documentación no es suficiente, si no se garantiza la gestión de ésta, su utilidad y que esté disponible para los participantes, lo cual no se evidenció en la demostración.
La Bolsa platea que, al ser una entidad vigilada por la Superintendencia Financiera, se encuentra sometida a los estándares más altos de la seguridad de la información en materia de riesgos de administración y cyber seguridad, y pregunta si ello se tuvo en cuenta. Sobre este particular debemos observar que la condición de la Bolsa de estar sujeta a la vigilancia de la Superfinanciera no la exoneraba de demostrar la existencia, gestión y disponibilidad de la documentación. No es entendible porqué si la Bolsa manifiesta que por ser vigilada está sujeta a un estándar alto sobre este criterio, no pudo demostrar la gestión de la documentación y sólo hizo referencia a su existencia.
El Comité evaluador acogió la recomendación de Hart y la Bolsa no ha logrado desvirtuar las falencias identificadas en la demostración, por lo cual se ratificará la evaluación y el puntaje asignado.
Criterio de la Tabla 3. Numeral 4.2. Aseguramiento de la calidad.
Descripción
El gestor del mercado deberá hacer seguimiento de un programa de aseguramiento de la calidad de las actividades y procesos relacionados con sus funciones y responsabilidades de la plataforma tecnológica que da soporte al mercado de gas natural.
Evaluación de BMC y CMX:
El puntaje máximo para este aspecto es de 5 puntos y el comité evaluador le asignó 4 puntos tanto a la propuesta de BMC como a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Sobre BMC
Se expone que BMC debe someterse a procesos de mejora continua y atender diferentes entes de vigilancia y control y manifiesta que el Gestor de Mercado se somete a los mismos procedimientos.
-Se mencionan certificaciones ISO9001, ISO27001, 27017 y 27018 en la presentación
-El documento técnico no refleja la información y la presentación no se considera suficiente
Sobre CMX
Se solicitará certificación ISO 27001.
AWS tienes sus propias certificaciones
Enfoque ETIL
El recurso de a BMC
La Bolsa sostiene que cuenta con las siguientes certificaciones: (i) Certificación ISO 9001:2015 de la BMC, (ii) Certificación ISO 27001:2013 de AWS (controles de administración de seguridad), (iii) Certificación ISO 27017:2015 de AWS (Controles específicos de la nube), (iv) Certificación 27018:2019 (Norma de calidad internacional).
Indica que certificaciones permiten garantizar el aseguramiento de la calidad y las mismas se presentaron con suficiente claridad en el Componente de Seguridad de Información, cumpliendo así en términos de gestión de calidad a través de todos los procesos que desarrolla la entidad, incluido el del Gestor del Mercado de Gas.
Sustenta que lo relacionado con seguridad de la información y gestión de la calidad fueron temas que se describieron con todo el detalle dentro del Documento de Gobernanza.
Alega que se describió todo el ciclo de pruebas unitarias, integrales, de QA y funcionales en el momento de abordar nuevos requerimientos, mejoras o arreglos para lograr minimizar la posibilidad de incidencias en producción.
Finalmente, aduce que se cuenta con una gestión del servicio, donde se trabajan los bloques principales; gestión de la capacidad, gestión de problemas, gestión de incidencias, gestión de cambios y elementos de configuración y que durante la demostración se explicaron los ambientes con que cuenta, a nivel de ambientes productivos y no productivos.
Concluye que de esta manera la Bolsa explicó en la demostración el requisito exigido en la Tabla 3 -Numeral 4.2, por tanto, cumple a cabalidad, y en consecuencia, se solicita reconocer los 5 puntos que establece este requisito.
El recurso de CMX
La recurrente solicita que se corrija el puntaje dado a CMX en cuanto al requisito previsto en el numeral 4.2 (aseguramiento de la calidad) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Aduce que cumplió a cabalidad el requisito. Manifiesta que se realizará el proceso de certificación 27001. La fábrica de software cuenta con una evaluación CMMI 5 lo que indica un nivel de madurez en desarrollo asegurando calidad en los desarrollos. La gestión de servicios tecnológicos se hace con enfoque ITIL.
Reprocha que la calificación resulta inferior a pesar de que el mismo se cumple completamente. Como consecuencia, la calificación tendría que ser corregida.
Pruebas
Documentales
La Bolsa hace referencia a las gráficas 25 y 26 del Anexo 1.
Testimonio técnico del asesor Marco Téllez:
Preguntado por la Comisión. Interrogado el asesor Marco Téllez para que explique la afirmación de que "El documento técnico no refleja la información y la presentación no se considera suficiente", respondió:
“En el aseguramiento de la calidad del requisito está orientado a que los proponentes siguieran un claro programa de aseguramiento de calidad en todo el proceso, esto se garantiza a través de una clara definición de las funciones y responsabilidades que se podría llevar acabo en un programa de aseguramiento de calidad, permitiendo, digamos... garantizar que la implementación de la solución fuese lo más conveniente posible, a través de un programa de aseguramiento y calidad. Ambos proponentes cumplían con este requisito, manifestaron esquemas de aseguramiento de calidad y mejora continua, se evidenció que había una asignación de actividades y procesos, específicamente relacionados con las funciones y responsabilidades, no hubo algo excepcional en cuanto algunos hitos cumplibles o en cuanto algunas garantías de prueba o certificaciones que permitiera que evidenciaran que ese programa fuera de calidad e iba hacer idóneamente implementado, digamos que solo hubiese la respuesta por parte de ellos de cumplir y seguir un programa de calidad, normalmente en este tipo de requerimientos tratamos de evaluar que los oferentes evaluados ofrezcan hitos de prueba, llamemos de inspección o de alguna forma determinar que están siguiendo un programa de aseguramiento de calidad, el manifestarlo abiertamente que va a cumplir, es lo apenas esperado, entonces no entendemos por qué se referiría a una calificación de excelente, si apenas se está evidenciando que se están cumpliendo con el requisito solicitado. No hay una clara diferenciación en ninguna de las dos ofertas más allá del pleno cumplimiento del requisito.”
Análisis
La calificación como “Buena” otorgada a ambos proponentes obedece a que se identifica el cumplimiento del requisito. Se identifican esquemas de aseguramiento de calidad y mejora continua. Adicionalmente, se contará con un programa de aseguramiento de la calidad de las actividades y procesos relacionados con sus funciones y responsabilidades relacionadas con la plataforma tecnológica que dará soporte al mercado de gas natural.
La Comisión no encuentra y los recurrentes no aclaran, ni prueban, cuáles son esas cualidades que los haría merecer el nivel de excelente en la evaluación de su propuesta de aseguramiento de la calidad. Por el contrario, el asesor observa que “no hubo algo excepcional en cuanto algunos hitos cumplibles o en cuanto algunas garantías de prueba o certificaciones que permitiera que evidenciaran que ese programa fuera de calidad e iba a ser idóneamente implementado”.
En consecuencia, la Comisión ratificará la evaluación en el nivel de bueno y mantendrá el puntaje asignado a los proponentes.
Criterio de la Tabla 3. Numeral 4.3 Capacitación.
Descripción
El gestor del mercado deberá ofrecer e impartir cursos de capacitación y asistencia a los participantes del mercado. Estos cursos estarán relacionados con la operación y funcionamiento de la plataforma tecnológica y deberá estar orientados según personal que participe y con el nivel de profundidad que se requiera.
Evaluación de BMC y CMX
El puntaje máximo para este aspecto es de 5 puntos y el comité evaluador le asignó 2 puntos a la propuesta de BMC y 2 puntos a CMX que corresponden a un nivel de “Regular” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Sobre BMC
La información sobre capacitación es escasa y no se mencionan procesos de capacitación interna. Como procesos de mitigación de fallos o mejora continua. Se menciona que habrá capacitación, sin embargo, no se presentan planes o cursos de capacitación detallados.
Sobre CMX
Materiales disponibles en internet.
No se cuenta con auto-evaluación de los cursos.
-Se menciona que habrá capacitación, sin embargo, no se presentan planes o cursos de capacitación detallados.
El recurso de la BMC
La Bolsa alega que presentó el cronograma del periodo de planeación que en dicho cronograma se relacionan dos capacitaciones (...), con el objeto de capacitarlos sobre el uso de las plataformas tecnológicas y las diferentes herramientas de inteligencia de negocios y analítica propuestas por la Bolsa.
Asevera que, adicionalmente, incluyó dentro de su Documento Técnico dos secciones relacionadas con capacitaciones tanto internas como externas. Jornadas de capacitación orientadas a los usuarios finales del Sistema Electrónico de Gas.
Expone que, de otro lado, en el numeral 1.2.1.4. se describen las funciones del Experto en Tecnología y se previó, expresamente, la tarea de diseñar y gestionar estrategias de transferencia de conocimiento sobre el funcionamiento de las plataformas, de manera que los miembros de la organización se encuentren debidamente capacitados para garantizar su funcionamiento, en atención al plan de capacitaciones internas de la Bolsa.
Finalmente, alega que el requisito no contemplaba la exigencia en detalle un plan de capacitaciones.
La Bolsa pide que atendiendo lo manifestado en la demostración y a lo contenido en el documento técnico se califique este criterio con tres puntos adicionales para obtener el puntaje máximo de 5 puntos.
El Recurso de CMX
El recurrente solicita que se corrija el puntaje dado a CMX en cuanto al requisito previsto en el numeral 4.3 (capacitación) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
Argumenta que cumplió a cabalidad el requisito. Sostiene que el Consorcio desarrollará un plan de capacitaciones con herramientas de teleconferencia o presencial como parte del proyecto de implementación y entrada en operación del sistema, para las cuales se estructurarán contenidos relacionados con la operación y funcionamiento de la plataforma tecnológica de acuerdo a los perfiles de usuario que se atenderán. En ninguna parte se especificaba que debía presentarse un plan de capacitación detallado como condición de cumplimiento a este punto. En la demostración se aclaró que SI se presentarían mecanismos de autoevaluación de los cursos.
Sostiene que la regulación establece que el gestor del mercado deberá ofrecer e impartir cursos de capacitación y asistencia a los participantes del mercado. Estos cursos estarán relacionados con la operación y funcionamiento de la plataforma tecnológica y deberán estar orientados según personal que participe y con el nivel de profundidad que se requiera. En este sentido, en ninguna parte se exige que el proponente debía presentar un plan de capacitación detallado como condición de cumplimiento a este punto. De otro lado, en la demostración se aclaró que sí se presentarían mecanismos de autoevaluación de los cursos.
Pruebas:
Documentales:
La Bolsa referencia los 7 y 30 del sobre 2 y la Gráfica 27 del Anexo 1 del Recurso.
Testimonio técnico del asesor Marco Téllez:
Preguntado por la Comisión: ¿Por qué considera necesario el detalle de los planes de capacitación como parte de la valoración del requisito?
Respondió: En todos los procesos de implementación de estas plataformas en donde involucran tantos participantes en la gestión del mercado, involucra tanto al gestor mismo como a los entes que están supervisando la gestión como los agentes participantes, entonces para la CREG y para nosotros, nos pareció conveniente que es un requisito a la capacitación, si bien es cierto no se pedía un detalle completo de los cubículos o cursos que se fueran a habilitar, ambos proponentes se limitaron solamente a manifestar que cumpliría con el requisito sin manifestar ampliamente, bueno … no tan amplia, mencionar que tipos de cursos se presentarían de forma general, para quienes estarían orientados, cuando serian orientados, unos objetivos muy generales, no tenía que ser detallado pero si evidenciar de que abría compromiso por parte del gestor de una forma proactiva, dando capacitaciones tanto a los usuarios del sistema como a los agentes participantes y todas las partes involucradas, esa característica no fue cumplida en forma clara y evidente, ninguno de los dos proponentes, consideramos que hubiese sido posible, establecer un programa muy general con objetivos muy generales y por lo menos haber orientado que la capacitación iba hacer realizada. Esa es la razón principal por la que consideramos que ninguna de las dos ofertas merece la calificación como buena, sino apenas regular, pro el hecho de que se iba hacer la capacitación
Preguntado por la Bolsa: Vamos a pasar al punto cuatro tres y sobre este punto me gustaría saber ¿si HART tuvo en cuenta que en la resolución 055 si bien contempla un programa de capacitación, no está en un nivel de detalle específico?
Respondió: Claro, para la CREG la solicitud de capacitación, puede ser tan simple como un plan de capacitación, pero eso no exime a los oferentes a que en el cumplimiento del plan de capacitación, mostraran que el programa del plan de capacitación, los cursos ofrecidos y la orientación de los cursos pudiese ser presentada, la intención de la CREG nunca fue acotar específicamente, cuales cursos deberían ser dictados, si no dar un poco la libertad y la experiencia de ustedes en cuanto a que cursos proponer en cuanto a su orientación y su aplicabilidad dentro del plan que y ustedes han trazado.
Preguntado por la Bolsa: Vamos a hablar este mismo punto, hay un slate en el número de radicado E-2020-0003777 (proyectan en la pantalla el documento) se presentaron las actividades que se iban hacer en las capacitaciones y queremos conocer si ustedes tuvieron en cuenta en la calificación que se presentaron los cursos y las necesidades de capacitación del nuevo SEGAS que iba a realizar la BOLSA, así como la programación de las capacitaciones internas que se iban a realizar con los agentes del mercado de gas por parte de nuestro experto de tecnología.
Respondió: Sí, como usted lo menciona en el documento donde presentaron el cronograma y el slate que ustedes sustentan que fue sustentado en la demostración, eso es lo que nosotros utilizamos para la calificación, apenas es una línea de lo que es la actividad, consideramos que esto no es lo suficiente para dejar claro de que es un programa de capacitación, entendiendo que un programa de capacitación, una serie de cursos claros, en cuanto a su objetivo, orientación y aplicabilidad para los diferentes participantes del mercado.
Análisis
La calificación otorgada como “Regular” para ambos proponentes obedece a que se identifica incumplimiento parcial del requisito para todas las soluciones y se consideran inadecuadas. Los procesos de capacitación interna y externa son desatendidos parcialmente y/o son genéricos.
La Comisión comparte la posición del asesor en el sentido que el criterio a evaluar no es sólo si el proponente manifiesta que se brindarán cursos de capacitación, sino que era necesario completar la información de la capacitación sobre qué tipos de cursos se presentarían, para quienes estarían orientados, cuando serian orientados, unos objetivos muy generales, etc.
Al respecto, se debe observar que el requisito exige que los cursos estarán relacionados con la operación y funcionamiento de la plataforma tecnológica y deberán estar orientados según el personal y con el nivel de profundidad que se requiera. Luego para establecer que la capacitación que se brindará cumple con estos criterios es necesario una descripción general de los cursos, sus destinatarios, sus objetivos, su contenido, incluso el periodo en el que se impartirán, para establecer su oportunidad.
Por lo expuesto, la Comisión mantendrá la evaluación de regular y el puntaje asignado.
5.2 Estructura organizacional
Descripción
El gestor de mercado deberá establecer una estructura organizacional acorde con cada una de las etapas, desde la planeación e implementación de la plataforma tecnológica, como durante la vigencia de la prestación de los servicios.
Evaluación de CMX
El puntaje máximo para este aspecto es de 7 puntos y el comité evaluador le asignó 5 puntos a la propuesta de CMX, que corresponden a un nivel de “Bueno” en la tabla de puntajes máximos del requisito.
En el informe presentado por Hart Energy & Control Consulting S.A.S, se expone la siguiente evaluación, acogida por el comité evaluador:
Conformación del grupo por especialistas de los 3 miembros del Consorcio. Propone organización.
- Concentra: Administrador del SI privado, incluyendo temas de GN.
- XM: Operador del Mercado de Energía
- MVM: Proveedor de soluciones tecnológicas. Orientados al sector energético.
Organización basada en células (4)
-No se percibe una cohesión integral entre los miembros
Recurso de CMX
El consorcio CMX solicita que se corrija el puntaje dado en cuanto al requisito previsto en el numeral 5.2 (estructura organizacional) de la Tabla 3 del Anexo 3 de la Resolución CREG 055 de 2019, y se otorgue la calificación máxima toda vez que la empresa cumplió a cabalidad el mismo.
El Consorcio CMX alega que la estructura organizacional de TI es coherente e integral y se puede observar en el documento técnico, en el cual se describe a nivel gráfico y descriptivo la configuración del equipo técnico a cargo de la implementación y operación del sistema.
Propone que es necesario advertir que el asesor confundió lo que es la estructura organizacional de la compañía, con la estructura organizacional para los aspectos de TI del gestor para el desarrollo de sus funciones que es al que se hace referencia en el requerimiento. De acuerdo con lo anterior, se aclara que la estructura organizacional de la compañía fue analizada en la etapa de los requisitos habilitantes, de manera que la evaluación del requisito debía concentrarse en los aspectos de TI propuestos. En este sentido, la estructura organizacional de TI propuesta es coherente e integral y se puede observar en el documento técnico, en el cual se describe a nivel gráfico y descriptivo la configuración del equipo técnico a cargo de la implementación y operación del sistema.
Pruebas:
Testimonio técnico del asesor Marco Téllez:
Preguntado por la Comisión: En el numeral cinco dos de la estructura organizacional en el informe se hace una descripción de la estructura propuesta por CMX y se afirma que “no se percibe una coerción integral entro lo miembros “, explique por favor esta afirmación y la razón de la calificación de cinco puntos para el CONSORCIO CMX
Respondió: Sí, en la estructura organizacional propuesta por el Consorcio, apenas se incluye una estructura muy completa sin asignar responsabilidades, sin asignar funciones, la estructura organizacional como tal no era simplemente un organigrama mostrando los cuadros que iban hacer las diferentes posiciones dentro de su estructura, si no hubiese sido conveniente como fue en el caso de la Bolsa que fue claro en el detalle de las personas de cada uno de las partes de esa estructura, identificando a la persona como su idoneidad y capacidad y una definición muy clara de su responsabilidad dentro de la estructura organizacional y por eso consideramos que la presentación en cuanto a la forma en que organizarían el personal del gestor del mercado, era excelente por el lado de la bolsa y apenas cumplía por el consorcio en cuanto a lo querido por estructura organizacional sin mayor detalle de esta … esa es básicamente, nosotros consideramos que la forma de presentar la estructura, vuelvo y reitero la limitación de espacio que tenían para presentar su información, pero sí era conveniente que por parte del documento técnico, fuese muy claro como seria su estructura organizacional, como iban hacer las funciones y responsabilidades de sus participantes y las posiciones que ocuparían las personas, que fuesen asignadas allí, entonces el cumplimiento de este requerimiento cumplieron de forma excelente por parte de la Bolsa y apenas aceptable por parte del consorcio
Análisis
La calificación como Buena otorgada a CMX obedece a que incluye una estructura aceptable según lo cual se evidencia en el documento técnico, páginas 31 a 32, pero no se observa en dicha propuesta ninguna condición sobresaliente u óptima que justifique evaluarla en el nivel de “Excelente” como lo solicita en el recurso. Por el contrario, el asesor Marco Téllez señala que CMX incluye una estructura muy completa, pero sin asignar responsabilidades y funciones.
El recurrente sustenta su recurso en que la estructura organizacional de TI es coherente e integral y se puede observar en el documento técnico, en el cual se describe a nivel gráfico y descriptivo la configuración del equipo técnico a cargo de la implementación y operación del sistema, pero tal descripción es lo básico que exige el criterio, y no una condición óptima o excelente.
En consecuencia, la Comisión ratifica la evaluación de “Bueno” asignada a este criterio y el puntaje que corresponde a dicho nivel.
Con base en lo expuesto, modificado el puntaje asignado al Consorcio CMX en el criterio de Interfax del Usuario, la evaluación del componente tecnológico es:
De acuerdo con el anterior análisis, en el caso de la evaluación técnica y del resultado del análisis del recurso de reposición del Consorcio CMX y la práctica de las pruebas, en la siguiente Tabla se resaltan en rojo los ajustes y modificaciones a la evaluación inicial de la Resolución CREG 017 de 2020 en este punto:
3.4. Experiencia Específica
El Consorcio CMX dentro de su cargo No 1 formula los siguientes elementos en relación con la experiencia específica:
“(…) se plantean tres objeciones a la calificación dada por el Comité Evaluador; el primero porque no es cierto que la plataforma que administra la BMC sea de energéticos; la segunda, porque las actividades acreditadas por la BMC no cumplían con los requisitos establecidos en la Resolución CREG 055 de 2019, y tercero -sin perjuicio de los dos anteriores, porque de haberlos validado, debieron contabilizarse de la manera como lo establece la Resolución”.
En argumentos, pretenden demostrar que estos hacen referencia a que la Bolsa Mercantil de Colombia S.A no cumple con lo exigido en el Anexo 1 de la Resolución CREG 055 de 2019 cuando establece en sus artículos 11, numeral 2, literal B y el artículo 14 que esta experiencia deberá ser “en la administración de plataformas de negociación y/o en el procesamiento de información de transacciones en mercados energéticos”.
Lo anterior soportado, entre otros, en la información pública de dicho agente la cual difiere de la reportada en el Formato 8 previsto en la Resolución CREG 055 de 2019 concluyendo que:
“De las normas anteriores, es fácil concluir que la BMC tiene una experiencia permanente en una plataforma a partir de la cual los agentes hacen transacciones de cualquier producto, pero para que un producto o commodity pueda en efecto transarse, requiere que un tercero inscriba la transacción en el SIBOL, y luego los demás agentes, pueden participar en el mismo. En otras palabras, la plataforma no es especializada, depende de lo que los agentes quieran transar y por tanto registrar. La plataforma en sí no cumple con el requisito de ser entonces, una plataforma transaccional de mercados energéticos”. (Resaltado fuera de texto)
En relación con esta conclusión y la argumentación que la sostiene, se advierte que la misma no logra desvirtuar la información consignada por la Bolsa Mercantil de Colombia S.A. E.S.P. en el Formato 8 frente a la experiencia específica, pues la misma se ajusta a lo dispuesto en los artículos 11, numeral 2, literal B y el artículo 14, en la medida que existe evidencia para la Comisión que desde el año 2004 la Bolsa Mercantil de Colombia S.A. se encuentra habilitada para llevar a cabo la administración de plataformas de negociación y/o en el procesamiento de información de transacciones en mercados energéticos.
Así mismo, en relación con el argumento planteado, en el sentido que la contabilización de dicha experiencia, dependa de lo que los agentes quieran transar y por tanto registrar, es decir, que se requiera que un tercero inscriba la transacción en el SIBOL, y luego los demás agentes, puedan participar en el mismo, no es de recibo, toda vez que lo relevante durante los lapsos de tiempo que se contabilizaron para efectos de establecer la experiencia específica de la Bolsa Mercantil de Colombia, entre enero 2004 y diciembre 2005, así como de enero 2011 a Diciembre 2018, parte de la habilitación y disponibilidad con la que cuenta el proponente para desarrollar dicha actividad y que dichas experiencias cumplan con lo exigido en el Anexo 1 de la Resolución CREG 055 de 2019, cuando establece en sus artículos 11, numeral 2, literal B y el artículo 14 que esta experiencia deberá ser “en la administración de plataformas de negociación y/o en el procesamiento de información de transacciones en mercados energéticos”.
La habilitación y disponibilidad de las plataformas para desarrollar estas actividades, a juicio de la Comisión, se encuentran demostradas de acuerdo con los soportes del Formato 8, más allá de lo expuesto en los documentos que acreditan su objeto social.
Ahora, en cuanto al “durante” en el numeral 5 del literal A, del Anexo 1 de la Resolución CREG 055 de 2019, como actividad “continua y permanente”, esto implica el mismo criterio de la habilitación para poder llevar a cabo la actividad, es decir, la disponibilidad en la plataforma para llevar a cabo la administración de plataformas de negociación y/o en el procesamiento de información de transacciones en mercados energéticos. La pretensión del regulador en cuanto a la experiencia no está dirigida a determinar la experiencia por el número de operaciones realizadas, toda vez que, de ser así hubiese sido específico y la experiencia específica se hubiese definido de manera diferente.
Finalmente, no son de recibo y se deben rechazar enfáticamente los argumentos expuestos en el recurso de reposición por parte del Consorcio CMX, donde exponen la posible vulneración al derecho de igualdad con el fin de buscar un trato discriminatorio a los proponentes en este punto en beneficio de uno de estos y que se dé por hecho la acreditación de algún requisito.
La Comisión procedió en este punto a dar cumplimiento a lo exigido en el Anexo 1 de la Resolución CREG 055 de 2019, sus artículos 11, numeral 2, literal B y el artículo 14, así como en el numeral 5 del literal A, del Anexo 1 de dicho acto administrativo, donde se pudo establecer en el caso de ambos proponentes y de acuerdo con la información que hace en el expediente administrativo, que se acreditaron 120 meses de experiencia específica, obteniendo un puntaje de 250 puntos en el puntaje al que hace referencia el numeral 1 del literal A del artículo 14 de la Resolución CREG 055 de 2019.
De acuerdo con lo anterior, se debe mantener la calificación de 250 puntos hecha para la Bolsa Mercantil de Colombia S.A. en relación con la experiencia específica, toda vez que los argumentos del Consorcio CMX no aportan elementos que conlleven a modificar la evaluación realizada en la Resolución CREG 017 de 2020.
4. Alegatos de Conclusión
Mediante escrito E-2020-006286 de 9 de junio de 2020, el apoderado del Consorcio CMX presentó escrito denominado Alegatos de Conclusión para lo cual solicita “se accedan a las pretensiones del recurso de reposición presentado por la BMC contra la Resolución CREG 017 de 2020, de tal forma que haya lugar a la definición de nuevo orden de elegibilidad de acuerdo con la corrección de los puntajes y conforme a lo establecido estrictamente en la Resolución CREG 055 de 2019”.
En relación con los numerales 2.1 “incumplimiento de experiencia específica por parte de la BMC”, 2.2 “Cumplimiento de los requisitos técnicos por parte del Consorcio CMX”, se debe advertir que los mismos son reiterativos de lo expuesto por el recurso de reposición por parte del Consorcio CMX, razón por la cual considera la Comisión que los mismos han sido analizados y absueltos en el trámite del presente recurso y los numerales 3.1, 3.2, 3.3. y 3.4 anteriores.
Sin embargo, frente a los numerales “3.1. Falta de idoneidad del asesor seleccionado por la CREG para la evaluación de las propuestas”, “3.2. Violación de los principios de legalidad, objetividad, transparencia y selección objetiva en el proceso de calificación - Inconsistencias e irregularidades en el proceso de evaluación - Cambios en los criterios de calificación-” y “3.3 Contradicciones en la declaración del testigo técnico”, de dicho oficio, los mismos merecen un pronunciamiento específico por parte de la Comisión.
En relación con esto advierte el apoderado del recurrente Consorcio CMX señala:
“3.1. Falta de idoneidad del asesor seleccionado por la CREG para la evaluación de las propuestas
Teniendo en cuenta que un alto porcentaje de los criterios establecidos en la regulación para el proceso de selección del gestor del mercado correspondían precisamente a elementos o parámetros tecnológicos y/o de sistemas de información, tales como el desarrollo de la plataforma del GM, el sitio web para la gestión del BEC, las soluciones tecnológicas para la recopilación, verificación, conservación y publicación de la información transaccional y operativa, la solución tecnológica para conservación de toda la información recopilada o la solución tecnológica para la migración de la información, entre otros; era de esperar que dentro del equipo de trabajo de la empresa contratada como asesora para la evaluación técnica, participara por lo menos algún ingeniero de sistemas; sin embargo, tal como quedó evidenciado con la declaración del señor Marzo Téllez, ni este ni tampoco ninguno de sus colaboradores tiene esta profesión; de igual forma, tampoco acreditaron experiencia específica en esta área de conocimiento.
Es decir, dentro del equipo de trabajo de la empresa contratada por la CREG para realizar el acompañamiento desde el punto de vista técnico al proceso de selección del gestor del mercado, no participó ningún ingeniero de sistemas a pesar del alto componente técnico, tecnológico y de sistemas de información de las propuestas, lo cual evidencia la falta de idoneidad del asesor para realizar la evaluación, particularmente respecto de aquellos requisitos resaltados previamente.
De acuerdo con lo anterior, todas las observaciones realizadas por el asesor frente a criterios técnicos, tecnológicos o parámetros propios de la ingeniería de sistemas carecerían de fundamento, precisamente, debido a la fata de idoneidad del equipo de trabajo contratado por la Comisión para el efecto.
La carencia de un ingeniero de sistemas dentro del equipo de la empresa contratada para realizar la evaluación técnica evidencia las causas de varios de los errores cometidos en el proceso de calificación. Un ejemplo concreto de estas falencias se encuentra en las observaciones dadas por el asesor frente al cumplimiento de los requisitos de TI previstos en la tabla 3 del Anexo 3, frente a los cuales el asesor no pudo justificar adecuadamente varios de sus comentarios ni sustentar su experiencia en ciertos aspectos. Así, cuando se le preguntó respecto de las supuestas “limitaciones técnicas” del sistema operativo propuesto por CMX para el cumplimiento del requisito del numeral 1.2 (Diseño de software), el asesor no dio respuesta frente a su experiencia específica para poder sostener sus consideraciones.
De otro lado, cuando se cuestionó el cumplimiento de los requisitos asociados a la solución tecnológica para la migración de datos por parte de la BMC, el asesor, sin ningún fundamento, manifestó que el mismo se cumplía con la simple entrega de la base de datos, desconociendo, no solo la regulación, sino, además, como ya se explicó previamente, la diferencia básica entre la herramienta para la migración de la información y los datos en sí mismos; parámetros estos que para un ingeniero de sistemas resultarían claros.
En este mismo sentido, se evidencia la falta de conocimiento en materia de sistemas y tecnologías de información cuando al evaluar el requisito previsto en el numeral 9 de la tabla 2, no se diferencia entre las “facilidades para la creación de los formatos”, que es lo que exige el requisito, de los formatos en sí mismos considerados. Este error cometido por el asesor, como quedó demostrado en la declaración del señor Téllez, lo llevó a que considerara cumplido el requisito con la simple presentación de los formatos presentados por la BMC, aun cuando lo que se exigía, era proponer "facilidades para la creación de los formatos requeridos para la captura de la información transaccional y operativa”.
Conforme a lo expuesto, es necesario que la Comisión adelante una nueva revisión de las propuestas y corrija la evaluación de estas conforme a los criterios establecidos en la regulación y la ley, con ayuda de un equipo de trabajo que esté debidamente capacitado para el efecto.
3.2. Violación de los principios de legalidad, objetividad, transparencia y selección objetiva en el proceso de calificación - Inconsistencias e irregularidades en el proceso de evaluación - Cambios en los criterios de calificación-
Teniendo en cuenta la declaración del ingeniero Marco Téllez efectuada el pasado 15 de mayo de 2020, es necesario advertir que su testimonio hizo evidente graves inconsistencias en el proceso de calificación de las propuestas, especialmente, en los criterios de evaluación empleados por el asesor, que implican una violación de los principios de objetividad, transparencia y selección objetiva dentro del proceso.
Según lo manifestado por el propio ingeniero, para realizar la evaluación de las propuestas (documentos técnicos) y las demostraciones por parte de los proponentes, el criterio de evaluación no fue uniforme, ya que en algunos casos la calificación se efectuó a partir de la comparación entre las propuestas, mientras que, para la evaluación de otros criterios, no se realizó ponderación sino que simplemente se verificaba que se cumpliera el mínimo establecido en el requisito correspondiente para luego emitir una calificación subjetiva según el criterio de asesor.
Estos cambios en los criterios de evaluación y su aplicación no uniforme en el proceso se evidencian claramente en la evaluación de los requisitos establecidos en los numerales ii y v del literal b, del numeral 1, del Literal B, del anexo 1. En efecto, mientras que para el primer requisito el asesor decide ponderar y comparar entre las propuestas y define subjetivamente una calificación distinta para cada una de estas a pesar de que ambas cumplen con el requisito, en el segundo decide cambiar de criterio y ya no establece el puntaje en función de la valoración ponderada de cada propuesta y según la comparación, sino que decide dar el mismo puntaje, a pesar de que la propuesta de CMX respecto al punto específico, era evidentemente mejor que la de la BMC, como también lo reconoció en su testimonio. En otras palabras, con el testimonio se hizo evidente cómo el asesor cambiaba su criterio de evaluación a conveniencia según la propuesta que calificaba.
En este sentido, es necesario advertir que este proceder resulta completamente contrario a los principios de legalidad, objetividad, transparencia y selección objetiva instituidos en la ley, especialmente exigibles y aplicables en el marco de procesos de selección.
Conforme se expuso en el capítulo inicial, los principios de selección objetiva y transparencia solo se logran en la medida que la administración defina desde el comienzo del proceso de selección unas reglas claras aplicables a todos los participantes en condiciones de igualdad y, consecuentemente, cumpliendo dichas reglas y las demás que sean aplicables durante todas las etapas del proceso sin realizar variaciones, lo cual no es otra cosa que la entidad pública se sujete a los principios de legalidad e igualdad.
De acuerdo con lo anterior, el asesor no podía cambiar los criterios de calificación con base en consideraciones o apreciaciones de carácter personal, sino que debía ceñirse estrictamente a los parámetros definidos en la regulación para el efecto.
Ahora bien, el tratamiento diferenciado por parte del asesor para la evaluación de las propuestas, y los cambios en los criterios de evaluación, suponen una grave transgresión a los principios de legalidad, transparencia y objetividad dentro del proceso y, consecuentemente, la violación del derecho a la igualdad de CMX.
Como se explicó en capítulos anteriores, este tratamiento diferenciado y por tanto, discriminatorio entre las propuestas, y en contra de CMX, se hizo evidente por ejemplo en la evaluación del criterio previsto en el numeral romano i, literal b, Numeral 1, literal B del Anexo 1, cuando, a pesar de que la BMC no presentó de manera detallada la forma en la que realizaría el proceso de migración de datos, el asesor le asigna una calificación de 15 puntos mientras que a CMX le otorga solo 12, quien sí había presentado un plan detallado para el efecto. La irregularidad en la evaluación se agrava con la observación del asesor, quién, deliberadamente, en contra de lo establecido en la regulación, decide eximir a la BMC de cumplir el requisito, argumentando -sin ningún fundamento válido-, que la misma no requería de migración de datos y por tanto no debía presentar detalle al respecto.
De acuerdo con lo anterior, no solo existe un favorecimiento por parte del asesor hacia la propuesta de la BMC contrario a los principios de objetividad y transparencia, sino que, además, existe también una violación directa del principio de legalidad en la medida que el asesor habría relevado del cumplimiento del requisito a uno de los proponentes, en contra de lo establecido expresamente en la resolución y, obviamente, transgrediendo los derechos de CMX al debido proceso e igualdad.
Este tratamiento diferenciado, discriminatorio, arbitrario e irregular también se hace evidente en la calificación de los numerales 3.6 y 3.7 de la tabla 3 del anexo 3, cuando, a pesar de que las observaciones que realiza el asesor frente a cada requisito son básicamente las mismas para ambas propuestas, a la BMC le otorga un mayor puntaje sin ninguna justificación. Esto se corrobora en la declaración del testigo técnico.29
Otra de las irregularidades y arbitrariedades en el proceso de evaluación, y que evidencia el trato diferenciado, se presenta cuando el asesor pretende exigirle a CMX elementos o parámetros no previstos en los requisitos objeto de calificación, como por ejemplo, en el caso del numeral 3.1 (interfaz del usuario). Según se puede constatar en el concepto técnico del asesor, en la evaluación de este requisito se incluye una observación conforme a la cual se le exige a CMX un parámetro no contemplado en la regulación para su cumplimiento. En las observaciones para justificar la calificación de 4 puntos de 10 posibles, el asesor señala que la propuesta de CMX “no presenta analítica basada en OLAP”, a pesar de que esto no se exige para el cumplimiento del requisito.
Ahora bien, dentro de las principales inconsistencias en el testimonio del ingeniero Marco Téllez, las cuales se presentaron desde la primera respuesta de su declaración, se encuentran las siguientes:
Mientras que en su concepto técnico señaló que la BMC era quien había afirmado que las decisiones de migración “no eran de su responsabilidad”, en la declaración cambió de versión y señaló que esto lo había manifestado era CMX en la demostración. Aun cuando ésta sola inconsistencia revelaría un error en su concepto y le restaría validez, es necesario advertir que la misma no es coherente con otras de sus observaciones plasmadas en el mismo documento y sobre el mismo tema, como por ejemplo, cuando señala, que, en su criterio, la BMC al ser el actual gestor del mercado no requiere una migración de datos y por tanto no presenta detalle al respecto. En este sentido, no resulta lógico señalar que el proponente que sí presentó un plan detallado para la migración de datos (CMX), y no aquel que no presentó nada (BMC), hubiese sido el que realizó la afirmación advertida por el asesor. Por el contrario, esta inconsistencia y el intento de corregir lo afirmado en el concepto técnico, evidencia el sesgo que existe en la evaluación de las propuestas, o por lo menos, muestra indicios de la falta de objetividad y rigurosidad técnica por parte del asesor:
- Respecto al mismo punto de la migración de datos se presenta una grave inconsistencia entre lo establecido en el concepto técnico y el testimonio del ingeniero Marco Téllez. Mientras que en el Concepto Técnico el asesor manifestó expresamente que “Dado que BMC es el actual GM no se requiere una migración de datos y no se presenta detalle al respecto”, en su declaración, luego de una pregunta realizada por mi parte, modifica su posición y manifiesta que la BMC sí había presentado un plan detallado para la migración de datos a pesar de que esto no es cierto conforme se puede comprobar en el expediente con la propuesta técnica presentada por BMC. Posteriormente, cuando se realizan nuevas preguntas sobre el particular, el ingeniero Téllez reconoce finamente y de forma expresa que BMC no cumplió con este requisito del plan detallado para la migración de datos.
- A pesar de que en la declaración el asesor reconoció que existía una deficiencia en el cumplimiento del criterio básico de funcionamiento previsto en el numeral 8 de la tabla 2 del Anexo 3, aceptó como cumplido el requisito, argumentando que la BMC había manifestado en la demostración que podría subsanarlo adoptando medidas de seguridad adicionales para la información, que no estaban incluidas en la propuesta ni en la demostración. Esta inconsistencia hace evidente de nuevo, la falta de objetividad e imparcialidad en la evaluación de las propuestas. Mientras que a CMX le exige requisitos no previstos en la regulación, a la BMC le acepta incumplimientos parciales incluso en criterios básicos de funcionamiento que exigen una mayor rigurosidad en su evaluación.
- Como se expuso previamente, mientras que para evaluar la propuesta y la demostración de CMX el asesor utilizó como fundamento la supuesta inconsistencia entre estos para bajar la calificación (v.g. en el numeral 1.1. de la tabla 3), en el caso de la evaluación de la propuesta de la BMC no tuvo en cuenta la existencia de estas inconsistencias y aceptó como cumplidos por ejemplo el requisito previsto en el numeral 10 de la tabla 2 del anexo 3, a pesar de tratarse de un criterio básico de funcionamiento en el cual la rigurosidad en la evaluación respecto de su cumplimiento debía ser mucho mayor. Esto evidencia nuevamente la falta de coherencia en la aplicación de los criterios de evaluación por parte del asesor.
Todas estas irregularidades se pueden confirmar al analizar las conclusiones del concepto técnico, pues, aun cuando en virtud de las mismas se podría deducir fácilmente que la propuesta de CMX era mucho mejor que la de la BMC, la calificación final no resulta coherente. En este sentido, para que un concepto válido, especialmente cuando es de carácter técnico, y en tratándose de un proceso de selección adelantado por la administración, es necesario que tanto sus premisas como sus observaciones, análisis, argumentos, conclusiones y resultados sean coherentes, pues de lo contrario, el concepto adolecería de una grave inconsistencia que vicia su utilidad, pertinencia y validez.
3.3. Contradicciones en la declaración del testigo técnico
Finalmente, para efectos de valorar el testimonio técnico del ingeniero Marco Téllez, es importante señalar que durante el mismo, el testigo incurrió en múltiples contradicciones que deben ser consideradas por la Comisión al momento de tomar su decisión frente a los recursos de reposición. Asimismo, dadas las objeciones al concepto del asesor, la CREG debería realizar una revisión detallada de las mismas, especialmente teniendo en cuenta las transgresiones advertidas frente a los principios de legalidad, transparencia y objetividad, antes de tomar una decisión final dentro del proceso de selección.”
Frente la falta de idoneidad y experiencia del señor Marco Téllez, fundamentada, entre otros, por la carencia de ingenieros de sistemas de este o su equipo de trabajo, lo cual hace que sus observaciones sobre criterios técnicos en materia de tecnología y sistemas no sea la adecuada, se debe advertir que la Comisión a lo largo del desarrollo de este proceso lo ha considerado como un apoyo técnico útil y relevante, el cual se ha reflejado en el informe que presentó la empresa Hart Energy & Control Consulting y en lo expresado en su declaración la cual se hizo de manera clara y concreta.
En efecto, el testigo técnico con base en sus actuaciones a servido de apoyo en el proceso de evaluación, objetivo permitido en la regulación, para lograr el mejor entendimiento que requiera el Comité Evaluador en la toma de decisión.
Adicionalmente, dentro del trámite de la audiencia de contradicción, sobre la idoneidad y experiencia del señor Marco Téllez fue preguntado por parte del Director Ejecutivo de la Comisión lo siguiente:
“Preguntado por la Comisión: No hay problema, Marco creo que no alcanzó a escuchar, vuelvo a repetir, se solicita que el testigo se identifique, para lo cual muestre ante la cámara su cedula de ciudadanía y que rinda los generales de ley, para lo cual, nos diga, ¿ cuál es su edad, domicilio, profesión, ocupación, estudios que haya realizado y demás circunstancias que sirvan para establecer su identidad y si existe algún motivo que afecte la imparcialidad para rendir el presente testimonio. Adelante Marco, por favor.
Contestado: Permítame por favor un momento doctor, no sabía que tenía que mostrar mi cedula. Ahora sí, mi nombre es Marco Téllez Pantoja (…) soy mayor de edad, mi domicilio es (…), yo soy Ingeniero Electricista, egresado de la Universidad Nacional en 1992 con más de veinte años como consultor en el sector eléctrico de Colombia e internacionalmente, me he desempeñado como consultor con la empresa KEMA por aproximadamente siete años y los últimos siete años soy consultor y socio de la firma HART ENERGY AND CONSULTING, quien es la firma contratada para este proceso. He participado tanto en el diseño, especificación y procesos de contratación en sistemas informáticos que dan soporte a la operación de empresas del sector eléctrico en varios países, en particular, en Colombia he trabajado con la mayoría de las empresas del sector eléctrico y así he sido asesor de la CREG tanto en el proceso anterior de selección de Gestor del Mercado, como en el actual proceso. Esta es básicamente mi expertiz, tengo estudios de especializaciones en sistema de distribución de energía, no graduado y tengo algunas estudios y participaciones en conferencias y en foros internacionales. Esa es básicamente mi expertiz, no sé si hay algo que quieran anotar algo en particular.
Preguntado por la Comisión: Bueno no, muchas gracias, Marco.
Entonces a continuación, procedemos a la toma del juramento, para lo cual solicitamos, jurar que va a decir la verdad sobre lo que conozca o sobre los hechos que se le pregunten, y de que tenga conocimiento y se previene sobre la responsabilidad penal por los delitos de falso testimonio o fraude procesal, entonces adelante Marco.
Preguntado por el apoderado del Consorcio CMX: Anexo tres de la tabla tres, demostración de CMX punto uno, punto dos, diseño de software. Usted da respuesta de una de las preguntas que le hace el director de a CREG, usted contesto que en su experiencia el NET CORD tenía limitaciones, le pregunto ¿qué experiencia es esa y de qué año es?
Contestado: Yo no soy desarrollador de software, yo soy asesor técnicos en procesos de adquisición de sistema de información, en los últimos tiempos hemos visto que las plataformas NET para el desarrollo de software están siendo superadas y s bien algunas herramientas están siendo desarrolladas en PUNTO NET, en nuestra validación nos hemos dado cuenta que tienen algunas limitaciones, no estamos diciendo cual desarrollo o metodología es mejor una que otra, aquí estamos evidenciando por ambos oferentes que en punto NET hay una limitaciones y que están han sido revisadas y evaluadas en diferentes sistema de información operativo. Como digo no soy desarrollador de software no se a que podía yo darle detalle de cuáles son las versiones los tiempos y los años en que esto ha sido utilizado.
Preguntado por el apoderado del Consorcio CMX: Pero Ingeniero, usted dice que tuvo en cuenta su propia experiencia para calificar este criterio de acuerdo con su experiencia en NET CORD y yo le pregunto por la experiencia y usted me dice que no la tiene.
¿Cuál experiencia específica y de qué año es?
Contestado: Nosotros en particular en los últimos dos años hemos trabajado en la revisión de los sistema de información para la infraestructura de sistema críticas de sistemas de control tanto nacionales como regionales, específicamente he trabajado en el sistema de transmisión de chile, hemos trabajado en el sistema de soporte a la operación para la empresa EMSA en Panamá cerca de dos años y actualmente venimos siendo asesores con la empresa de transmisión con el sur en Perú y de la empresa COLBUN en Chile, en este proceso de la elaboración de los requerimientos técnicos y la revisión de las diferentes ofertas en el cumplimiento de eso, nos damos cuenta de las soluciones que ellos proponen, entonces de ahí sale la experiencia técnica que tengo para decir sobre que desarrollos tecnológicos tantos de datos como del software y saber cuáles son convenientes o no.
Preguntado por el apoderado del Consorcio CMX: Ósea, ¿en esa experiencia técnica que limitaciones encontró del NET CORD?
Contestado: En el documento están dichas. Si no están dichas, son aspectos como de seguridad, compatibilidad y desempeño.
Preguntado por el apoderado del Consorcio CMX: ¿Esas limitaciones técnicas que usted está determinando, son relevantes para el caso específico, o por qué haría que no funcionara el criterio, que el diseño del software fuera equivocado o que incumpliera el requisito?
Contestado: No, como usted lo dice, no causaban incumplimiento por ninguna de las dos partes, porque ambas la están utilizando y por eso ambas tienen la misma calificación, es un criterio que no es mandatorio, es un requerimiento ponderado”.
Conforme lo anterior, encuentra la Comisión que el Consorcio CMX y su apoderado pudieron dentro el trámite de la audiencia cuestionar la idoneidad y experiencia del señor Marco Téllez y la firma que representa para emitir las observaciones dentro del proceso de selección del gestor del mercado, sin embargo, esto no se realizó.
Por el contrario, las preguntas realizadas por el apoderado del Consorcio partieron de dicha idoneidad y experiencia, sin cuestionar de manera directa o exponer los reparos que ahora se manifiestan dentro en el marco de la práctica de la prueba y los mismos son expuestos con posterioridad.
Ahora, sin perjuicio de lo anterior, la Comisión estima que el señor Marco Téllez en representación de la firma Hart Consulting cuentan con la idoneidad para emitir las observaciones realizadas frente al proceso de selección del Gestor del Mercado por las siguientes razones:
La firma Hart-ECC fue seleccionada como asesora técnica del proceso de selección del Gestor del mercado en su experiencia en análisis de sistemas de información, tal como se describió en su cotización allegada a la Comisión, la cual señala:
“(…)
Hart-ECC es un consultor internacional que ha asesorado en proyectos exitosos en las áreas de Sistemas de Información para Supervisión y Control en Tiempo Real (SCADA) para empresas eléctricas y de gas. Sistemas de Gestión y Subestaciones. Automatización de la Distribución (DA) e integración de sistemas de información para empresas eléctricas tanto públicas como privadas. Los consultores de Hart-ECC han asesorado a diversas empresas en proyectos de estas áreas tanto en América Latina como en Estados Unidos y Europa. El beneficio para la CREG de contar con consultores de Hart-ECC radica en la amplia experiencia y conocimientos en los temas requeridos y por el conocimiento de la regulación y normativa de Colombia.
Hart-ECC ha participado en proyectos elaborando diseños y especificaciones técnicas de sistemas de supervisión y control que cumplen con estándares internacionales, utilizando equipos y programas basados en la más moderna tecnología y diseños disponibles, permitiendo adquirir sistemas de información que permitan el crecimiento de la empresa acorde a la evaluación de ella y con una flexibilidad de crecimiento vertical y horizontal a largo plazo. Particularmente, Hart-ECC dio soporte a la CREG en el proceso anterior de selección del mercado de gas y ha participado en el diseño, especificación y asistencia en la licitación para la optimización de la operación de las instalaciones de Gas Natural – Fenosa para América Latina”
Ahora bien, en lo que hace referencia a la evaluación de la prueba, se observa que el testigo técnico respondió un extenso y detallado interrogatorio, contestó todas las preguntas que le formularon y brindó todas las aclaraciones que le fueron solicitadas, en las que demostró conocimiento y competencia en la materia objeto de la prueba.
No encuentra entonces la Comisión elementos de juicio objetivos con los cuales desconocer la declaración del testigo técnico, ni son de recibo por infundadas las afirmaciones que hace el apoderado del Consorcio CMX sobre la falta de imparcialidad del asesor.
5. Conclusiones
En la Tabla que se muestra a continuación se consigna el resultado de los ajustes a la Evaluación Técnica como resultado del análisis de los recursos de reposición contra la Resolución
CREG 017 de 2020:
La Comisión de Regulación de Energía y Gas aprobó el presente acto administrativo en su sesión 1024 del 2 de julio de 2020.
R E S U E L V E:
ART. 1º— Negar las peticiones hechas por la Bolsa Mercantil de Colombia S.A. en su recurso de reposición interpuesto contra la Resolución CREG 017 de 2020, de acuerdo con los argumentos expuestos en la parte motiva de la presente resolución.
ART. 2º— Negar las peticiones hechas por el Consorcio CMX en su recurso de reposición interpuesto contra la Resolución CREG 017 de 2020, de los apartes “respecto de la propuesta de la BMC”, “respecto de la calificación de la demostración de la BMC”, “respecto a la calificación de la propuesta técnica de CMX” con excepción de sus numerales 2 y 3, “respecto a la calificación de la demostración de CMX” con excepción del numeral 3.1. Lo anterior, de acuerdo con los argumentos expuestos en la parte motiva de la presente resolución.
ART. 3º— Reponer parcialmente el artículo 1 de la Resolución CREG 017 de 2020, por lo que el mismo quedará así:
De acuerdo con el artículo 14 de la Resolución CREG 055 de 2019, el orden de elegibilidad para seleccionar el gestor del mercado de gas natural es el siguiente:
ART. 4º— Modificar el Anexo de la resolución CREG 017 de 2020, el cual quedará así:
Conforme a lo dispuesto en el Artículo 14 de la Resolución CREG 055 de 2019, y sus anexos 1 y 3, a continuación se discrimina la calificación de los interesados habilitados en su Evaluación Técnica.
Así mismo, se discrimina la calificación de los interesados habilitados en la Evaluación Económica. Para ello se presenta el ingreso anual esperado para cada uno de los años de la vigencia presentado por los interesados habilitados, en pesos de diciembre de 2018, conforme a lo contenido en el Formato 9 de la Resolución CREG 055 de 2019.
El Puntaje Final contenido en el Artículo 1 de esta resolución, es la suma de los puntajes obtenidos en la Evaluación Técnica y en la Evaluación Económica de las propuestas de cada interesado habilitado a participar en el proceso de selección del gestor del mercado, conforme a lo dispuesto en la Resolución CREG 055 de 2019.
ART. 5º— La presente resolución deberá notificarse electrónicamente a los representantes de la BOLSA MERCANTIL DE COLOMBIA S.A. y el CONSORCIO CMX S.A.S., ateniendo lo previsto en el artículo 4º del Decreto Legislativo 491 de 2020. Contra la presente resolución no procede recurso alguno.
NOTIFÍQUESE Y CÚMPLASE
