Este Trabajo Fin de Grado tiene como objetivo principal la realización de un análisis comparativo de tres herramientas ETL: Talend Open Studio, Pentaho Data Integration y Apache NiFi, en el contexto de las ciudades inteligentes o Smart Cities.
Para llevar a cabo este análisis comparativo se establecen tres casos de uso: integración de datos dinámicos con datos estáticos, integración de datos estáticos con datos estáticos, pero con distinta agregación espacial y la integración de archivos ShapeFile. La elección de estos casos de uso se debe a que en ellos se pueden identificar los problemas más comunes en la interoperabilidad de los datos.
Para alcanzar este objetivo, se han creado tres jobs, uno por cada caso de uso, en cada una de las herramientas. Finalmente basándonos en unos criterios de valoración se realizará el análisis comparativo y se obtendrán unas conclusiones.
Tras la realización del proyecto, se concluyó que para el caso de uso 1 la herramienta más adecuada sería Talend Open Studio, mientras que para el caso de uso 2 las tres herramientas nos ofrecen rendimientos parecidos, aunque Talend Open Studio ofrece mejores resultados tiempo y escalabilidad. Por último, en el caso de uso 3 la mejor herramienta sin duda es Pentaho Data Integration ya que nos ofrece funcionalidades geoespaciales con muy buenas prestaciones. Sin embargo, en este proyecto se ha evaluado una minoría de las herramientas ETL existentes en el mercado, por lo que la elección de una herramienta u otra es crucial para la correcta realización del proyecto y se debe seleccionar en función de las necesidades específicas de cada proyecto.
Abstract:
This Bachelor’s Thesis aims to conduct a comparative analysis of three ETL (Extract, Transform, Load) tools: Talend Open Studio, Pentaho Data Integration, and Apache NiFi, within the context of Smart Cities.
To carry out this comparative analysis, three use cases are established: integration of dynamic data with static data, integration of static data with different spatial aggregations, and the integration of ShapeFile files. The selection of these use cases is motivated by the identification of common challenges in data interoperability.
To achieve this objective, three jobs, one for each use case, have been created using each of the selected tools. Finally, based on predefined evaluation criteria, a comparative analysis will be conducted, leading to conclusions.
After completion of the project, it was concluded that for use case 1 the most suitable tool would be Talend Open Studio, while for use case 2 the three tools offer similar performances, although Talend Open Studio offers better results in terms of time and scalability. Finally, in use case 3, the best tool is undoubtedly Pentaho Data Integration, as it offers geospatial functionalities with very good features. However, in this project a minority of the existing ETL tools on the market have been evaluated, so the choice of one tool or another is crucial for the correct implementation of the project and must be selected according to the specific needs of each project.
Este Trabajo Fin de Grado tiene como objetivo principal la realización de un análisis comparativo de tres herramientas ETL: Talend Open Studio, Pentaho Data Integration y Apache NiFi, en el contexto de las ciudades inteligentes o Smart Cities.
Para llevar a cabo este análisis comparativo se establecen tres casos de uso: integración de datos dinámicos con datos estáticos, integración de datos estáticos con datos estáticos, pero con distinta agregación espacial y la integración de archivos ShapeFile. La elección de estos casos de uso se debe a que en ellos se pueden identificar los problemas más comunes en la interoperabilidad de los datos.
Para alcanzar este objetivo, se han creado tres jobs, uno por cada caso de uso, en cada una de las herramientas. Finalmente basándonos en unos criterios de valoración se realizará el análisis comparativo y se obtendrán unas conclusiones.
Tras la realización del proyecto, se concluyó que para el caso de uso 1 la herramienta más adecuada sería Talend Open Studio, mientras que para el caso de uso 2 las tres herramientas nos ofrecen rendimientos parecidos, aunque Talend Open Studio ofrece mejores resultados tiempo y escalabilidad. Por último, en el caso de uso 3 la mejor herramienta sin duda es Pentaho Data Integration ya que nos ofrece funcionalidades geoespaciales con muy buenas prestaciones. Sin embargo, en este proyecto se ha evaluado una minoría de las herramientas ETL existentes en el mercado, por lo que la elección de una herramienta u otra es crucial para la correcta realización del proyecto y se debe seleccionar en función de las necesidades específicas de cada proyecto.
Abstract:
This Bachelor’s Thesis aims to conduct a comparative analysis of three ETL (Extract, Transform, Load) tools: Talend Open Studio, Pentaho Data Integration, and Apache NiFi, within the context of Smart Cities.
To carry out this comparative analysis, three use cases are established: integration of dynamic data with static data, integration of static data with different spatial aggregations, and the integration of ShapeFile files. The selection of these use cases is motivated by the identification of common challenges in data interoperability.
To achieve this objective, three jobs, one for each use case, have been created using each of the selected tools. Finally, based on predefined evaluation criteria, a comparative analysis will be conducted, leading to conclusions.
After completion of the project, it was concluded that for use case 1 the most suitable tool would be Talend Open Studio, while for use case 2 the three tools offer similar performances, although Talend Open Studio offers better results in terms of time and scalability. Finally, in use case 3, the best tool is undoubtedly Pentaho Data Integration, as it offers geospatial functionalities with very good features. However, in this project a minority of the existing ETL tools on the market have been evaluated, so the choice of one tool or another is crucial for the correct implementation of the project and must be selected according to the specific needs of each project. Read More
Related posts:
Improvements in Ciao Prolog’s development environment: developing a rich development environment for Ciao on visual studio code
Análisis de grafos en Big Data sobre datos de vuelos
Modelización 3D de la Escuela Técnica Superior de Ingenieros en Topografía, Geodesia y Cartografía (BIM) a partir de escaneos
Desarrollo de un gemelo digital para un sensor de mediciones medioambientales
Solución de Business Intelligence con herramientas de código abierto para un sistema de bicicletas compartidas
Toolset para la gestión de información sísmica