En el contexto actual, las competiciones de inteligencia artificial son fundamentales para impulsar el desarrollo y la evaluación de modelos. Este trabajo se enfoca en estudiar las distintas plataformas para la creación de competiciones, centrándose en una competición de clasificación de imágenes de satélite. Para desarrollar la competición, se ha hecho uso de dos herramientas distintas: EvalAI y Codabench. Ambas plataformas son reconocidas por su capacidad para organizar competiciones de aprendizaje automático. Una vez desarrollada la competición en ambas plataformas, se llevó a cabo una comparación entre ellas tanto a nivel del administrador como de los participantes. Además, se llevó a cabo una simulación que implicó la incorporación de resultados obtenidos por diversos participantes una vez creada la competición para analizar el rendimiento de las plataformas en un entorno de competición realista.
ABSTRACT
In the current context, artificial intelligence competitions are essential for driving the development and evaluation of models. This work focuses on studying various platforms for creating competitions, with a focus on an image classification competition using satellite images. To develop the competition, two different tools were used: EvalAI and Codabench. Both platforms are recognized for their ability to organize machine learning competitions. Once the competition was developed on both platforms, a comparison was made between them at both the administrator and participant levels. Additionally, a simulation was conducted that involved incorporating results obtained by various participants after the competition was created to analyze the performance of the platforms in a realistic competition environment.
En el contexto actual, las competiciones de inteligencia artificial son fundamentales para impulsar el desarrollo y la evaluación de modelos. Este trabajo se enfoca en estudiar las distintas plataformas para la creación de competiciones, centrándose en una competición de clasificación de imágenes de satélite. Para desarrollar la competición, se ha hecho uso de dos herramientas distintas: EvalAI y Codabench. Ambas plataformas son reconocidas por su capacidad para organizar competiciones de aprendizaje automático. Una vez desarrollada la competición en ambas plataformas, se llevó a cabo una comparación entre ellas tanto a nivel del administrador como de los participantes. Además, se llevó a cabo una simulación que implicó la incorporación de resultados obtenidos por diversos participantes una vez creada la competición para analizar el rendimiento de las plataformas en un entorno de competición realista.
ABSTRACT
In the current context, artificial intelligence competitions are essential for driving the development and evaluation of models. This work focuses on studying various platforms for creating competitions, with a focus on an image classification competition using satellite images. To develop the competition, two different tools were used: EvalAI and Codabench. Both platforms are recognized for their ability to organize machine learning competitions. Once the competition was developed on both platforms, a comparison was made between them at both the administrator and participant levels. Additionally, a simulation was conducted that involved incorporating results obtained by various participants after the competition was created to analyze the performance of the platforms in a realistic competition environment. Read More
Related posts:
Análisis y visualización de datos de la Liga Española de Fútbol
Análisis de subvenciones extraordinarias con motivo del COVID-19
Análisis del nado subacuático en competición de nadadores internacionales en piscina de 25 metros
Offsite Evaluation of Localization Systems: Criteria, Systems, and Results From IPIN 2021 and 2022 Competitions
Propuesta ludotécnica para las distintas pruebas del atletismo en iniciación
Integración de la Inteligencia Artificial en la Educación: Alcances Técnicos y Consideraciones Éticas-Filosóficas