Este trabajo explora el análisis y la evaluación de las técnicas de explicabilidad aplicadas a modelos de inteligencia artificial. Estas técnicas surgen como una respuesta a la complejidad de los algoritmos, lo que dificulta su entendimiento, con la intención de otorgar explicaciones comprensibles para los humanos.
En la actualidad existen múltiples técnicas y, ante esta variedad, es importante determinar cuál de ellas tiene un mejor rendimiento o en qué contexto se desenvuelve mejor cada una de ellas, así como validar nuevos métodos en base a ciertos estándares de calidad.
El objetivo final estaba marcado por el análisis del método AXOM, así como de las técnicas más extendidas en diferentes contextos. Al mismo tiempo, se quería obtener información sobre las diferentes herramientas disponibles para llevar a cabo esta evaluación.
El primer paso para ello consistió en llevar a cabo una revisión de los principales trabajos relacionados con el benchmarking de técnicas de explicabilidad. De esta forma, se analizaron las diferentes tecnologías y propuestas existentes en esta área para posteriormente utilizar una de ellas y realizar la evaluación deseada.
La herramienta elegida fue XAI-Bench, esta librería destaca por su compatibilidad y capacidad de análisis. Cuenta con cinco métricas para llevar a cabo la evaluación desde distintos puntos de vista: ROAR, Faithfulness, Monotonicity, Shapley e Infidelity. Además, XAI-Bench está basada en el uso de datasets sintéticos.
Tras realizar los preparativos correspondientes, como la adición del método AXOM a la librería, se procedió a realizar experimentos para comprobar la calidad de los siguientes algoritmos de explicabilidad: SHAP, BruteForceSHAP, KernelSHAP, LIME, MAPLE, L2X, Breakdown, iBreakdown y AXOM. Estos experimentos están principalmente diferenciados según el modelo o datos utilizados para realizar el análisis de las explicaciones.
El análisis de los resultados obtenidos encumbra a KernelSHAP y SHAP como las técnicas con más potencial y valida a AXOM como un método útil para conseguir explicaciones.
Como conclusión, XAI-Bench, así como este tipo de herramientas, son muy útiles para entender que técnica es mejor utilizar en situaciones concretas aunque, debido a la diversidad entre métodos, es complicado establecer un ranking global. Por otra parte, destaca la falta de una base común en las distintas herramientas de evaluación que permitiría establecer unos estándares mínimos que se podrían utilizar para desarrollar algoritmos de explicabilidad con una calidad probada.
ABSTRACT
This work explores the analysis and evaluation of explainability techniques applied to artificial intelligence models. These techniques have emerged in response to the complexity of algorithms, which makes them difficult to understand, with the intention of providing explanations that are comprehensible to humans.
Currently, there are multiple techniques available, and given this variety, it is important to determine which one performs better or which is the best context for each one, as well as to validate new methods based on certain quality standards.
The ultimate goal was defined by the analysis of the AXOM method as well as the most widespread techniques in different contexts. Moreover, the aim was to obtain information about the several tools available to do this evaluation.
The first step involved conducting a review of the main works related to the benchmarking of explainability techniques. In this way, the different technologies and existing proposals in this area were analyzed, to later use one of them and do the desired evaluation.
The chosen tool was XAI-Bench, a library that stands out for its compatibility and analytical capabilities. It provides five metrics for evaluation from different perspectives: ROAR, Faithfulness, Monotonicity, Shapley, and Infidelity. Additionally, XAIBench is based on the use of synthetic datasets.
After making the preparations, such as adding the AXOM method to the library, experiments were conducted to assess the quality of the following explainability algorithms: SHAP, BruteForceSHAP, KernelSHAP, LIME, MAPLE, L2X, Breakdown, iBreakdown, and AXOM. These experiments were mainly differentiated based on the model or dataset used for the explanation analysis.
The analysis of the obtained results highlights KernelSHAP and SHAP as the techniques with the most potential and validates AXOM as a useful method for generating explanations.
In conclusion, XAI-Bench, as well as all the tools of this type, are very useful for understanding which technique is best to use in specific situations. However, due to the diversity among methods, it is challenging to establish a global ranking. Additionally, there is a notable lack of a common basis among the different evaluation tools, which would allow for the establishment of minimum standards that could be used to develop explainability algorithms with proven quality.
Este trabajo explora el análisis y la evaluación de las técnicas de explicabilidad aplicadas a modelos de inteligencia artificial. Estas técnicas surgen como una respuesta a la complejidad de los algoritmos, lo que dificulta su entendimiento, con la intención de otorgar explicaciones comprensibles para los humanos.
En la actualidad existen múltiples técnicas y, ante esta variedad, es importante determinar cuál de ellas tiene un mejor rendimiento o en qué contexto se desenvuelve mejor cada una de ellas, así como validar nuevos métodos en base a ciertos estándares de calidad.
El objetivo final estaba marcado por el análisis del método AXOM, así como de las técnicas más extendidas en diferentes contextos. Al mismo tiempo, se quería obtener información sobre las diferentes herramientas disponibles para llevar a cabo esta evaluación.
El primer paso para ello consistió en llevar a cabo una revisión de los principales trabajos relacionados con el benchmarking de técnicas de explicabilidad. De esta forma, se analizaron las diferentes tecnologías y propuestas existentes en esta área para posteriormente utilizar una de ellas y realizar la evaluación deseada.
La herramienta elegida fue XAI-Bench, esta librería destaca por su compatibilidad y capacidad de análisis. Cuenta con cinco métricas para llevar a cabo la evaluación desde distintos puntos de vista: ROAR, Faithfulness, Monotonicity, Shapley e Infidelity. Además, XAI-Bench está basada en el uso de datasets sintéticos.
Tras realizar los preparativos correspondientes, como la adición del método AXOM a la librería, se procedió a realizar experimentos para comprobar la calidad de los siguientes algoritmos de explicabilidad: SHAP, BruteForceSHAP, KernelSHAP, LIME, MAPLE, L2X, Breakdown, iBreakdown y AXOM. Estos experimentos están principalmente diferenciados según el modelo o datos utilizados para realizar el análisis de las explicaciones.
El análisis de los resultados obtenidos encumbra a KernelSHAP y SHAP como las técnicas con más potencial y valida a AXOM como un método útil para conseguir explicaciones.
Como conclusión, XAI-Bench, así como este tipo de herramientas, son muy útiles para entender que técnica es mejor utilizar en situaciones concretas aunque, debido a la diversidad entre métodos, es complicado establecer un ranking global. Por otra parte, destaca la falta de una base común en las distintas herramientas de evaluación que permitiría establecer unos estándares mínimos que se podrían utilizar para desarrollar algoritmos de explicabilidad con una calidad probada.
ABSTRACT
This work explores the analysis and evaluation of explainability techniques applied to artificial intelligence models. These techniques have emerged in response to the complexity of algorithms, which makes them difficult to understand, with the intention of providing explanations that are comprehensible to humans.
Currently, there are multiple techniques available, and given this variety, it is important to determine which one performs better or which is the best context for each one, as well as to validate new methods based on certain quality standards.
The ultimate goal was defined by the analysis of the AXOM method as well as the most widespread techniques in different contexts. Moreover, the aim was to obtain information about the several tools available to do this evaluation.
The first step involved conducting a review of the main works related to the benchmarking of explainability techniques. In this way, the different technologies and existing proposals in this area were analyzed, to later use one of them and do the desired evaluation.
The chosen tool was XAI-Bench, a library that stands out for its compatibility and analytical capabilities. It provides five metrics for evaluation from different perspectives: ROAR, Faithfulness, Monotonicity, Shapley, and Infidelity. Additionally, XAIBench is based on the use of synthetic datasets.
After making the preparations, such as adding the AXOM method to the library, experiments were conducted to assess the quality of the following explainability algorithms: SHAP, BruteForceSHAP, KernelSHAP, LIME, MAPLE, L2X, Breakdown, iBreakdown, and AXOM. These experiments were mainly differentiated based on the model or dataset used for the explanation analysis.
The analysis of the obtained results highlights KernelSHAP and SHAP as the techniques with the most potential and validates AXOM as a useful method for generating explanations.
In conclusion, XAI-Bench, as well as all the tools of this type, are very useful for understanding which technique is best to use in specific situations. However, due to the diversity among methods, it is challenging to establish a global ranking. Additionally, there is a notable lack of a common basis among the different evaluation tools, which would allow for the establishment of minimum standards that could be used to develop explainability algorithms with proven quality. Read More
Related posts:
Uso de modelos del lenguaje para búsquedas semánticas en textos científicos
Técnicas para cuantificar la generación de residuos en organizaciones. Casos de estudio en la Universidad Politécnica de Madrid
Diseño, desarrollo y validación de un modelo de aprendizaje automático para el control del satélite UPMSat-3
Diseño de una solución integrada de monitorización para entornos distribuidos
Sistema de intercambio de archivos con servicios de seguridad y Nearby
Sistema de detección y clasificación automática de anomalías en radiografías de tórax utilizando Deep Learning