En el 2017, Ashish Vaswani junto a otros tanto profesionales introdujeron los Transformersen el ámbito del Procesamiento de Lenguaje Natural. Estos avances mejoraron los resultados de los modelos de dicho ámbito en cuanto a rapidez de entrenamiento, capacidad de trabajar con dependencias a corto plazo y los límites de memoria que tenían las Redes Neuronales Recurrentes. Los Transformers estaban principalmente compuestos de mecanismos de atención que ayudaban al modelo a centrarse en las partes más importantes de las secuencias de entrada. Estos modelos Transformers fueron principalmente desarrollados para realizar tareas relacionadas con el campo de la traducción automática, sin embargo, debido a su gran capacidad para tratar con dependencias a largo plazo, se empezaron a utilizar para tareas relacionadas con la predicción de series temporales. En [Prado-Rujas et al., 2023]se introdujo un problema basado en la predicción de la demanda de movilidad del transporte público en diferentes series temporales ya que, desde hace décadas que ciudades como Nueva York o Chicago sufrían el problema de congestión de tráfico. Por lo tanto, este trabajo se lleva a cabo mediante un Transformer por dos motivos diferentes. El primero, se basa en que este tipo de modelo ha sido previamente utilizado para tareas de predicción similares. El segundo de los motivos es que la predicción de la demanda de movilidad del transporte público podría ayudar a gestionar las calles de mejor manera. Es decir, se va a realizar dicha predicción en diferentes series temporales mediante un modelo Transformer desarrollado específicamente para esta tarea denominado “Spatio Temporal Transformer for Mobility Demand Forecasting”(STT-MDF).
—ABSTRACT—
In 2017, Ashish Vaswani along with other professionals introduced Transformers in the field of Natural Language Processing. These advances improved the results of the models in this field in terms of speed of training, ability to work with short-term dependencies and the memory limits that Recurrent Neural Networks had. The Transformers were mainly composed of attention mechanisms that helped the model focus on the most important parts of the input sequences. These Transformers models were mainly developed to perform tasks related to the field of machine translation, however, due to their great ability to deal with long-term dependencies, they began to be used for tasks related to time series prediction. In [Prado-Rujas et al., 2023] a problem was introduced based on the prediction of public transport mobility demand indifferent time series since, for decades, cities such as New York or Chicago have suffered from the problem of traffic congestion. Therefore, this work is carried out using a Transformer for two different reasons. The first one is based on the fact that this type of model has been previously used for similar prediction tasks. The second reason is that predicting public transport mobility demand could help manage streets in a better way. That is, said prediction will be made in different time series using a Transformer model developed specifically for this task called “Spatio Temporal Transformerfor Mobility Demand Forecasting” (STT-MDF).
En el 2017, Ashish Vaswani junto a otros tanto profesionales introdujeron los Transformersen el ámbito del Procesamiento de Lenguaje Natural. Estos avances mejoraron los resultados de los modelos de dicho ámbito en cuanto a rapidez de entrenamiento, capacidad de trabajar con dependencias a corto plazo y los límites de memoria que tenían las Redes Neuronales Recurrentes. Los Transformers estaban principalmente compuestos de mecanismos de atención que ayudaban al modelo a centrarse en las partes más importantes de las secuencias de entrada. Estos modelos Transformers fueron principalmente desarrollados para realizar tareas relacionadas con el campo de la traducción automática, sin embargo, debido a su gran capacidad para tratar con dependencias a largo plazo, se empezaron a utilizar para tareas relacionadas con la predicción de series temporales. En [Prado-Rujas et al., 2023]se introdujo un problema basado en la predicción de la demanda de movilidad del transporte público en diferentes series temporales ya que, desde hace décadas que ciudades como Nueva York o Chicago sufrían el problema de congestión de tráfico. Por lo tanto, este trabajo se lleva a cabo mediante un Transformer por dos motivos diferentes. El primero, se basa en que este tipo de modelo ha sido previamente utilizado para tareas de predicción similares. El segundo de los motivos es que la predicción de la demanda de movilidad del transporte público podría ayudar a gestionar las calles de mejor manera. Es decir, se va a realizar dicha predicción en diferentes series temporales mediante un modelo Transformer desarrollado específicamente para esta tarea denominado “Spatio Temporal Transformer for Mobility Demand Forecasting”(STT-MDF).
—ABSTRACT—
In 2017, Ashish Vaswani along with other professionals introduced Transformers in the field of Natural Language Processing. These advances improved the results of the models in this field in terms of speed of training, ability to work with short-term dependencies and the memory limits that Recurrent Neural Networks had. The Transformers were mainly composed of attention mechanisms that helped the model focus on the most important parts of the input sequences. These Transformers models were mainly developed to perform tasks related to the field of machine translation, however, due to their great ability to deal with long-term dependencies, they began to be used for tasks related to time series prediction. In [Prado-Rujas et al., 2023] a problem was introduced based on the prediction of public transport mobility demand indifferent time series since, for decades, cities such as New York or Chicago have suffered from the problem of traffic congestion. Therefore, this work is carried out using a Transformer for two different reasons. The first one is based on the fact that this type of model has been previously used for similar prediction tasks. The second reason is that predicting public transport mobility demand could help manage streets in a better way. That is, said prediction will be made in different time series using a Transformer model developed specifically for this task called “Spatio Temporal Transformerfor Mobility Demand Forecasting” (STT-MDF). Read More
Related posts:
Análisis comparativo de librerías de series temporales para la predicción del tráfico en diversas antenas de MásMóvil
Comparación del desempeño de Transfer Learning en Transformers Visuales para la clasificación de imágenes de satélite
A Novel Transformer Network With Shifted Window Cross-Attention for Spatiotemporal Weather Forecasting
Propuesta de aplicación del modelo de educación deportiva
para la enseñanza del baloncesto
Diseño de una metodología de cálculo del Valor del Cliente (CLTV) basada en
redes neuronales para la predicción del comportamiento de los consumidores
en un entorno empresarial
Así usa Bimbo el poder de la IA para la predicción de la demanda