La visión por computador es un campo de crucial importancia en el desarrollo de la robótica, ya que permite la interacción entre las máquinas y la realidad que las rodea. Dotar a un procesador con la capacidad de ver, de forma que pueda recoger imágenes y convertirlas en datos que pueden ser interpretados y procesados, abre nuevos horizontes de aplicación que van a permitir a estas máquinas, cada vez más sofisticadas y capaces, realizar de forma autónoma tareas de alta complejidad.
El presente proyecto aborda el diseño, desarrollo y construcción del prototipo de un sistema integrado para el seguimiento de drones en vuelo mediante cámaras PTZ y sensores de captura de movimiento. El término PTZ se emplea para denominar un tipo concreto de cámaras capaces de rotar alrededor del plano horizontal (pan) y del vertical (tilt), a la vez que son capaces de variar su distancia de enfoque (zoom). Por otro lado, un sistema de captura de movimiento o MOCAP, como se les llamará a lo largo del trabajo, es una tecnología que registra los movimientos de un objeto o un ser vivo en el espacio tridimensional y los traduce en datos digitales utilizando una combinación de cámaras infrarrojas y marcadores reflectantes para rastrear la posición y orientación de puntos específicos del cuerpo.
Antes del desarrollo de este trabajo, el manejo de las cámaras PTZ se realizaba desde una mesa de control manual equipada con un joystick y botones. Este controlador no permitía el manejo simultáneo de varias cámaras, ofreciendo por tanto una funcionalidad limitada. Para vencer estas limitaciones, en este Trabajo de Fin de Grado se diseña un sistema que hace funcionar de forma integrada y autónoma el dispositivo de MOCAP y las cámaras. Con él, un dron o cualquier otro dispositivo de vuelo autónomo, puede ser seguido en todo momento por las cámaras de manera precisa, fiable, robusta y completamente automatizada.
Para la elaboración del trabajo se ha seguido una metodología secuencial, distribuida en tres fases. Cada fase se apoya en el trabajo desarrollado previamente, implementando mejoras y nuevas funcionalidades que constituyen un sistema cada vez más complejo y funcional.
La primera fase del proyecto contempla el control de las cámaras PTZ, estableciendo una conexión directa desde un ordenador de forma independiente al joystick. La implementación de un código para su control permitirá, de una forma manual, hacer que las cámaras apunten a distintas coordenadas en el espacio determinadas por el usuario. Esta fase permitirá comprender en mayor profundidad el funcionamiento del sistema, comprobar sus limitaciones físicas y formar una idea de qué acciones se podrán llevar a cabo con él una vez funcione de forma autónoma.
La segunda fase de trabajo contempla la integración del dispositivo de MOCAP en el prototipo. En este punto se alcanza la construcción de un sistema funcional capaz de lograr que las cámaras PTZ sigan de manera autónoma a un dron en vuelo. El sistema de seguimiento de drones involucra diversos dispositivos, como las cámaras PTZ y el sistema de MOCAP, cada uno con su propio sistema de coordenadas.
La fase final se centra en depurar y robustecer el algoritmo de seguimiento, incorporando las necesarias transformaciones entre los distintos sistemas de coordenadas implicados. Una vez completada esta fase, el sistema está preparado para que las cámaras sigan a un dron en vuelo de forma autónoma, optimizada y precisa, dándose por alcanzados los objetivos del proyecto.
El resultado final del proyecto es un sistema integrado que cumple con las especificaciones y requisitos inicialmente establecidos por el CVAR, quien lo incorporará como herramienta de trabajo para sus futuras investigaciones. A lo largo del proyecto, se han logrado avances significativos que demuestran la viabilidad técnica de un sistema de seguimiento automatizado en entornos dinámicos, empleando tecnologías accesibles como ROS.
Destaca el éxito en la integración de las cámaras PTZ con el protocolo ‘VISCA over IP’, demostrando que es posible mover las cámaras hacia posiciones deseadas basándose en cálculos precisos de ángulos de pan y tilt. Los resultados mostraron que, dentro de las limitaciones de físicas de las cámaras, la precisión en la orientación es adecuada, incluso cuando los objetivos entran dentro de la zona muerta inaccesible por la cámara.
Se ha demostrado también la capacidad del sistema para utilizar las coordenadas recibidas desde el dispositivo de MOCAP y trasladarlas a un sistema de control en bucle abierto para orientar las cámaras. Las pruebas con un nodo de ROS que actúa como un simulador del MOCAP validaron la correcta recepción y transformación de los datos, mientras que la integración final con el MOCAP real permitió comprobar la eficacia del sistema en condiciones reales.
Finalmente, el manejo de las transformaciones de referencia entre las coordenadas de MOCAP y las cámaras PTZ permitió terminar de automatizar el seguimiento del dron. Los resultados han demostrado que el sistema puede adaptarse dinámicamente a los cambios en la posición del dron, lo que refleja un control robusto y adaptable. Las pruebas realizadas también mostraron ciertas limitaciones, especialmente relacionadas con las restricciones físicas de las cámaras y la incapacidad de establecer un bucle cerrado de control con el que conocer su posición real. Sin embargo, estos aspectos no comprometen los objetivos generales del proyecto, sino que abren la puerta a futuras mejoras. En el siguiente enlace [1] puede encontrarse un vídeo que muestra el funcionamiento del prototipo final del sistema de seguimiento de drones en vuelo, mientras que el código completo que se ha desarrollado durante el trabajo puede encontrarse en este repositorio de GitHub [2].
ABSTRACT
Computer vision is a field of crucial importance in the development of robotics, since it allows interaction between machines and the reality that surrounds them. Endowing a processor with the ability to see, so that it can collect images and convert them into data that can be interpreted and processed, opens new application horizons that will allow these machines, increasingly sophisticated and capable, to perform autonomously tasks of high complexity.
This project addresses the design, development and construction of the prototype of an integrated system for tracking drones in flight using PTZ cameras and motion capture sensors, which will be referred to as mocap throughout the document. The term PTZ is used to name a specific type of cameras capable of rotating around the horizontal (pan) and the vertical (tilt) plane, while they are able to vary their focus distance (zoom). On the other hand, a motion capture or MOCAP system is a technology that records the movements of an object or a living being in three-dimensional space and translates them into digital data using a combination of infrared cameras and reflective markers to track the position and orientation of specific points of the body.
Before the development of this work, the operation of PTZ cameras was carried out from a manual control table equipped with a joystick and buttons. This controller did not allow the simultaneous operation of several cameras, therefore offering limited functionality. To overcome these limitations, this Final Degree Project designs a system that makes the MOCAP device and cameras work in an integrated and autonomous way. With it, a drone or any other autonomous flight device can be followed at all times by the cameras in a precise, reliable, robust and fully automated way.
For the preparation of the work, a sequential methodology has been followed, distributed in three phases. Each phase is based on the previously developed work, implementing improvements and new functionalities that constitute an increasingly complex and functional system.
The first phase of the project contemplates the control of the PTZ cameras, establishing a direct connection from a computer independently to the joystick. The implementation of a code for its control will allow, in a manual way, to make the cameras point to different coordinates in the space determined by the user. This phase will allow to understand the operation of the system in more depth, check its physical limitations and form an idea of what actions can be carried out with it once it works autonomously.
The second phase of work contemplates the integration of the MOCAP device in the prototype. At this point, the construction of a functional system capable of getting PTZ cameras to autonomously follow a drone in flight is reached.
The drone tracking system involves various devices, such as PTZ cameras and the MOCAP system, each with its own coordinate system. The final phase focuses on debugging and strengthening the tracking algorithm, incorporating the necessary transformations between the different coordinate systems involved. Once this phase is completed, the system is prepared for the cameras to follow a drone in flight in an autonomous, optimized and precise way, with the project’s objectives being achieved.
The final result of the project is an integrated system that complies with the specifications and requirements initially established by the CVAR, who will incorporate it as a work tool for their future research. Throughout the project, significant advances have been made that demonstrate the technical feasibility of an automated tracking system in dynamic environments, using accessible technologies such as ROS.
It highlights the success in the integration of PTZ cameras with the ‘VISCA over IP’ protocol, demonstrating that it is possible to move the cameras to desired positions based on precise calculations of angles of pan and tilt. The results showed that, within the physical limitations of the cameras, the precision in the orientation is adequate, even when the lenses enter the dead zone inaccessible by the camera.
The system’s ability to use the coordinates received from the MOCAP device and transfer them to an open-loop control system to orient the cameras has also been demonstrated. The tests with a ROS node that acts as a mocap simulator validated the correct reception and transformation of the data, while the final integration with the real MOCAP made it possible to verify the effectiveness of the system in real conditions.
Finally, the management of the reference transformations between the MOCAP coordinates and the PTZ cameras allowed the automation of drone tracking. The results have shown that the system can dynamically adapt to changes in the position of the drone, which reflects a robust and adaptable control. The tests carried out also showed certain limitations, especially related to the physical constraints of the cameras and the inability to establish a closed control loop with which to know their real position. However, these aspects do not compromise the general objectives of the project, but open the door to future improvements. In the following link [1] a video showing the operation of the final prototype of the in-flight drone tracking system can be found, while the complete code that has been developed during the project can be found in this GitHub repository [2].
La visión por computador es un campo de crucial importancia en el desarrollo de la robótica, ya que permite la interacción entre las máquinas y la realidad que las rodea. Dotar a un procesador con la capacidad de ver, de forma que pueda recoger imágenes y convertirlas en datos que pueden ser interpretados y procesados, abre nuevos horizontes de aplicación que van a permitir a estas máquinas, cada vez más sofisticadas y capaces, realizar de forma autónoma tareas de alta complejidad.
El presente proyecto aborda el diseño, desarrollo y construcción del prototipo de un sistema integrado para el seguimiento de drones en vuelo mediante cámaras PTZ y sensores de captura de movimiento. El término PTZ se emplea para denominar un tipo concreto de cámaras capaces de rotar alrededor del plano horizontal (pan) y del vertical (tilt), a la vez que son capaces de variar su distancia de enfoque (zoom). Por otro lado, un sistema de captura de movimiento o MOCAP, como se les llamará a lo largo del trabajo, es una tecnología que registra los movimientos de un objeto o un ser vivo en el espacio tridimensional y los traduce en datos digitales utilizando una combinación de cámaras infrarrojas y marcadores reflectantes para rastrear la posición y orientación de puntos específicos del cuerpo.
Antes del desarrollo de este trabajo, el manejo de las cámaras PTZ se realizaba desde una mesa de control manual equipada con un joystick y botones. Este controlador no permitía el manejo simultáneo de varias cámaras, ofreciendo por tanto una funcionalidad limitada. Para vencer estas limitaciones, en este Trabajo de Fin de Grado se diseña un sistema que hace funcionar de forma integrada y autónoma el dispositivo de MOCAP y las cámaras. Con él, un dron o cualquier otro dispositivo de vuelo autónomo, puede ser seguido en todo momento por las cámaras de manera precisa, fiable, robusta y completamente automatizada.
Para la elaboración del trabajo se ha seguido una metodología secuencial, distribuida en tres fases. Cada fase se apoya en el trabajo desarrollado previamente, implementando mejoras y nuevas funcionalidades que constituyen un sistema cada vez más complejo y funcional.
La primera fase del proyecto contempla el control de las cámaras PTZ, estableciendo una conexión directa desde un ordenador de forma independiente al joystick. La implementación de un código para su control permitirá, de una forma manual, hacer que las cámaras apunten a distintas coordenadas en el espacio determinadas por el usuario. Esta fase permitirá comprender en mayor profundidad el funcionamiento del sistema, comprobar sus limitaciones físicas y formar una idea de qué acciones se podrán llevar a cabo con él una vez funcione de forma autónoma.
La segunda fase de trabajo contempla la integración del dispositivo de MOCAP en el prototipo. En este punto se alcanza la construcción de un sistema funcional capaz de lograr que las cámaras PTZ sigan de manera autónoma a un dron en vuelo. El sistema de seguimiento de drones involucra diversos dispositivos, como las cámaras PTZ y el sistema de MOCAP, cada uno con su propio sistema de coordenadas.
La fase final se centra en depurar y robustecer el algoritmo de seguimiento, incorporando las necesarias transformaciones entre los distintos sistemas de coordenadas implicados. Una vez completada esta fase, el sistema está preparado para que las cámaras sigan a un dron en vuelo de forma autónoma, optimizada y precisa, dándose por alcanzados los objetivos del proyecto.
El resultado final del proyecto es un sistema integrado que cumple con las especificaciones y requisitos inicialmente establecidos por el CVAR, quien lo incorporará como herramienta de trabajo para sus futuras investigaciones. A lo largo del proyecto, se han logrado avances significativos que demuestran la viabilidad técnica de un sistema de seguimiento automatizado en entornos dinámicos, empleando tecnologías accesibles como ROS.
Destaca el éxito en la integración de las cámaras PTZ con el protocolo ‘VISCA over IP’, demostrando que es posible mover las cámaras hacia posiciones deseadas basándose en cálculos precisos de ángulos de pan y tilt. Los resultados mostraron que, dentro de las limitaciones de físicas de las cámaras, la precisión en la orientación es adecuada, incluso cuando los objetivos entran dentro de la zona muerta inaccesible por la cámara.
Se ha demostrado también la capacidad del sistema para utilizar las coordenadas recibidas desde el dispositivo de MOCAP y trasladarlas a un sistema de control en bucle abierto para orientar las cámaras. Las pruebas con un nodo de ROS que actúa como un simulador del MOCAP validaron la correcta recepción y transformación de los datos, mientras que la integración final con el MOCAP real permitió comprobar la eficacia del sistema en condiciones reales.
Finalmente, el manejo de las transformaciones de referencia entre las coordenadas de MOCAP y las cámaras PTZ permitió terminar de automatizar el seguimiento del dron. Los resultados han demostrado que el sistema puede adaptarse dinámicamente a los cambios en la posición del dron, lo que refleja un control robusto y adaptable. Las pruebas realizadas también mostraron ciertas limitaciones, especialmente relacionadas con las restricciones físicas de las cámaras y la incapacidad de establecer un bucle cerrado de control con el que conocer su posición real. Sin embargo, estos aspectos no comprometen los objetivos generales del proyecto, sino que abren la puerta a futuras mejoras. En el siguiente enlace [1] puede encontrarse un vídeo que muestra el funcionamiento del prototipo final del sistema de seguimiento de drones en vuelo, mientras que el código completo que se ha desarrollado durante el trabajo puede encontrarse en este repositorio de GitHub [2].
ABSTRACT
Computer vision is a field of crucial importance in the development of robotics, since it allows interaction between machines and the reality that surrounds them. Endowing a processor with the ability to see, so that it can collect images and convert them into data that can be interpreted and processed, opens new application horizons that will allow these machines, increasingly sophisticated and capable, to perform autonomously tasks of high complexity.
This project addresses the design, development and construction of the prototype of an integrated system for tracking drones in flight using PTZ cameras and motion capture sensors, which will be referred to as mocap throughout the document. The term PTZ is used to name a specific type of cameras capable of rotating around the horizontal (pan) and the vertical (tilt) plane, while they are able to vary their focus distance (zoom). On the other hand, a motion capture or MOCAP system is a technology that records the movements of an object or a living being in three-dimensional space and translates them into digital data using a combination of infrared cameras and reflective markers to track the position and orientation of specific points of the body.
Before the development of this work, the operation of PTZ cameras was carried out from a manual control table equipped with a joystick and buttons. This controller did not allow the simultaneous operation of several cameras, therefore offering limited functionality. To overcome these limitations, this Final Degree Project designs a system that makes the MOCAP device and cameras work in an integrated and autonomous way. With it, a drone or any other autonomous flight device can be followed at all times by the cameras in a precise, reliable, robust and fully automated way.
For the preparation of the work, a sequential methodology has been followed, distributed in three phases. Each phase is based on the previously developed work, implementing improvements and new functionalities that constitute an increasingly complex and functional system.
The first phase of the project contemplates the control of the PTZ cameras, establishing a direct connection from a computer independently to the joystick. The implementation of a code for its control will allow, in a manual way, to make the cameras point to different coordinates in the space determined by the user. This phase will allow to understand the operation of the system in more depth, check its physical limitations and form an idea of what actions can be carried out with it once it works autonomously.
The second phase of work contemplates the integration of the MOCAP device in the prototype. At this point, the construction of a functional system capable of getting PTZ cameras to autonomously follow a drone in flight is reached.
The drone tracking system involves various devices, such as PTZ cameras and the MOCAP system, each with its own coordinate system. The final phase focuses on debugging and strengthening the tracking algorithm, incorporating the necessary transformations between the different coordinate systems involved. Once this phase is completed, the system is prepared for the cameras to follow a drone in flight in an autonomous, optimized and precise way, with the project’s objectives being achieved.
The final result of the project is an integrated system that complies with the specifications and requirements initially established by the CVAR, who will incorporate it as a work tool for their future research. Throughout the project, significant advances have been made that demonstrate the technical feasibility of an automated tracking system in dynamic environments, using accessible technologies such as ROS.
It highlights the success in the integration of PTZ cameras with the ‘VISCA over IP’ protocol, demonstrating that it is possible to move the cameras to desired positions based on precise calculations of angles of pan and tilt. The results showed that, within the physical limitations of the cameras, the precision in the orientation is adequate, even when the lenses enter the dead zone inaccessible by the camera.
The system’s ability to use the coordinates received from the MOCAP device and transfer them to an open-loop control system to orient the cameras has also been demonstrated. The tests with a ROS node that acts as a mocap simulator validated the correct reception and transformation of the data, while the final integration with the real MOCAP made it possible to verify the effectiveness of the system in real conditions.
Finally, the management of the reference transformations between the MOCAP coordinates and the PTZ cameras allowed the automation of drone tracking. The results have shown that the system can dynamically adapt to changes in the position of the drone, which reflects a robust and adaptable control. The tests carried out also showed certain limitations, especially related to the physical constraints of the cameras and the inability to establish a closed control loop with which to know their real position. However, these aspects do not compromise the general objectives of the project, but open the door to future improvements. In the following link [1] a video showing the operation of the final prototype of the in-flight drone tracking system can be found, while the complete code that has been developed during the project can be found in this GitHub repository [2]. Read More
Related posts:
Minería de datos aplicada a sistemas de captura del movimiento
Effects of sliding window variation in the performance of acceleration-based human activity recognition using deep learning models
Desarrollo de un sistema de Business Intelligence para la mejora de la toma de decisiones en el departamento general de emergencias del Ayuntamiento de Madrid
Diseño de la configuración y evaluación de comprobadores automáticos y mantenimiento de un sistema de gamificación para la educación
Product spotlight on video surveillance solutions
Sistema minero