"Tractorcito" es un proyecto que presenta una alternativa para la lucha contra la maldición de la dimensionalidad de Bellman, donde se crea el ambiente para que un robot vaya aprendiendo en base a simulaciones detalladas del sistema una aproximación a la política óptima de operación. El objetivo principal del proyecto era la búsqueda de técnicas de aproximación a la política óptima de operación de un sistema dinámico estocástico, en particular, aplicada al sistema de generación de energía eléctrica.
La resolución de este tipo de problemas sufre de lo que se conoce como la maldición de la dimensionalidad de Bellman, que establece que la complejidad de resolución del problema de encontrar la política óptima para la operación de un sistema dinámico crece exponencialmente con el aumento de las dimensiones del epacio de estado del sistema. El conjunto de herramientas desarrolladas dieron lugar a una aplicación que llamamos "Tractorcito" que, dada una Sala SimSEE y una estructura de aprendizaje, realiza simulaciones para ir aprendiendo la manera de comportarse (Política de Operación) que resulte en un menor costo de producción. A la aplicación la llamamos así, dado que, sobre todo al inicio, las simulaciones conducen al Sistema "por cualquier lugar" y el Simulador debe funcionar igual para poder calcular el costo de operación.
El simulador en este modo recuerda al funcionamiento de un Tractor capaz de atravesar por cualquier camino, bañado, cerro de piedra, etc. El desarrollo de esta aplicación implicó la adaptación de la herramienta SimSEE para poder actuar en conjunto con la capacidad de aprendizaje por refuerzo del Tractorcito. El Tractorcito está dotado de un conjunto de Redes Neuronales cuyos parámetros van cambiando durante la experiencia del propio Tractorcito. La capacidad de aprendizaje está dada por la complejidad asignada a dichas Redes Neuronales.
Para un sistema dado y complejidad de representación, el Tractorcito que logra menor costo es el más exitoso. El problema de aprendizaje está planteado en el sentido de que, sabiendo que la complejidad de representación es limitada, dicha capacidad sea optimizada (durante el aprendizaje continuo) a aquellos aspectos que resultan más relevantes en el objetivo de redución del valor esperado del costo de la operación futura.
Más información
https://simsee.org/investigacion/tractorcito.html