Una función esencial de los robots de servicio es la manipulación confiable de objetos. Aunque en la actualidad existen muchos robots capaces de manipular objetos con una buena precisión y rapidez, generalmente la manipulación se da en entornos estáticos y altamente controlados como fábricas, laboratorios, etc. En cambio, los robots de servicio operan en entornos cotidianos, cuya configuración varía constantemente y en los cuales se pueden hallar un gran número de objetos diferentes. Para manipular objetos en estos entornos es necesario dotar al robot de: * Sistema de visión para analizar la escena, es decir, detectar e identificar los objetos presentes en la escena y estimar su posición y orientación tridimensional con respecto al robot. * Sistema de manipulación (brazos robóticos) para que manipule los objetos. Para lo cual el robot debe planear el movimiento para agarrar el objeto de forma adecuada, considerando su forma y orientación. * Sistema de navegación para que el robot se acerque al lugar donde se encuentran el objeto de tal forma que el manipulador pueda actuar sobre el objeto. Este documento propone un sistema de manipulación de objetos en entornos dinámicos y no estructurados para un robot de servicio usando visión por computadora.

El proyecto contribuirá en el avance en los campos de visión computacional, manipulación robótica y navegación. Esta se concentrará en algoritmos que integrados hagan posible la manipulación de objetos por el robot Golem-II+. Adicionalmente, el proyecto contribuira con el diseño y construcción del prototipo del manipulador del robot actual, que en conjunto con el robot pongan en práctica el sistema de reconocimiento y manipuación en pruebas como las especificadas como RoboCup@home.