Interacció operari-robot: Sistema de control mitjançant ROS-Industrial i visió 3D

Abstract

La indústria de la robòtica Europea necessita solucions competitives per assolir i mantenir el lideratge mundial en productes i serveis de robòtica. L’escenari d’aplicació és obert per fomentar la creativitat en relació amb el desenvolupament d'aplicacions innovadores de fabricació que involucren la col·laboració entre humans i robots. En aquest treball, un robot industrial de 6 eixos està equipat amb una rebladora i una càmera estèreo. Un objecte es col·loca sobre la taula a la zona de treball del robot (l'objecte té forats per posar reblons). Una càmera 3D està muntada sobre del lloc de treball i una segona càmera 3D està muntada per capturar l’aproximació de l’operari. L’objectiu del projecte és realitzar una operació (posar reblons) als forats assenyalats per l’operari. L’objectiu consta de tres sub-tasques: 1) Reconèixer el gest d’assenyalar, 2) Localitzar la peça en base a les dades CAD i 3) Localitzar la posició on l’operari està assenyalant. En aquesta tasca, no s'utilitza el robot. L’operari es troba prop de la taula i apunta cap a alguns forats de l'objecte. L'objectiu és aconseguir una posició d’aproximació als forats en relació a l'objecte atesa la geometria d’aquest. La posició i orientació de l'objecte són desconeguts i han de ser determinats a partir de les imatges proporcionades per la càmera 3D. A més, el gest d'assenyalar de l’operari ha de ser reconegut i el punt en el qual l’operari està assenyalant ha de ser estimat en relació amb l'objecte. El projecte es basa en Robot Operating System (ROS) Industrial. El sistema està compost per un robot UR5 i dos ordinadors. Aquests elements executen nodes ROS. La comunicació, entre els diferents nodes del sistema, es realitza per mitjà de missatges de ROS. Per localitzar la posició i orientació de la peça, s’utilitza el paquet PointCloud. Quan s'obté la posició i orientació final de la peça, la informació es publica en el tòpic /workpiece_pose. L’ordinador amb Ubuntu utilitza el paquet Openni_tracker per obtenir l’esquelet de l’operari. Per reconèixer el gest d’assenyalar es necessita la informació continguda en els missatges: /right_elbow i /right_hand. Utilitzant la informació proporcionada (/ right_hand, / right_elbow i / workpiece_pose) es pot determinar la posició de l'objecte en què l'humà està assenyalant. Finalment, el robot pot posicionar-se en un punt d’aproximació d’on l’operari ha assenyalat. En futures fases del treball, utilitzant les càmeres estèreo situats a l'extrem del robot, el robot hauria de posicionar-se perfectament sobre els forats i inserir els reblons en els orificis indicats per l’operari.

The European robotics industry needs competitive solutions to attain and keep global leadership in robotics products and services. The application scenario itself is open, as to encourage creativity with regard to developing novel manufacturing applications involving human-robot collaboration. In this work, a 6-DoF industrial robot is equipped at its end effector with a riveting tool and a stereo camera. An object is placed on the table in the working range of the robot. The object has holes to put rivets in. A 3D camera is mounted above the workplace and oversees everything on the table. A second 3D camera is mounted to capture the human approaching. Project requires deriving where the holes for riveting based on a human pointing gesture. The task consists of three sub-tasks: 1) Recognizing pointing gesture, 2) Localizing objects based on CAD data and 3) Localizing position on object at which the human is pointing. In this task, the robot is not used. A human stands close to the table and point towards some rivet holes in the object. The aim is to get the approximate position of the holes in relation to the object. The geometry of the object is given. The position and orientation of the object are unknown and have to be determined from the images provided by the 3D camera. Furthermore the pointing gesture of the human has to be recognized and the point on the object at which the human is pointing has to be estimated in relation to the object. The project is based on Industrial Robot Operating System (ROS). The system is composed by a UR5 robot and two PC’s. These elements run ROS nodes. The communication, between the different nodes of the system, is released using ROS messages. To locate the piece position and orientation, it has been used the PointCloud package. When is obtained the final position and orientation, the information is published in the topic /workpiece_pose. Ubuntu PC run Openni_tracker package, this broadcasts the Kinect skeleton frames using tf. For pointing gesture recognition has been used /right_elbow and /right_hand. These TF’s are send to ROS_Matlab Node trough a ros_message. Using the information provided (/right_hand, /right_elbow and /workpiece_pose) can be determined the position on object at which the human is pointing. Finally, the robot can position itself in an approach point where the worker pointed out. In the following work phases, using the stereo cameras located at the end of the robot, the robot has to position itself perfectly over the holes and it has to insert rivets in the indicated holes by the worker.