L8 MIT Generalizable Autonomy in Robot Manipulation

Français :
Ce document présente la leçon 8 du cours MIT 6.S191 sur l'autonomie généralisable dans la manipulation robotique, donnée par Animesh Garg. La présentation aborde les défis pour développer des robots capables de s'adapter à des environnements non structurés et de réaliser des tâches complexes quotidiennes comme le ménage, la cuisine ou la lessive. Le cours explore quatre piliers fondamentaux : les compétences visuo-motrices (apprentissage de contrôle basé sur la vision avec biais inductifs structurés), la planification compositionnelle (décomposition hiérarchique des tâches), la structure des tâches (apprentissage de programmes et graphes de tâches pour généraliser à partir de démonstrations), et les données pour la robotique (collecte à grande échelle via des plateformes comme RoboTurk). L'approche combine l'apprentissage profond avec des priors structurés pour obtenir une meilleure efficacité d'échantillonnage, généralisation et interprétabilité.
English :

This document presents Lecture 8 from MIT's 6.S191 course on generalizable autonomy in robot manipulation, delivered by Animesh Garg. The presentation addresses challenges in developing robots capable of adapting to unstructured environments and performing complex everyday tasks like cleaning, cooking, or doing laundry. The course explores four fundamental pillars: visuo-motor skills (learning vision-based control with structured inductive biases), compositional planning (hierarchical task decomposition), task structure (learning task programs and graphs to generalize from demonstrations), and data for robotics (large-scale data collection via platforms like RoboTurk). The approach combines deep learning with structured priors to achieve better sample efficiency, generalization, and interpretability.