Self-configuring Robotic Systems: the use of Deep Reinforcement Learning as a tool for Industrial Manipulators

The present Thesis aims to present different examples of self-configuring systems involving robotic manipulators. With self-configuring systems, we refer to systems featuring the ability to autonomously adapt their control strategy or general configuration in order to overcome possible limitations encountered during their operation. To this end, the use of Deep Reinforcement Learning (DRL), a type of machine learning that enables the system to autonomously discover the best strategy to solve a task, is discussed as a tool for decision making or for controlling robotic systems in situations in which a model-based solution is not readily achievable. End-to-End, model-free control approaches are studied and used contextually with - or alternatively to - model-based control and decision strategies. Specifically, the work focuses on industrial manipulators operating in uncertain environments to perform motion and collision avoidance tasks. For robot motion, a novel switched-structure scheme to achieve both centralized and decentralized control, using the perturbation estimation feature of the Integral Sliding Mode controller, is presented and discussed in detail. Different approaches for decision-making are illustrated. For collision avoidance, a framework enabling end-to-end, model-free control of robotic manipulators operating in cluttered environments is introduced and tested on several case studies. A novel hybrid algorithm combining DRL-based strategies and conventional planning methods is proposed. The presented approaches are then deployed on different robotic systems, and experimental results are reported.

Lo scopo della presente Tesi è quello di presentare diversi esempi di sistemi autoconfiguranti (self-configuring) che coinvolgono manipolatori robotici. Con sistemi autoconfiguranti, si intendono sistemi che hanno la capacità di adattare la propria strategia di controllo, o la propria configurazione generale, per superare eventuali limitazioni incontrate durante il loro funzionamento. A questo scopo, l'uso del Deep Reinforcement Learning (DRL), un tipo di machine learning che permette al sistema di scoprire autonomamente la strategia migliore per compiere un determinato task, viene introdotto e discusso come strumento per prendere decisioni o per controllare sistemi robotici in situazioni in cui una soluzione con controlli convenzionali model-based non è facilmente raggiungibile. Gli approcci di controllo end-to-end, model-free, sono studiati e utilizzati contestualmente - o alternativamente - a strategie di controllo e decisione convenzionali. Il lavoro si concentra, in particolare, su manipolatori industriali che operano in condizioni incerte, per eseguire operazioni di moto e collision avoidance. Per il controllo del moto, viene presentato e discusso in dettaglio un nuovo schema a struttura switched per ottenere un controllo sia centralizzato che decentralizzato, utilizzando la proprietà di stima delle perturbazioni del controllore basato su Integral Sliding Mode. Vengono illustrati diversi approcci per il processo decisionale, con cui si determina la scelta del controllore. Per la collision avoidance, viene introdotto un framework per il Deep Reinforcement Learning che permette il controllo end-to-end e model-free di manipolatori robotici che operano in ambienti occupati da ostacoli. L'approccio proposto viene testato su diversi casi di studio. Viene proposto inoltre un nuovo algoritmo ibrido che combina strategie basate su DRL e metodi di pianificazione convenzionali. Le soluzioni presentate sono poi testate su diversi sistemi robotici reali, per cui vengono alcuni risultati sperimentali.