Onderzoekers laten vierpotige robot ladder beklimmen

Onderzoekers van de de Zwitserse universiteit ETH Zürich zijn erin geslaagd een vierpotige robot te leren ladders te beklimmen. Zelfs indien de robot hierbij door onverwachtse gebeurtenissen wordt verstoord, is deze in staat de ladder succesvol te beklimmen.

Vierpotige robots zijn steeds vaker te vinden in industriële omgevingen. Hier kunnen zij voorzien van allerlei sensoren onder meer inspecties uitvoeren, zonder dat mensen zich in gevaarlijke, moeilijk bereikbare of oncomfortabele locaties hoeven te begeven. Een belangrijk obstakel dat veel bestaande varianten niet kunnen overwinnen zijn echter ladders, die juist in industriële omgevingen veelvoorkomend zijn.

Onderzoekers van ETH Zürich zijn erin geslaagd een model te ontwikkelen dat vierpotige robots hiertoe wel in staat stelt. Het maakte daarvoor gebruik van een ANYmal robot, ontwikkeld door een spin-off van ETH Zürich genaamd ANYbotics.

Reinforcement learning

Het model dat de onderzoekers gebruiken is getraind met behulp van reinforcement learning. Reinforcement learning is een vorm van machine learning waarbij een zogeheten ‘agent’ leert aan de hand van interactie met zijn omgeving. Hij krijgt daarbij beloningen of straffen op basis van zijn acties in de vorm van feedback.

Het doel van de agent is om een strategie te ontwikkelen die zijn cumulatieve beloning maximaliseert. Dit door op de juiste manier te reageren op de verschillende situaties die hij tegenkomt. In plaats van een directe instructie of voorbeelden te krijgen, ontdekt de agent zelf welke acties het beste op basis van trial-and-error.

Het resultaat is een model dat de ANYmal robot in staat stelt trappen te beklimmen. De robot behaalt daarbij een succesratio van 90% op ladders met een hoek van 70 tot 90 graden. De robot kan daarbij maar liefst 232 keer sneller de ladder beklimmen dan bestaande robots die hiertoe in staat zijn.

Omgaan met onverwachte gebeurtenissen

Indien de robot tijdens zijn klimpartij met onverwachte gebeurtenissen te maken krijgt is de robot in veel gevallen in staat zich hiervan te herstellen. Zo bonden de onderzoekers tijdens proeven een touw aan een van de voorpoten van de ANYmal-robot, en trokken hier vervolgens halverwege de ladder aan. De robot wist daarbij zijn grip op de ladder te behouden.

Een belangrijke rol daarbij speelt ook de speciale poten van de robot, die zijn voorzien van speciaal ontwikkelde eindeffector in de vorm van een haak. De robot kan zich hiermee stevig vastgrijpen aan de ladder. De onderzoekers melden dat bij een reguliere klimpartij deze haak geen significant verschil in succesratio oplevert, en met name indien de robot met onverwachte situaties te maken krijgt het verschil kan uitmaken.

Toepassingsgebied uitbreiden

“Dit werk breidt het toepassingsgebied van industriële viervoetige robots uit van inspectie op nominale terreinen naar uitdagende infrastructurele kenmerken in de omgeving. Hierbij worden synergieën tussen robotmorfologie en besturingsbeleid benadrukt bij het uitvoeren van complexe vaardigheden”, melden de onderzoekers.

Alle bevindingen van de onderzoekers zijn verzameld in een onderzoekspaper, die hier te beschikbaar is.

Auteur: Wouter Hoeffnagel
Beeld: screenshot van video