LUCY: Een drone met oren

Onbemande luchtvaartuigen (UAV’s) zijn nuttig om te helpen bij het zoeken naar overlevenden in rampengebieden. Onderzoekers van het Fraunhofer Instituut willen drones in de toekomst uitrusten met microfoonarrays en ontwikkelden daarvoor LUCY (Listening system Using a Crow’s nest arraY). Hiermee zijn ze in staat om hulpkreten en andere akoestische signalen van slachtoffers vanuit de lucht nauwkeurig te lokaliseren. Dit vergroot de kans op een snelle redding van slachtoffers die niet met een camera te zien zijn aanzienlijk.

Overstromingen in Libië, Griekenland en Slovenië, branden in Hawaï en Tenerife, aardbevingen in Turkije en Marokko,… Wanneer een regio door een natuurramp wordt getroffen, telt elke minuut bij de pogingen om slachtoffers te redden. Maar het zoeken naar overlevenden is complex werk. Dit komt omdat gebouwen en wegen beschadigd kunnen zijn en grote gebieden mogelijk zijn afgesneden. Het gebruik van drones met daglichtcamera’s en warmtebeeldcamera’s wordt daarom steeds populairder. Ze kunnen snel over grote gebieden met verwoeste infrastructuur vliegen. Ze kunnen slachtoffers lokaliseren en de reactie van reddingsteams versnellen.

Beperkte effectiviteit

Het probleem is echter dat slachtoffers die vastzitten onder puin niet zichtbaar zijn voor deze beeldsensoren. Ook factoren zoals dikke rook, mist of duisternis beperken de effectiviteit van de camera’s. Voor dit soort scenario’s werken onderzoekers van Fraunhofer instituut voor Communicatie, Informatieverwerking en Ergonomie (FKIE) aan een oplossing waarmee akoestische sensoren aan de camera’s kunnen worden toegevoegd. FKIE-wetenschapper Macarena Varela ontwikkelde in samenwerking met collega’s en onderzoeksgroepleider Dr. Marc Oispuu LUCY, wat staat voor Listening system Using a Crow’s nest arraY. Het is een stukje technologie om het leven te redden van mensen die bedolven zijn onder puin of vastzitten in branden.

Microfoonarray

LUCY is een array van MEMS-microfoons – bekend als een kraaiennestarray. Doel is om ze op drones te monteren om te bepalen uit welke richting geluiden zoals hulpgeroep, geklap of klopsignalen komen. De kleine, robuuste MEMS-microfoons zijn goedkoop. Ze worden gebruikt in toepassingen zoals smartphones. Het bijzondere aan dit systeem is dat de microfoons in een speciale geometrische configuratie aan de onderkant van de drone zijn bevestigd. Hiermee kunnen ze geluid uit alle richtingen waarnemen. “Het hoogste uitkijkpunt op schepen waarmee je in alle richtingen kunt kijken, staat bekend als het kraaiennest. Hetzelfde geldt voor LUCY. Ons systeem kan vrijwel onbeperkt in alle richtingen horen,” legt Macarena Varela uit.

Menselijk oor

LUCY werkt op dezelfde manier als het menselijk oor. Het vangt geluidsinformatie op en geeft deze door aan de hersenen waar analyse volgt. In het geval van het array-systeem zijn de microfoons de oren en een signaalverwerkingseenheid vormt de hersenen. Dit systeem bepaalt de richting waaruit de geluiden komen.

48 microfoons

LUCY heeft op dit moment 48 microfoons. Hiermee is het mogelijk de richting van de geluidsbron zeer nauwkeurig te bepalen. “Ruimtelijk horen werkt duidelijk beter met 48 of meer microfoons dan met twee akoestische sensoren. En zowel gericht horen in een bepaalde richting als het vermogen om bepaalde geluiden te negeren zijn ook verbeterd”, zegt Dr. Oispuu. Bovendien is het systeem in staat om frequenties waar te nemen die het menselijk oor niet kan registreren. In de toekomst zal het aantal microfoons worden uitgebreid tot 256 sensoren die signalen in realtime kunnen verwerken.

Afleidende omgevingsgeluiden

Het systeem blokkeert afleidende omgevingsgeluiden. Denk bijvoorbeeld aan wind of vogels, maar ook aan de draaiende rotors van de drone zelf. Methoden van kunstmatige intelligentie (AI) en adaptieve filters worden gebruikt om signalen eruit te filteren. Tegelijkertijd wordt het systeem geleerd om geluidspatronen te detecteren zoals schreeuwen, bonzen of klappen. Deze geluidspatronen gebruiken mensen in nood vaak om de aandacht te trekken.

Artificiële intelligentie

Om het systeem in staat te stellen dit te doen, gebruikt het een database van verschillende geluiden of handtekeningen waarop de AI van tevoren is getraind. In combinatie met signaalverwerkingstechnieken maakt dit het mogelijk om geluiden te detecteren en te classificeren en hun invalshoek nauwkeurig te bepalen. Bovendien zorgt een compacte verwerkingseenheid ervoor dat een zeer snelle verwerking van signalen mogelijk is. Wanneer zich een ramp voordoet, worden de ontvangen locatiegegevens doorgestuurd naar de reddingsteams. Die kunnen dan bijvoorbeeld tablets gebruiken om de exacte positie van de slachtoffers te bepalen.

Lichtgewicht LUCY

Dankzij hun schaalbaarheid kunnen de sensormodules en microfoonarrays worden gebruikt op tal van commercieel verkrijgbare drones. Omdat zowel de MEMS-technologie als de drones relatief goedkoop zijn, kunnen meerdere onbemande luchtvaartuigen worden gebruikt om het rampgebied effectief te onderzoeken. Door het lage gewicht kunnen hulpverleners het LUCY-systeem met zich meedragen om het ook op de grond te gebruiken. En het kan op voertuigen worden gemonteerd of als stationaire apparatuur worden gebruikt. De FKIE-onderzoekers werken momenteel aan verdere verbeteringen van het experimentele systeem.

Openingsfoto: Bij rampen worden drones steeds vaker ingezet om snel over grote gebieden met verwoeste infrastructuur te vliegen, slachtoffers te lokaliseren en de reactie van reddingsteams te versnellen. (foto: Fraunhofer FKIE)

Lees ook: Drones beschermen windturbines tegen ijs