Augmented Reality (“Aangevulde realiteit”) combineert virtuele elementen, die door een computer zijn gegenereerd, met de echte wereld. Vroege ontwikkelingen binnen het leger resulteerden in Head-up Displays (HUD) en Head-mounted Displays (HMD) voor piloten. Ongeveer twintig jaar geleden stapte de game-industrie over op complexere interfaces op basis van HMD’s, maar deze misten nog de technologische verfijning van huidige apparaten. De apparaten zijn tegenwoordig draagbaar, lichtgewicht en in staat om complexe 3D-weergaven in de werkelijkheid te integreren.
Realtime simulatie
Koninklijke NLR werkt al ruim tien jaar aan toepassingen voor het gebruik van HMD’s in de luchtverkeersleidingsomgeving, die een AR-ervaring bieden. Het eerste apparaat van dit type werd in 2010 getest op het NARSIM Tower-platform, de door NLR ontwikkelde omgeving voor uiterst realistische realtimesimulaties van luchtverkeersleidingsactiviteiten.
Meer recentelijk nam NLR deel aan Digital Technologies for Tower (DTT), een projectconsortium dat deel uitmaakt van het SESAR 2020-programma. Hierin werden realtime simulatie-experimenten uitgevoerd, met nadruk op het gebruik van AR-apparatuur voor het vastleggen en sturen van aandacht van luchtverkeersleiders.
Tijdens de experimenten gebruikten we twee Microsoft HoloLens 2™-apparaten in een gesimuleerde luchtverkeerstoren voor Amsterdam Airport Schiphol (EHAM) en demonstreerden we een operationeel concept voor het vastleggen en sturen van aandacht van verkeersleiders, op basis van visuele en auditieve signalen. Bestaande waarschuwingssystemen van luchtverkeersleiders op Schiphol activeerden het proces van aandacht vastleggen en sturen, door meldingen te geven met verschillende prioriteiten en in een verschillende operationele context. Deze waarschuwingen konden mogelijk tegelijkertijd optreden.
Een team van experts op het gebied van simulatie en menselijk gedrag bij NLR heeft de basissequentie van operationele stappen voor sturing van de aandacht van de luchtverkeersleider tijdens veiligheidskritieke gebeurtenissen uitgewerkt, en de benodigde aanwijzingen in het AR-apparaat ontworpen. De presentatie van de aanwijzingen, in combinatie met vliegtuiglabels met informatie uit het bewakings- en vluchtgegevensverwerkingssysteem, verhoogde het situationele bewustzijn van de luchtverkeersleiders op de toren.
In een typische sequentie van vastleggen en sturing van aandacht, detecteerden de veiligheidstools een gebeurtenis en gaven deze informatie door aan een logische component. Vervolgens werd een melding weergegeven in het midden van het gezichtsveld van de verkeersleider, zonder dat deze melding opdringerig was. De melding toonde het type waarschuwing en de meest relevante informatie, inclusief een pijl in de richting waar de gebeurtenis plaatsvond. Deze aandachtvastleggende activiteit moest door de gebruiker bevestigd worden. Ook de callsigns (roepletters) van vliegtuigen of voertuigen werden aangegeven. Deze leken op radarlabels en verschenen als cues (aanwijzingen) in het gezichtsveld van het AR-apparaat, zolang de gebruiker niet in de gewenste richting keek. De cues werden gelinkt aan de labels van de betreffende vliegtuigen en voertuigen zodra de veiligheidskritische gebeurtenis in beeld was. Op die manier werd de aandacht van de gebruiker in de richting van het interessegebied gestuurd. Hoorbare 3D-ruimtelijke aanwijzingen (een stem die het type gebeurtenis aangaf) voegden een extra sturend element toe.
Het testprogramma bestond uit verschillende combinaties van gebeurtenissen die plaatsvonden terwijl twee ervaren luchtverkeersleiders routinematige werkzaamheden uitvoerden in de NARSIM-omgeving voor luchthaven Schiphol. Pseudo-pilots bestuurden vliegtuigbewegingen en communiceerden met de luchtverkeersleiders. Vergelijkbare verkeersscenario’s werden gebruikt om situaties te vergelijken waarin met en zonder AR-apparaat werd gewerkt. De resultaten werden verzameld via vragenlijsten na elke testrun en tijdens speciale debriefingsessies.
Resultaten van het experiment
Uit ons experiment bleek dat het ontwikkelde operationele concept, voor het vastleggen en sturen van aandacht van luchtverkeersleiders met een AR-apparaat, als haalbaar kan worden beschouwd, ondanks de beperkte operationele reikwijdte en het feit dat er feedback werd gegeven over het verbeteren van bepaalde conceptelementen. Deze verbeteringen betroffen vooral de keuze van symbolen en de timing van aanwijzingen. Maar over het algemeen betekent dit resultaat ook dat we een stevige basis hebben om verder te werken.
De informatie in het AR-apparaat correleerde nauwkeurig met objecten in de gesimuleerde weergave van buiten en de trackinglabels volgden het vliegtuig zonder merkbare afwijking. Wij gaan ervan uit dat dit in een echte torenomgeving met minder perfecte bewakingsinformatie anders kan zijn, maar we weten uit ervaring dat er met het apparaat ook methoden zijn om dergelijke onvolkomenheden te verbeteren. Verder werd de zichtbaarheid van symbolen soms wat verslechterd door lichtreflecties uit de omgeving. Hierbij werd rekening gehouden met het feit dat dergelijke problemen wellicht prominenter zijn in een simulator omdat de lichtintensiteit lager is, en het contrast met het uitzicht naar buiten groter. Ten slotte ontving de AR-aandachtvastleggingsmodule informatie uit het waarschuwingssysteem in de NARSIM-omgeving en communiceerde de module naar verwachting met het AR-apparaat.
De twee ervaren torenverkeersleiders die aan ons experiment deelnamen, omschreven het apparaat, in combinatie met het concept, als een positieve aanvulling op hun werkomgeving. Hoewel de gewenste verbeteringen in de technische prestaties (voornamelijk gerelateerd aan gebruikscomfort en algemene afstellingen) afhankelijk zijn van verdere ontwikkelingen door de leverancier, werd de gebruikte Microsoft HoloLens 2™ beschouwd als een technisch bruikbaar apparaat voor het implementeren van prototypes voor het vastleggen en sturen van aandacht met auditieve en visuele signalen. Een belangrijke aanbeveling was om gedetailleerde richtlijnen op te stellen voor het gebruik van het systeem en het aan te passen aan de verschillende rollen in de verkeerstoren.
Onze visie
Voor een toekomstvisie op het gebruik van AR-apparaten in de verkeerstorenomgeving moeten verschillende mogelijke ontwikkelingstrajecten voor luchtverkeersleiders worden onderscheiden. Bepaalde benaderingen en toepassingen van technologie zouden het potentieel van AR in luchtverkeersleidingsoperaties kunnen verkleinen, of zelfs helemaal kunnen elimineren.
Bij het laatste denken we aan volledige taakautomatisering van de luchtverkeersleider en zogenaamde AI-algoritmen die de menselijke operator volledig uit de torenomgeving zullen elimineren, en daarmee de noodzaak van zicht naar buiten. Hoewel dergelijke ontwikkelingen plaatsvinden, beschouwen we ze in een context waarbij de automatisering nog verscheidene stappen zal moeten zetten om menselijke perceptie en cognitie te kunnen vervangen.
De impact van verdere digitalisering en werken op afstand is niet echt meer in ontwikkeling en zal blijvend zijn. Menselijke operators blijven nodig, maar in het visualisatieconcept zijn al verschillende middelen voor visualisatie van de buitenwereld en integratie van relevante informatie voor luchtverkeersleiders opgenomen. Uiteraard variëren de omvang en grootte van de opstellingen, naargelang de complexiteit van de uit te voeren operatie. Voor kleinere luchthavens of operaties zal de extra ondersteuning en informatievoorziening van het systeem al snel leiden tot voordelen in de vorm van vermindering van het aantal luchtverkeersleidersrollen, of tot verbetering qua werkefficiëntie. Als meer dan één luchtverkeersleider moet werken met zicht naar buiten, en als die luchtverkeersleider andere informatie in datzelfde beeld moet kunnen zien, dan kunnen AR-apparaten uitkomst bieden en een alternatief bieden voor extra monitorschermen op het bureau, of extra kleinere werkplekken die aan de externe opstelling worden toegevoegd (zoals te zien in de externe torens in Boedapest of Fort Collins). De voordelen kunnen zelfs nog groter worden als er mechanismen voor het vastleggen en sturen van aandacht worden toegevoegd, niet alleen voor opstellingen met één externe toren, maar mogelijk zelfs sterker bij meerdere externe torens, waarbij een of meerdere luchtverkeersleiders een mentaal beeld moeten hebben van de operationele situatie op twee verschillende luchthavens. AR-technologie afzonderlijk zal niet voldoende zijn om de situatie te verbeteren, maar het zal ongetwijfeld extra mogelijkheden bieden in combinatie met plannings- en waarschuwingsfuncties.
Als visuele operaties vanuit bestaande luchtverkeersleiderstorens blijven bestaan en verbeterd moeten worden, zal AR zeker een grote rol spelen in deze omgeving. Het biedt namelijk de mogelijkheid om relevante informatie toe te voegen aan het zicht naar buiten van specifieke luchtverkeersleiders, zonder dat er extra apparatuur geplaatst moet worden of dat de luchtverkeersleider omlaag moet kijken naar zijn of haar werkplek. Bovendien zou het kunnen leiden tot een nieuwe definitie van rollen en verantwoordelijkheden van luchtverkeersleiders, waarbij de AR-logica de volgorde van handeling en acties bepaalt (of suggereert), die door specifieke personen in de toren moeten worden uitgevoerd. Het spreekt voor zich dat dergelijke veranderingen een hoge mate van automatisering en een duidelijke delegatie van bevoegdheden vereisen, vooral in situaties waarin het systeem uitvalt. Een van de volgende stappen in de ontwikkeling van een operationele situatie zou kunnen zijn dat huidige werkafspraken opnieuw worden gedefinieerd.
Het zou de taak van ATM-onderzoeksorganisaties moeten zijn om dergelijke nieuwe concepten te onderzoeken, zonder beperkt te worden door ANSP-structuren of beperkingen binnen de sector. Dit zou minstens leiden tot nieuwe inzichten in de inzet van technologie, en een aansporing vormen voor tamelijk conservatieve ontwikkelingen uit het verleden, zoals de introductie van elektronische start- en landingsbanen (EFS – electronic flight strips). Veel EFS-implementaties die we hebben gezien, waren gebaseerd op bestaande bewerkingen, rollen, structuren en regels met betrekking tot verantwoordelijkheden en autoriteit, en hebben simpelweg een papieren ‘strip‘ (start- en landingsbaan) vervangen door een elektronische weergave. Natuurlijk kan het feit dat deze strips aanvullende informatie kunnen tonen, al als een revolutie worden gezien. De daadwerkelijke paradigmaverschuiving voor de exploitatie van luchthavens wordt maar zelden voorgesteld: waarom gebruiken we überhaupt strips en bays (baaien) als structurele ondersteunende hulpmiddelen voor de aansturing van vliegtuigen op luchthavens?
Het elimineren van dergelijke structuren zou de focus kunnen verleggen naar wat er in de echte wereld nodig is om beter vertrekvolgordes te plannen en uit te voeren, en om beter de huidige klaringstatus van een vliegtuig te bepalen. Of willen we die klaringstatus überhaupt wel weten? Misschien is het afdoende om aandachtvastleggende en -sturende methoden te gebruiken om de verkeersleider te adviseren bepaalde acties uit te voeren. Zo kan de vertrekvolgorde gerealiseerd worden en hoeven vliegtuigen niet te wachten op de vereiste toestemming.
Dit leidt ons terug naar het onderwerp van automatisering en taakdelegatie. AR in combinatie met aandachtsturing is duidelijk een nuttig middel om controle- en bewakingstaken efficiënter uit te voeren, simpelweg omdat een mentaal beeld over het daadwerkelijke wereldbeeld heen kan worden gelegd. Met symbolen, kleuren en geluiden kan de luchtverkeersleiding weten wat er plaatsvindt en wat er moet gebeuren. Als we een stapje verder gaan, kan automatisering ingezet worden om sommige basistaken via spraakherkenning uit te voeren, zoals klaring voor opstarten, pushbacks en landingen. Het vastleggen en sturen van aandacht kan eenvoudig gebruikt worden om het situationele bewustzijn van de luchtverkeersleider op peil te houden tijdens hun voornamelijk controlerende werkzaamheden. Nog slimmere automatisering zou via de sensoren van het AR-apparaat informatie kunnen ontvangen over de actuele werklast en stressniveaus van luchtverkeersleiders en zo op adaptieve wijze een deel van die taken kunnen overnemen om de werklast te verlichten. Dit opent de deuren naar een groot aantal onderzoeksgebieden.
Een ander aspect is natuurlijk of er aanvullende functies in het AR-beeld kunnen worden geïntegreerd. Denk hierbij aan videostreams van camera’s bij gates die niet goed zichtbaar zijn vanuit de toren, of een video die inzoomt op bepaalde aspecten van operaties aan de gate, om een indicatie te krijgen van de status van in- en uitstappen, tanken, catering of bagageafwikkeling. Voor sommige gebieden kan het nuttig zijn om gedetailleerde weergaven aan te bieden, bijvoorbeeld voor landingsbanen waarbij de tresholds (drempels) ver van de toren liggen of waarbij een deel van de baan niet volledig zichtbaar is (gap fillers). Uiteindelijk zou zelfs een compleet overzicht van het bewakingsbeeld toegevoegd kunnen worden. De controller kan worden ondergedompeld in een gemengde virtuele en augmented reality-wereld, waarmee hij of zij vanuit elke mogelijke positie of hoek een weergave van een specifieke situatie kan kiezen. De mogelijkheden lijken onbeperkt.
Hoewel we zien dat voor sommige van deze ideeën nog een aantal obstakels overwonnen moeten worden, zowel op technisch als operationeel vlak, en niet meteen tot enthousiaste reacties in de luchtvaartsector zullen leiden, moeten we er op voorbereid zijn dat de technologie eraan komt en dat we de juiste vragen moeten stellen om voorbereid te zijn op zo’n toekomst. Ten slotte moeten we ervoor zorgen dat we het volledige potentieel onderzoeken van nieuwe technologieën die duidelijke verbeteringen kunnen opleveren als ze in de juiste context worden toegepast. Bij Koninklijke NLR zijn we klaar om met die technologie aan de slag te gaan en we omarmen de innovatieve mogelijkheden die deze biedt.