Roel van Rijsewijk van Thales over: ‘De ethiek van AI’

Slimme software neemt steeds vaker taken van ons over die we zelf niet meer willen of kunnen doen. De volgende stap is AI dat zich bemoeit met onze kritieke infrastructuren. Wereldwijd werken experts hard aan oplossingen om deze krachtige geavanceerde technologie op een veilige en verstandige manier in te zetten.

Intelligentie in technologie is relatief. Waar we het vroeger al razend knap vonden dat een computer een redelijk potje schaak kon spelen, zien we dat nu als een simpel trucje, vindt Roel van Rijsewijk, directeur Cyber Defence bij Thales: “Als een telefoon al van een meesterschaker winnen kan, hoe moeilijk kan het dan zijn? Nee, winnen met Go! Dat is pas een prestatie…” Dat daar weer heel andere technologie bij komt kijken - geen ‘brute force’, maar zelflerende algoritmes - maakt gevoelsmatig kennelijk weinig verschil: de piketpaaltjes voor wat we als écht intelligent zien, worden verplaatst zodra de volgende mijlpaal is bereikt.

Het gevaar is wel dat we daardoor te gemakkelijk over AI gaan denken - en dat kan vervelende gevolgen hebben. AI is niet allemaal fun & games. Als Spotify een nummer opzet waar je niks mee hebt, skip je eenvoudig naar het volgende nummer. Maar als de AI in je auto besluit liever een voetganger dan een verkeersbord aan te rijden, heb je een heel andere discussie, zegt Van Rijsewijk. “AI dwingt ons inmiddels fundamentele vragen te stellen over ons eigen gedrag.”

Hetzelfde geldt voor een bedrijf als Thales, dat zich bezighoudt met beveiligingstechnologie binnen kritieke infrastructuren: van de poortjes in ons openbaar vervoer, tot het netwerkverkeer van vrijwel alle grote banken en de intelligentie in vliegtuigen en defensiesystemen. “De digitale strategie van onze organisatie heeft vier belangrijke pijlers: Cyber­security, IoT, Big Data en Artificial Intelligence. AI is daarin cruciaal voor het succes van de overige drie.”

Drie voorwaarden voor AI

Als AI wordt toegepast in kritieke infrastructuren, worden daar veel hogere eisen aan gesteld dan aan consumenten­toepassingen, vertelt Van Rijsewijk:

er kunnen levens van afhangen, dus vertrouwen is cruciaal. Daarom moet AI in kritieke infra aan drie voorwaarden voldoen: deugdelijkheid, verklaar­baarheid en verantwoordelijkheid. “Bij Thales noemen we dat TrUE AI: Trusted, Understandable, Ethical.”

Deugdelijk wil zeggen dat AI bewijsbaar doet wat het moet doen - niets minder, maar ook niets méér. “Je moet kunnen bewijzen dat het te vertrouwen is”, zegt Van Rijsewijk. Daarnaast moet AI ook verklaarbaar zijn. “Minimaal moet een expert achteraf kunnen uitleggen waarom AI een bepaalde keuze heeft gemaakt”, vertelt Van Rijsewijk, “maar wij vinden dat het verder moet gaan dan dat.” Als voorbeeld noemt hij een intelligente digitale copiloot. “Als die een koerswijziging voorstelt bij de piloot van een vliegtuig, moet de piloot direct kunnen vragen: Waarom? En dan moet het antwoord niet zijn dat de derde beveiligingslaag van het neuronet geactiveerd is, maar dat er noodweer op de route ligt. AI moet zichzelf direct kunnen verantwoorden op menselijk niveau.” 

Tot slot moet AI zich ook verantwoordelijk gedragen. Dat betekent dat AI zich moet houden aan wetten en regels, maar ook aan ethische normen. Net als bijvoorbeeld de EU werkt Thales daarom aan een ethisch framework waar AI voor kritieke infrastructuren zich altijd aan zal moeten houden. Dat is nog lang niet eenvoudig. AI baseert haar beslissingen op data, maar zuivere, volledig ongekleurde datasets zijn zeldzaam. Thales besteedt daarom veel aandacht aan technieken als Frugal Learning, waarmee geprobeerd wordt uit relatief weinig data toch betrouwbare resultaten te halen, en Corpus Balancing, waarmee vooringenomenheid in datasets moet worden weggenomen.

 AI en cybersecurity

Van Rijsewijk kijkt als directeur Cyber Defence vooral naar AI vanuit het perspectief van cybersecurity. “AI zoals we dat nu kennen is al uitstekend geschikt om ons te helpen met cybersecurity: voor de detectie van customized malware bijvoorbeeld, of om te controleren of de juiste patches wel zijn geïnstalleerd, of te zoeken naar patronen die kunnen duiden op een aanval.” Van Rijsewijk noemt dat ‘Blue team taken’: verdedigende taken die dreigingen moeten voorkomen en afweren.

“Maar het wordt nog interessanter als je gaat kijken wat er gebeurt als je AI ook laat Red teamen”, zegt Van Rijsewijk. “Als je een AI Red team tegen een AI Blue team laat strijden, krijg je in feite wat Google destijds met go-spelende programma’s heeft gedaan: Machine Learning creëren door AI tegen zichzelf te laten strijden.”

Het probleem is dat Google’s go-programma ook liet zien waar dat toe kan leiden. AlphaGo, de eerste versie, maakte gebruik van een neuraal netwerk en deep learning om uit menselijke input te leren hoe het - als eerste computer­programma - een professionele go-speler kon verslaan; opvolger AlphaGo Zero was volledig zelflerend en versloeg op zijn beurt AlphaGo met 100 tegen 0. De huidige topper (AlphaZero) wordt gezien als de absolute wereldkampioen, maar de zetten die het systeem doet zijn voor mensen onnavolgbaar, vertelt Van Rijsewijk.

“De vraag is hoe we daarmee omgaan. Wat gaan we doen als AI methoden hanteert die voor de mens niet meer te bevatten zijn?” De aanvallers lijken hier in het voordeel: criminelen zullen zich niet door ethische bezwaren laten weerhouden om AI in te zetten voor eigen gewin. “Daarom is het van het grootste belang hier niet mee te wachten. Aan de ene kant werken we zo hard mogelijk aan de ontwikkeling van TrUE AI, maar aan de andere kant moeten we zo snel mogelijk gaan experimenteren met zelflerende AI, zodat we niet op achterstand komen te staan.”

AI en Elo

De Elo-rating wordt gebruikt om de sterkte van denksport-spelers uit te drukken, met name in schaken, dammen en go. Sinds 2013 staat het menselijke record op naam van schaker Magnus Carlsen met een Elo-rating van 2.861. De Elo-rating van de AlphaGo-versie die in 2015 voor het eerst won van een menselijke speler - Europees kampioen Fan Hui - lag op 3.144. AlphaGo Zero was als eerste volledig zelflerend en won prompt met 100-0 van AlphaGo. De Elo-rating van AlphaGo Zero is 5.185. De Elo-rating van AlphaZero, de huidige en meest krachtige versie, is nog niet vastgesteld...

Red team vs. Blue team

Red team / Blue team is een van oorsprong uit het leger afkomstige trainingsmethode waarin het rode team een aanval uitvoert die het blauwe team moet proberen te weerstaan. In cybersecurity, waar deze opzet veel gebruikt wordt, vormen de hackers het rode team dat op alle denkbare manieren gaten in de verdediging probeert te vinden die het blauwe team in stand probeert te houden.

De oefening wordt gewoonlijk toegepast door menselijke securityteams, maar is ook een interessante uitdaging voor kunstmatige intelligentie.