Dit onderwerp heb ik een poosje ontweken. Het zou bijna hypocriet zijn om over dit vraagstuk te schrijven, gezien Exclusive-IT al twintig jaar maatwerksoftware levert.
Toch wil ik het onderwerp eens eerlijk bekijken.
De reden hiervoor is dat er steeds meer diensten verschijnen die het maken van software door middel van AI lijken te beloven. Van snelle hulp via ChatGPT (OpenAI) tot gespecialiseerde gereedschappen zoals Google Antigravity en allerhande AI-agents die inmiddels zelfstandig aan projecten kunnen werken.
De belofte is aantrekkelijk. Beschrijf wat je nodig hebt, geef de AI toegang tot je project en laat het werk uitvoeren. Waar je vroeger een ontwikkelaar nodig had, kun je nu in sommige gevallen met een paar opdrachten een werkende applicatie laten maken.
Maar wat als we dit eens wat verder onder de loep nemen? Wat kan het daadwerkelijk? Hoe ziet de lange termijn eruit? Hoe helpt het een organisatie, en hoe kan het juist tegenwerken?
Ik denk dat er een aantal zaken zijn die onvoldoende aandacht krijgen in de huidige discussie.
Toegang is noodzakelijk, maar ook een risico
Een van de eerste vragen die bij mij opkomt, is informatiebeveiliging. Dat was altijd al belangrijk, maar in de huidige wereld misschien nog wel een beetje extra.
Om AI daadwerkelijk te kunnen laten helpen bij softwareontwikkeling, moet het voldoende context hebben. Een paar losse regels code zijn immers niet altijd voldoende om te begrijpen hoe een applicatie functioneert. De architectuur, afhankelijkheden, configuraties, documentatie en bestaande implementaties zijn minstens zo belangrijk.
Het verschaffen van toegang tot volledige projecten is daarmee bijna een noodzakelijk kwaad om de gewenste hulp te krijgen.
Maar dat is ook bijzonder.
Waar we jarenlang hebben nagedacht over informatiebeveiliging, toegangsbeheer en het beperken van de hoeveelheid informatie waartoe een externe partij toegang krijgt, geven we nu soms een AI-agent toegang tot een aanzienlijk deel van onze softwareomgeving.
Dat hoeft niet te betekenen dat er daadwerkelijk informatie uit een systeem wordt ontfutseld. Het betekent wel dat er nieuwe mogelijkheden ontstaan om informatie te benaderen, te verwerken en eventueel buiten de oorspronkelijke omgeving te brengen.
Daarbij moeten we onderscheid maken tussen verschillende vormen van toegang. Een AI die alleen broncode kan lezen, vormt een ander risico dan een AI-agent die ook bestanden kan aanpassen, terminalopdrachten kan uitvoeren, databases kan benaderen of toegang heeft tot productieomgevingen.
En juist dat onderscheid lijkt nog weleens verloren te gaan in de belofte van gemak.
Want hoe meer een AI zelfstandig mag doen, hoe groter ook de gevolgen kunnen zijn wanneer er iets misgaat. Denk aan het onbedoeld opnemen van toegangsgegevens in een prompt, het blootstellen van interne configuraties of het uitvoeren van een opdracht die achteraf toch niet zo verstandig blijkt.
Het risico zit daarbij niet uitsluitend in de AI zelf. Ook de koppelingen, de rechten die zijn toegekend, de gebruikte extensies en de infrastructuur van de dienstverlener spelen een rol.
Wie beheert straks de kennis?
Een andere vraag die ik mijzelf stel, is wat dit op langere termijn doet met een organisatie die haar software steeds verder door AI laat ontwikkelen en beheren.
Er ontstaat namelijk een potentieel probleem dat niet direct zichtbaar is.
Wanneer een organisatie haar softwareontwikkeling grotendeels uitbesteedt aan een AI-dienst, kan er na verloop van tijd een gat ontstaan in de eigen inhoudelijke kennis. De software bestaat nog, functioneert wellicht prima, maar de mensen binnen de organisatie weten steeds minder goed hoe deze daadwerkelijk in elkaar zit.
Elke vervolgvraag zal dan opnieuw aan de AI moeten worden voorgelegd.
Er gaat intrinsiek kennis verloren en er ontstaat een afhankelijkheid van de AI-dienstverlener.
Dat is niet noodzakelijkerwijs anders dan bij het uitbesteden van softwareontwikkeling aan een externe IT-partner. Ook daar kan een organisatie op termijn afhankelijk worden van een partij die als enige precies weet hoe een systeem werkt.
Toch bemerk ik verschillen.
Een menselijke IT-partner kun je contractueel aanspreken, je kunt afspraken maken over documentatie, overdracht en geheimhouding en je kunt in beginsel verlangen dat kennis wordt overgedragen.
Bij AI-diensten zijn er ook aanvullende vragen. Welke informatie wordt verwerkt? Waar wordt deze opgeslagen? Welke partijen hebben toegang? Wordt de informatie gebruikt voor verdere training of productverbetering? Wat gebeurt er met de gegevens wanneer de overeenkomst eindigt?
Dat zijn geen theoretische vragen. Ze bepalen mede of een organisatie nog daadwerkelijk controle heeft over haar eigen software en de informatie die daarbij hoort.
De juridische werkelijkheid verdwijnt niet door AI
Hier wordt het wat mij betreft nog interessanter.
Want wie is er eigenlijk verantwoordelijk wanneer software door AI wordt geschreven?
Stel dat een AI een fout introduceert waardoor persoonsgegevens op straat komen te liggen. Of een applicatie voert een berekening verkeerd uit, met financiële schade tot gevolg. Kunnen we dan zeggen dat de AI verantwoordelijk is?
Nee, zo eenvoudig ligt het niet.
Een AI-dienst is niet automatisch een zelfstandige juridische partij die de verantwoordelijkheid van de gebruiker of opdrachtgever overneemt. De juridische verantwoordelijkheden moeten worden beoordeeld aan de hand van de betrokken partijen, hun rollen, de gemaakte afspraken en de omstandigheden waarin de schade is ontstaan.
Bij persoonsgegevens is bijvoorbeeld de AVG van belang. Een organisatie die bepaalt waarom en hoe persoonsgegevens worden verwerkt, kan als verwerkingsverantwoordelijke verantwoordelijk blijven, ook wanneer zij daarvoor externe diensten inzet. Een leverancier kan daarbij als verwerker optreden, waarvoor onder meer afspraken op grond van artikel 28 AVG nodig zijn.
En daar zit een belangrijk aandachtspunt.
Het gebruik van een AI-dienst voor softwareontwikkeling betekent niet automatisch dat de leverancier uitsluitend verwerker is. Dat hangt af van de feitelijke verwerking en de doeleinden waarvoor gegevens worden gebruikt. Een dienstverlener die gegevens ook voor eigen doeleinden verwerkt, kan voor die verwerking een andere juridische rol hebben.
Daarnaast is er inmiddels de Europese AI Act. Deze regelgeving introduceert verplichtingen voor verschillende partijen in de AI-keten, afhankelijk van hun rol en het soort AI-toepassing. Niet iedere toepassing van AI bij softwareontwikkeling valt daarmee automatisch in de categorie hoog risico. Toch is het relevant om te beseffen dat ook hier de verantwoordelijkheid niet zomaar bij de leverancier of de technologie kan worden neergelegd. De concrete toepassing en de rol van de betrokken partijen blijven bepalend.
Daarnaast zijn er vraagstukken rondom intellectueel eigendom. Wie heeft de rechten op de code die wordt gegenereerd? In hoeverre is de gegenereerde code beschermd? Wat als de AI code produceert die sterk overeenkomt met bestaande software? En wie draagt het risico wanneer daarmee rechten van derden worden geschonden?
Ook hier is het antwoord niet simpelweg dat de opdrachtgever automatisch eigenaar is van alles wat de AI produceert. Dat hangt onder meer af van het toepasselijke recht, de menselijke creatieve inbreng en de contractuele afspraken.
Het zijn onderwerpen die niet vanzelf verdwijnen omdat de software sneller en goedkoper wordt gemaakt.
Sterker nog, ik vermoed dat ze juist belangrijker worden naarmate organisaties meer software laten produceren zonder zelf voldoende inzicht te hebben in de herkomst en werking daarvan.
De schaal waarop we afhankelijk worden
Wat ik ook bijzonder vind, is dat het wederom een relatief kleine groep grote technologiebedrijven betreft, veelal gevestigd buiten Europa, die een steeds belangrijkere rol krijgt in onze digitale infrastructuur.
Het bedrijfsmodel is daarbij niet onbekend. Eerst een dienst aanbieden tegen lage kosten, soms zelfs gratis, om vervolgens een groot gebruikersbestand en een zekere afhankelijkheid op te bouwen. Daarna moet er rendement komen op de investeringen.
Dat is op zichzelf geen onrechtmatige of ongebruikelijke bedrijfsstrategie. Maar het roept wel vragen op.
Wat gebeurt er wanneer de prijs van een AI-dienst aanzienlijk stijgt? Wat als de voorwaarden veranderen? Wat als een functionaliteit waarop een organisatie haar hele ontwikkelproces heeft ingericht plotseling verdwijnt? Of wat als een dienstverlener besluit een bepaalde markt niet langer te bedienen?
Natuurlijk kan een organisatie overstappen naar een andere aanbieder. Maar hoe eenvoudig is dat wanneer de gehele ontwikkelomgeving, de werkprocessen en misschien zelfs de kennis van de software inmiddels rondom één specifieke AI-dienst zijn georganiseerd?
Een exit-strategie klinkt op papier eenvoudig. De daadwerkelijke uitvoering kan een heel ander verhaal zijn.
Daarbij speelt ook de geografische en juridische dimensie. Waar bevindt de leverancier zich? Onder welk recht valt de overeenkomst? Welke wetgeving kan van toepassing zijn op de gegevensverwerking? En in hoeverre kan een Europese organisatie daadwerkelijk afdwingen dat afspraken worden nagekomen wanneer de leverancier en zijn infrastructuur zich elders bevinden?
Het is niet zo dat een Amerikaanse of andere niet-Europese leverancier per definitie onveilig is. Dat zou een onjuiste conclusie zijn. Maar de jurisdictie, de contractuele mogelijkheden en de feitelijke zeggenschap over gegevens verdienen wel degelijk aandacht.
Het risico zit vooral in de schaal
Ik denk dat het risico vooral in de schaal zit.
Goede softwarebeveiliging hoort niet afhankelijk te zijn van het geheimhouden van de broncode. Dat is een bekend uitgangspunt binnen de informatiebeveiliging. Software hoort ook veilig te zijn wanneer de werking en implementatie ervan bekend zijn.
Maar dat betekent niet dat het openbaar worden van broncode zonder gevolgen is.
Broncode kan bijvoorbeeld onbedoeld toegangsgegevens bevatten, interne systeemstructuren blootleggen of informatie bevatten die een aanvaller helpt om kwetsbaarheden te vinden. Hetzelfde geldt voor configuratiebestanden, logbestanden en documentatie.
En dan hebben we het nog niet eens over persoonsgegevens, klantgegevens, bedrijfsgeheimen en andere vertrouwelijke informatie.
Het probleem is niet noodzakelijkerwijs dat één AI-dienst toegang heeft tot één project. Het probleem kan ontstaan wanneer grote hoeveelheden bedrijfssoftware van een groot aantal organisaties via een beperkt aantal diensten worden verwerkt.
Daarmee ontstaat een interessante concentratie van risico.
Een incident bij één individuele leverancier kan dan gevolgen hebben voor een groot aantal organisaties. Niet omdat al die organisaties hetzelfde systeem gebruiken, maar omdat ze mogelijk wel dezelfde infrastructuur, dienstverlener of afhankelijkheid delen.
Dat vergroot de potentiële impact van een incident.
En dat is iets anders dan stellen dat een incident onvermijdelijk is. Goede beveiligingsmaatregelen kunnen veel risico's beperken. Maar naarmate de hoeveelheid gedeelde informatie en de onderlinge afhankelijkheid toenemen, wordt het belang van die maatregelen alleen maar groter.
AI is goed in code, maar begrijpt het ook wat we bouwen?
Dan is er nog de technische kant.
AI is momenteel bijzonder goed in het ondersteunen van programmeurs. Het kan fouten vinden, bestaande code analyseren, tests schrijven en relatief zelfstandig functionaliteiten implementeren.
Dat is indrukwekkend. En ik zou ook niet willen doen alsof dit slechts een hype is.
Maar code produceren is niet hetzelfde als software ontwikkelen.
Softwareontwikkeling gaat niet alleen over het oplossen van een technisch probleem op het moment dat het zich voordoet. Het gaat ook over het begrijpen van de organisatie, het maken van architecturale keuzes, het bewaken van samenhang en het rekening houden met toekomstige ontwikkelingen.
Een oplossing kan technisch correct zijn en toch een slechte keuze blijken.
Een AI kan bijvoorbeeld een functionaliteit uitstekend implementeren, terwijl de gekozen oplossing op termijn leidt tot een onnodig complexe architectuur, extra onderhoudslast of een afhankelijkheid van een specifieke technologie.
Dat hoeft niet direct zichtbaar te zijn. Misschien werkt alles vandaag prima. Maar software wordt doorgaans niet voor vandaag alleen gebouwd.
Context is koning en AI is een gereedschap net als een vaatwasser.
En context is nu juist iets wat niet vanzelfsprekend volledig beschikbaar is voor een AI. Een groot deel van de kennis over een organisatie zit immers niet in de broncode. Het zit in mensen, processen, uitzonderingen, historische keuzes en soms zelfs in de redenen waarom bepaalde zaken juist níét op een bepaalde manier zijn gebouwd.
Bij Exclusive-IT gebruiken we AI niet voor code. We gebruiken wel interne AI als extra gereedschap.
Net als een vaatwasser: bijzonder handig, neemt werk uit handen en doet dat waarschijnlijk efficiënter dan ikzelf. Maar ik zou er niet zonder meer de verantwoordelijkheid voor mijn hele huishouden aan overdragen.
Wat betekent dit voor organisaties en de samenleving?
De filosofische vraag over wat dit met de arbeidsmarkt doet, en daarmee met de samenleving, is op zichzelf al een interessant onderwerp. Die laat ik voor nu even buiten schot.
Ik wil mij vooral richten op de implicaties voor organisaties, burgers en onze rechtssystemen.
Want we staan op een bijzonder punt in de ontwikkeling van software. De drempel om software te laten maken wordt steeds lager. Dat biedt enorme mogelijkheden, ook voor organisaties die voorheen niet de middelen hadden om maatwerksoftware te laten ontwikkelen.
Maar tegelijkertijd verschuift er iets.
We geven steeds meer zeggenschap over onze digitale infrastructuur aan systemen en dienstverleners die we niet altijd volledig kunnen doorgronden. We delen informatie om betere resultaten te krijgen, bouwen afhankelijkheden op en besteden kennis uit aan technologie die zich in hoog tempo ontwikkelt.
Dat hoeft allemaal niet verkeerd te zijn. Maar het vraagt wel om bewuste keuzes.
Misschien moeten we daarom niet alleen vragen of AI software kan maken.
De vraag die mij veel meer bezighoudt, is wat we uit handen geven wanneer we dat doen.
Wie is verantwoordelijk wanneer het misgaat? Wie heeft uiteindelijk de controle over de software? Wie bezit de kennis om deze te onderhouden? En hoe zorgen we ervoor dat organisaties niet ongemerkt hun zelfstandigheid verliezen?
AI is een bijzonder krachtig gereedschap. Daar twijfel ik niet aan.
Maar wie een gereedschap gebruikt, moet ook begrijpen welke risico's eraan verbonden zijn.
En misschien is dat op dit moment wel het belangrijkste onderdeel van de discussie.