Het inkopen van AI diensten

Bart van Reeken en Berber Bosch, Van Doorne

Het inkopen van AI is anders dan het inkopen van meer traditionele IT. Een uitdaging is dat de klant meestal niet weet hoe de techniek werkt. Degene die de techniek ontwerpt, weet vaak niet hoe de klant de techniek zal gebruiken (of misbruiken). En zelfs als conceptueel bekend is hoe de techniek werkt, dan nog kunnen verrassingen ontstaan door de data die is gebruikt om het AI-systeem te trainen. Ieder van deze uitdagingen zorgt voor risico’s. Wanneer we een inkoop van AI-diensten begeleiden, helpt het als we ons daarvan bewust zijn.

Welke specifieke aandachtspunten relevant zijn, kun je vaststellen met behulp van het antwoord op de volgende vragen:

• Waarvoor wordt het AI-systeem straks ingezet? Waarvoor gaan we erop vertrouwen?
• Wat proberen we hier te realiseren? Wat is het doel?
• In hoeverre kunnen en gaan onze mensen de uitkomsten nog controleren voordat die worden toegepast? Kunnen we tijdens de rit nog bijsturen?
• Wat kan er mis gaan?
• In hoeverre heeft het AI-systeem zich al bewezen in dezelfde of een goed vergelijkbare omgeving?
• In hoeverre bepaal je als klant de inrichting van het AI-systeem, bij voorbeeld door het te trainen in de eigen omgeving of met eigen data sets?

Hoe meer de leverancier begrijpt van het specifieke gebruik van de klant, hoe meer je op de leverancier kunt vertrouwen. Als je zelf het specifieke gebruik bepaalt, moet je daar ook meer verantwoordelijkheid voor nemen. Dat betekent onder andere dat je meer zult moeten testen voordat je het in een productieomgeving toepast. Vanuit klantperspectief is het logisch om te willen begrijpen hoe de techniek werkt. Dat is geen blijk van wantrouwen naar de leverancier, maar van het nemen van verantwoordelijkheid door de klant.

In deze bijdrage bespreken we enkele adviezen voor het contracteren van AI vanuit klantperspectief. Eerst ontlenen we inspiratie aan het gedachtegoed achter de AI-Verordening. Vervolgens passen we onze ervaring met SaaS-overeenkomsten toe. Afhankelijk van het specieke gebruik door de klant, kunnen aanvullende voorwaarden nodig zijn.

Praktisch denkkader: AI-Verordening

De aanstaande AI-Verordening bevat regels voor het gebruik van AI. Afhankelijk van het beoogde gebruik valt het AI-systeem in een risicocategorie: verboden, hoog risico, transparantierisico of minimaal risico. Een aantal AI-toepassingen – zoals social scoring – is verboden. De AI-verordening bevat vooral regels voor hoog risico toepassingen. Daarbij gaat het om toepassing in al gereguleerde producten (zoals bijvoorbeeld machines, medische hulpmiddelen en liften) of toepassing bij processen die een grote impact kunnen hebben, zoals recruitment of kredietwaardigheidschecks (meer in een bijlage bij de AI-Verordening). Voor een aantal AI-toepassingen zijn er transparantieverplichtingen. Voor iemand die rechtstreeks met een AI-systeem communiceert, moet bijvoorbeeld duidelijk zijn dat die met een AI-systeem communiceert in plaats van met een mens. Voor AI met een minimaal risico zijn er geen regels.

De meeste verplichtingen voor hoog risico AI rusten op de aanbieder van het AI-systeem. Dat is degene die het AI-systeem ontwikkelt en op de markt brengt of in gebruik neemt. Daarnaast kent de verordening de rol van toepasser. Dat is degene die het AI-systeem inkoopt, tenzij die het AI-systeem substantieel wijzigt – dan kwalificeert die alsnog als aanbieder. Voor de toepasser gelden ook verplichtingen, zoals bijvoorbeeld het gebruiken van het AI systeem conform de gebruiksaanwijzing, menselijk toezicht uitoefenen, relevante en representatieve input data gebruiken en het minimaal bewaren van logs voor een periode van zes maanden.

Zo lang de AI-Verordening nog niet van toepassing is en deels ook voor AI-systemen die niet vallen in de categorie hoog risico, kunnen de vereisten van die verordening als inspiratie dienen.

Risicobeheer

Zo moet de aanbieder van het AI-systeem bijvoorbeeld een systeem voor risicobeheer inrichten. Dat betekent dat de aanbieder moet nadenken over de risico’s die de inzet van AI met zich meebrengt en het mitigeren van deze risico’s. Ook is er de verplichting om te testen in het licht van het beoogde gebruik van het AI-systeem. Dat zijn natuurlijk ook nu al aspecten om over na te denken en in veel situaties een leverancier om te vragen.

Data en documentatie

Verder moet de data governance op orde zijn. De dataset voor de training, validatie en testen van het AI-systeem moet bijvoorbeeld voldoende relevant, representatief, en voor zover mogelijk foutloos en compleet zijn. In technische documentatie moet de aanbieder bijhouden hoe aan de eisen van de verordening is voldaan. Deze vereisten zijn natuurlijk ook buiten hoog risico toepassingen relevant. Ook als je AI inkoopt voor voorraadbeheer of optimalisering van aangeboden prijzen op een website wil je dat het AI-systeem goed werkt. De voor de training gebruikte data zijn daarvoor veelal bepalend.

Bijhouden logs

Volgens de verordening moet het AI-systeem het technisch mogelijk maken om automatisch bij te houden wat er gebeurt (logs) zodat duidelijk is dat het AI-systeem werkt zoals het beoogd is te werken. Het bijhouden van zogenoemde logs helpt bij het uitleggen van wat er precies is gebeurd. Ook dat lijkt ons voor veel toepassingen relevant.

Transparantie en menselijk toezicht

Het AI-systeem moet transparant genoeg zijn zodat degene die het AI-systeem inzet de output van het systeem kan interpreteren en gebruiken. Ook moet de aanbieder gebruiksinstructies leveren. Bij hoog risico toepassingen is effectief menselijk toezicht vereist tijdens het gebruik van het AI-systeem. Met dit menselijk toezicht kunnen risico’s worden voorkomen of beperkt: door een goed begrip van de capaciteiten en beperkingen van het AI-systeem, door bewust te zijn van de neiging om de output automatisch te vertrouwen, door de output correct te interpreteren en door ervoor te kiezen het systeem niet in te zetten of stop te zetten.

Nauwkeurig, robuust en cyberbeveiliging

Tot slot dient het AI-systeem nauwkeurig en robuust te zijn en aan de eisen van cyberbeveiliging te voldoen. Het AI-systeem moet bijvoorbeeld bestand zijn tegen fouten, storingen en inconsistenties, met name als gevolg van interactie met natuurlijke personen of andere systemen. Ook moet de aanbieder nadenken over back-up of fail-safe plannen.

AI Verordening in de overeenkomst

Als een klant hoog risico AI afneemt, is het voldoende om te bepalen in de overeenkomst dat het AI-systeem van de aanbieder aan de wettelijke vereisten voldoet en het zodanig is ingericht dat de klant bij gebruik aan de wet kan voldoen. Bij de inkoop van niet hoog risico AI kan het raadzaam zijn om bovenstaande onderwerpen in de overeenkomst te regelen, afhankelijk van de antwoorden op de vragen bovenaan in dit artikel.

SaaS-bepalingen

Leveranciers stellen AI-systemen vaak beschikbaar als SaaS-oplossing (via het internet in plaats van on premise). Daarvoor gelden dezelfde aandachtspunten als voor SaaS-overeenkomsten, zoals de beschikbaarheid, functioneren conform documentatie, oplossen van incidenten, kunnen bijkopen en ruilen van licenties, verlenging, niet al te veel uitsluiten van aanvullend recht met betrekking tot de kwaliteit (maar wel suitable for agreed/documented use), beveiliging en vertrouwelijkheid, back-ups en verantwoordelijkheid voor verlies van data, aansprakelijkheid en welke rechten sole and exclusive zijn. Voor een uitgebreidere bespreking van deze onderwerpen verwijzen we naar het artikel ‘Het contracteren van cloudcomputing (SaaS) – oplossingen’ (Contracteren 2022/3, p. 93-102).

Gebruiksbeperkingen

Vaak staat in overeenkomsten dat de software alleen gebruikt mag worden voor internal business use. Dat is voor de meeste toepassingen te beperkend geformuleerd. Want software is vaak niet alleen voor intern gebruik. Bij gebruik van een AI-systeem voor het genereren voor de juiste salesteksten, is de bedoeling dat de output juist extern wordt gebruikt. Om iets te verkopen is communicatie met mensen buiten de organisatie essentieel. Bepaal dus expliciet dat het beoogde gebruik is toegestaan om een licentiegeschil te voorkomen.

In voorwaarden voor AI-diensten staat soms opgenomen dat het ontwikkelen van nieuwe producten of diensten niet is toegestaan. De kans bestaat – bijvoorbeeld bij het gebruik van AI voor het ontwikkelen van code – dat je de AI-dienst juist wel wil gebruiken om nieuwe producten te maken of bestaande producten te verbeteren. De leverancier maakt zich waarschijnlijk vooral zorgen over het maken van concurrerende diensten. Dan heeft die er geen moeite mee als je hele andere nieuwe producten en diensten ontwikkelt. Het helpt dan om deze bepaling te verduidelijken.

Output

Het AI-systeem geeft een bepaalde output. Wie mag gebruik maken van deze output? Alleen de klant of ook de leverancier? Mag de leverancier de input/output van de klant gebruiken voor het trainen van het systeem? Of dit wenselijk is, hangt af van waarvoor de klant het AI-systeem gebruikt en welke data de klant hiervoor beschikbaar stelt. Als het om vertrouwelijke gegevens gaat, is het belangrijker om de data te beschermen dan als het geaggegreerde gegevens zijn die niet herleidbaar zijn naar individuen of de organisatie.

In welke mate is de leverancier verantwoordelijk voor de output van het systeem of het gebruik wat daarvan wordt gemaakt? Dat is afhankelijk van de context. Een eerste stap is te bepalen dat de klant door het gebruik van het AI-systeem geen inbreuk maakt (los van zijn eigen input), omdat het trainingsmateriaal gebruikt door de leverancier geen inbreuk oplevert. Als het gebruik door de klant aansluit op het gebruik zoals bedacht door de leverancier, en als dit gebruik onder de controle ligt van de leverancier, kan de leverancier rederlijkerwijs veel verantwoordelijkheid dragen. En omgekeerd: naarmate je als klant meer invloed hebt uitgeoefend op hoe de techniek werkt (bij voorbeeld door eigen configuratie of training op een eigen dataset), kan je als klant ook meer verantwoordelijkheid nemen voor de output en het gebruik daarvan. Bijvoorbeeld door het testen van het systeem en het beoordelen van de output.

Uitleg

Gebruik van een AI-systeem kan schade met zich meebrengen. Om te achterhalen hoe bepaalde schade is ontstaan, is vaak informatie van de leverancier nodig. De leverancier zal deze transparantie niet altijd willen bieden uit vrees voor een aansprakelijkheidsstelling door de klant. Het is nuttig om vooraf te bepalen dat je als klant bepaalde toegang hebt tot bijvoorbeeld de logs van het AI-systeem om te achterhalen wat er precies is gebeurd (ook bij niet hoog risico AI). Je zou ook kunnen denken aan een bepaling die de bewijslast legt bij de leverancier (of een vrijwaring voor de aanspraken van derden) als de leverancier onvoldoende transparantie geeft om te achterhalen waardoor de schade precies is ontstaan.

Incidenten

Een verplichting om de output van het AI-systeem te monitoren en de klant op de hoogte te stellen als het AI-systeem niet helemaal functioneert zoals het zou moeten funtioneren, bijvoorbeeld door onwenselijke output draagt bij aan het mitigeren van eventuele risico’s. (Zoals de bijsluiter bij een geneesmiddel wordt aangepast.)

Representation

Een representation is een Angelsaksisch figuur, die wij in het Nederlandse contractenrecht niet met eenzelfde betekenis kennen. In veel voorwaarden van AI-diensten staat zo’n figuur, die meestal beperkt wat je van de software mag verwachten. Een beperkte representation is een beperkte toezegging en niet meer dan dat. Je zou die figuur ook kunnen gebruiken om aan te scherpen wat je als klant mag verwachten:

‘Supplier represents that the Application:

- has been developed and will perform in a way that is in compliance with laws and regulations;

- has been developed according to a motivated approach designed to prevent unjust biases;

- will perform accurately and correctly;

- is suitable for the Documented Use.’

Audit

Het kan handig zijn om te bepalen dat je als klant een auditrecht hebt, ook om de eigen verantwoordelijkheid te vervullen, om te verantwoorden hoe bepaalde beslissingen tot stand zijn gekomen.

Continuïteit

In de meeste gevallen is het onhandig of zelfs problematisch als het gebruik van een applicatie plotseling moet worden gestopt. Bij AI speelt ook nog dat de resultaten waarschijnlijk bruikbaar moeten blijven en in sommige gevallen ook dat je beslissingen later nog kunt uitleggen. Dat vergt een overgangsperiode na beëindiging, een voortdurend gebruiksrecht en wellicht zelfs een beperkte, maar voortdurende toegang tot het AI-systeem. Waar relevant is het zaak dat bij het aangaan van de overeenkomst te regelen.

Tot slot

Veel plezier!