Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

Hoorcollege 1: Inleiding

Rechtsbronnen op: steen, kleitabletten, touwen, huiden, papier, en ten slotte elektromagnetische sporen. De laatste halve eeuw is het niet alleen informatie die gedigitaliseerd wordt, maar ook onze rechtsvinding. Rechtsvinding door: Goddelijke inspiratie, menselijke verwerking recht, digitale verwerking recht.

Wat is rechtsinformatica?

Vraagstelling: is het mogelijk om juridische kennis in (intelligente) juridische kennissystemen onder te brengen?

Doelstelling:

1. Beantwoorden van de vraag hoe juristen recht vinden (Rechtspsychologie). We willen niet alleen recht toepassen, we willen ook weten hoe we dat doen (objectief). Computers zijn een middel voor wetenschappelijk onderzoek, het onderwerp is de jurist en zijn rechtsvinding. In een computer kunnen we een belangrijk deel van onze denkprocessen modelleren. Als het model casussen hetzelfde oplost als de jurist ze zou oplossen, is het model houdbaar. Hoe vaker je dat bewijst, hoe meer houdbaar het wordt, maar het wordt nooit 100%.

Wetenschappelijk: wat is juridische kennis?

2. Toegankelijk maken en toepassen van juridische kennis (rechtsbronnen en rechtsvinding) met behulp van computers. Computers om rechtsvindingkracht (hoe we recht vinden) te versterken en verbeteren.

Praktijk: verbeteren kwaliteit juridische kennistoepassing (m.b.v. computermodellen).

Doelstelling: kennis over juridische kennis, bouwen van beslissingsondersteunende systemen, juridische en technische voorwaarden voor adequate ondersteuning van juristen. Methode: Rechtstheoretisch onderzoek: hoe werkt rechtsvinding?

Technisch onderzoek: hoe maak ik hier een computermodel van?

Juridisch onderzoek: welke juridische kennis moet ik invoeren?

Empirisch onderzoek: werkt het computermodel met deze kennis?

Toepassingsgericht onderzoek: kan ik hiermee de praktijk verbeteren?

Intelligentie is wat een intelligentietest meet: meest geavanceerde definitie van ‘intelligentie’ in de rechtspsychologie.

Intelligentie: op het moment dat je, als je communiceert met een onbekende entiteit via een toetsenbord, dat niet meer kunt onderscheiden van communicatie met de medemens, dan heeft die entiteit intelligentie.

Intelligentie is dus een heel abstract begrip.

Juridische systemen zijn toepassingen van de rechtsinformatica. Juridische kennissystemen: wetgeving, bestuur en rechtspraak. Met behulp van simulaties kun je wetgeving creëren, door te testen hoe de nieuwe wetgeving zou werken.

Hoorcollege 2: Juridische kennis

Inleiding – NSA gegevensuitwisseling schandaal.

Wij verlenen technische bijstand aan een buitenlandse geheime dienst en daar heeft de minister geen toestemming voor gegeven, hij wist er zelf niks van. Art. 59 Wet op Inlichtingen en Veiligheidsdiensten. Dit is illegaal!

Buma bij Pauw en Witteman, er werd hem gevraagd of hij wist van de uitwisseling van de geheime informatie. Hij zegt nee. Dan wordt hem gevraagd of hij wel mag vertellen of hij het al dan niet wist, dan zegt hij dat hij dat niet mocht zeggen, hij mag niks vertellen over de commissie-stiekem. Maar door ‘nee’ te zeggen hij heeft impliciet antwoord gegeven.

Rechtsvinding is meerduidig.

In het eerste college hebben we de vraag gesteld of het mogelijk is een goed model van rechtsvinding te ontwikkelen. En of je jezelf en (toepassing van) juridische kennis ermee kunt verbeteren.

Het eerste wat we dan moeten weten, is dan wat juridische kennis is.

Het eerste en belangrijkste element is dat het perspectief gebonden is. Dat begint al bij de gegevens die je verzameld. Op het moment dat we gegevens verzamelen kennen we er verschillende betekenissen aan toe en dat doe we ook met de regels. De begrippen worden verschillend geïnterpreteerd en de regels verschillend gekwalificeerd. Interpretatie is een zaak van je gezonde verstand, van je eigen opvattingen. In de tussentijd verandert de wereld ook nog eens, er zijn verschillende dimensies: tijd, plaats, andere natuur, cultuur, etc. Natuur: water zal bijvoorbeeld een andere betekenis hebben in plaatsen waar het schaars is dan waar het een ‘common good’ is. Dubbelzinnigheid (perspectief gebondenheid) is essentieel aan juridische kennis. Maar een computermodel werkt toch eenduidig? Nee, dat is niet het geval. Een computermodel kan heel goed meerduidig en onzeker zijn. Een computer kan op grond van geuite emoties keuzes maken. Dit is ook noodzakelijk. Emoties zijn noodzakelijk om keuzes te kunnen maken.

Bij beslissingen spelen bepaalde waarden mee en ook die zijn perspectief gebonden.

Waarom doen juristen moeilijk/hebben verschillende opvattingen over een concreet begrip zoals geschrift? Een digitaal bestand is veel makkelijker kopieerbaar dan een geschrift, ook exact kopieerbaar  originaliteit ‘leek’ veel moeilijker vast te stellen te zijn.

Hoofdvraag: is het mogelijk juridische kennis in juridische kennissystemen onder te brengen?

Juridische kennis heeft betrekking op de rechtsvinding en juridische kennissystemen hebben betrekking op computers zoals wij die kennen.

Twee voorvragen:

Wat is kennis?

Is juridische kennis anders dan andere kennis?

Meerduidigheid is typisch voor juridische kennis. Maar waarom is dat zo? Omdat wij individuen zijn en nou eenmaal verschillende perspectieven hebben op de wereld. We zijn beperkte individuen met onze eigen waarden. Daarom is het recht meerduidig, omdat het ons rechtssysteem is en niet van één entiteit. Maar is ‘meerduidigheid’ een onderscheidend element? Geldt voor andere kennis niet hetzelfde? Er zijn nog geen theorieën die alle mogelijke waarnemingen kunnen verklaren. Zelfs op het meeste exacte gebied (physica) bestaan daarom verschillen. De menselijke conditie brengt binnen elk gebied onzekerheid met zich mee, maar in het rechtsgebied meer dan in de rest. We kunnen elkaars perspectief overnemen, waarden kunnen parallel lopen. maar we hebben ook een grote variatiemogelijkheid. In essentie is kennis perspectief gebonden, ook als het gaat om exacte kennis. Voor het modelleren van kennis kun je dus hetzelfde systeem gebruiken.

Onderscheid tussen feiten en normen. Feiten: waar we gemeenschappelijke perspectieven op hebben, de “waarheid”. Norm: voorschrift voor gedrag. Maar dat is niet waar, zelfs normen zijn beschrijvingen van feitelijkheden. Deze beschrijven verwachtingen van gedrag. Waar is de verwachting op gebaseerd? Op een bepaalde waarde, op het idee dat je bijvoorbeeld als je gewelddadig gedrag vertoont, dat dat leidt tot pijn. Pijn wil je voorkomen dus je verwacht je dat mensen zich niet gewelddadig gedragen. Normen zijn dus eigenlijk ook feiten, het zijn beschrijvingen van interne waarden. Hoe formeler de norm hoe meer ze gedeeld worden, hoe meer ze komen in de richting van wat wij rechtsregels noemen.

Een kennissysteem kan gegevens verzamelen, regels toepassen, documenten maken.

Wat is juridische kennis?

Rechtstheoretische benadering

Vraag naar verplichtingen in een feitelijke situatie (waarden). Het is een vraag naar gedeelde waarden in een bepaalde feitelijke situatie. Wat vinden mensen gezamenlijk van wat rechtens is en hoe hebben zij die vertaald naar normen?

Je gebruikt hiervoor rechtsbronnen: normen, regels, rechtsregels. De rechtsregels staan niet op zich, ze staan bovenaan, daaronder staan algemene regels en normen. Als je aan een norm voorwaarden verbindt, wordt het een regel. Een regel is een bewust geworden norm met condities.

In ons rechtssysteem hebben we een wetgever en die regels vertalen we dan in rechtsregels. Die worden weer aangevuld met beleid en jurisprudentie, ook dat zijn rechtsregels.

Een rechter doet eigenlijk geen uitspraak in een individueel geval, er ontstaat een norm waaraan in principe andere rechters zich aan houden. Een uitspraak is een regel. In het bestuursrecht heb je bijvoorbeeld het gelijkheidsbeginsel, dit maakt van de individuele uitspraak een regel.

We hebben ook een methode van rechtsvinding, dit is het toepassen van rechtsregels. Wat betekend dit toepassen? Redeneren. Je hebt een algemene regel, in het individuele geval heb je feit, je gebruikt deductie. Inductie: vanuit zich herhalende situaties leidt je regels af.

Er ontstaat een probleem als je meerdere mogelijkheden hebt, daarom maken juristen belangenafwegingen. Een ander onderdeel van rechtsvinding is beslissingen maken. Daarbij zijn beslissingsregels van belang: specialiteitsbeginsel, lex posterior regel, superior regel.

Een deel van de rechtsvinding bestaat uit het nemen van beslissingen, en daar zijn deze beslissingsregels van belang.

Bronnen van recht – ook hierover hebben mensen verschillende opvattingen.

* Natuurrecht.

Hier is de natuur een bron. Maar er is een goede tegenwerping te maken; er komen veel situaties voor waarin toch geen consensus is. Mensen hebben verschillende opvattingen. Dit overtuigd niet van het natuurrecht als ‘oerbron’ van het recht.

* Rechtspositivisme.

Ook wel systeemdenken genoemd; men maakt het zich makkelijk  de bron van het recht is niet de natuur, de bron van het recht is gewoon wat er in de wet staat, wat er geschreven is. Het gaat hier dus om een formele rechtsbron. Je hebt dan niet te maken met de verschillende opvattingen of met de natuur. Er bestaat dan ook een probleem. Er zijn situaties waarin de wet geen betekenis meer heeft, waar gedoogconstructies een rol spelen en waar bijvoorbeeld cultuur onze opvattingen beïnvloeden. Een ander probleem is dat er ook informele bronnen zijn. Bovendien is in de formele bronnen ruimte voor interpretatie- en beslissingsruimte. Hier steekt het natuurrecht dus weer zijn kop op.

Het rechtspositivisme is een reactie op het idee uit de 19^e eeuw dat wij de natuur kunnen beheersen; opkomen moderne wetenschap, industrialisatie, etc.

* Functionele rechtsleer.

Opgekomen na WO II als reactie op bovenstaande stromingen.

Ook wel probleemdenken genoemd. Je begint met kijken naar het probleem en naar een oplossing en pas daarna naar de formele normen. Je moet eerst kijken naar wat er werkelijk speelt. Het recht is een functie van de waarden, het is niet een functie die bepaald wat rechtens is, maar als legitimatie voor wat de rechter vindt dat de beste oplossing is. Het recht creëert niet de beslissing, maar legitimeert de beslissing. Je besluit eerst wat de beste oplossing voor het probleem is en daarna zoek je een legitimatie in de wet. Dit is een meer informele benadering.

Ook deze stroming verklaart niet alles.

* Gesystematiseerd probleemdenken.

Ten slotte wordt door juristen hiervoor gekozen. Dit betekend een samentrekking van aan de ene kant de erkenning dat menselijke waarden en normen een rol spelen (probleemdenken) en aan de andere kant de erkenning dat onder omstandigheden de geschreven norm zelf een waarde is (het feit dat we iets met elkaar hebben afgesproken, is ook een waarde). Je maakt dus van beide bonnen gebruik: zowel de formele bronnen (de wetten; positivistische manier van denken) als de informele bronnen (ongeschreven recht; normen).

Methode van rechtsvinding: ervaren van waarden, je voelt wat je voorkeuren zijn, welke belangen jouw belangen zijn, welke belangen behartenswaardig zijn. Vervolgens stel je vast welke normen en uiteindelijk ook regels waarin die vertaald zijn van toepassing zouden kunnen zijn en die pas je uiteindelijk toe. Hierbij redeneer je  kwalificeren, interpreteren, trekken van conclusies. Je redeneert bijvoorbeeld om een bepaalde kwaliteit aan een gegeven toe te kennen. Ten slotte beslis je; je kiest uit de verschillende oplossingen. Beslissen is ook redeneren; je gebruikt een regel en je kijkt naar de concrete feiten. Bijvoorbeeld de regel dat de wet boven een opvatting gaat. Je kijkt dan feitelijk naar wat een wet is en wat een opvatting is en uiteindelijk kies je voor de wet.

Regressief redeneren is ook een vorm van redeneren. Hierbij begin je met de conclusie. Je hebt eerst ergens een opvatting/gevoel over en daarna ga je er legitimatie voor zoeken. Je gaat het rechtvaardigen door op een bepaalde wettelijke regeling te wijzen. Je rechtvaardigt je gevoel.

Juridische kennis; praktische benadering van wat je doet als je een casus oplost:

• Elementaire casusgegevens: feitelijke situatie.

• Rechtsvraag.

• Selectie van regels op grond van de rechtsvraag: doelgericht (civielrechtelijke, strafrechtelijk).

• Interpretatie van regels: betekenis geven aan begrippen e.d.

• Verzamelen van aanvullende casusgegevens.

• Kwalificatie van casusgegevens.

• Afleiden van (alternatieve) normatieve kwalificaties: meerdere opvattingen

• Selecteren en interpreteren van beslissingsregels

• Beslissen: kiezen uit alternatieven op grond van beslissingsregels

Als je steeds preciezer kunt beschrijven wat je doet bij rechtsvinding, kun je dat ook een computer laten doen.

Psychologische benadering

Zelf bestuderen

Synthese: (computer)model van juridische kennis

Zelf bestuderen

Hoorcollege 3: Wat zijn juridische kennissystemen?

Is het mogelijk om juridische kennis in intelligente computersystemen onder te brengen? Ja, maar wat (welke kennis), hoe en met welk resultaat en onder welke voorwaarden?

Vorige week ging het over ‘wat’, deze week over ‘hoe’.

Juridische kennis

Rechtsvragen: de vragen naar de normatieve situatie die toepassing van juridische kennis doelgericht maken. Je moet dus een systeem maken dat gemotiveerd is om een bepaald doel te bereiken. Net als dat wij mensen doelgerichte (organische) systemen zijn.

Feitenkennis: de percepties van feiten, regels en metaregels van één of meerdere partijen (verschillende opvattingen). Percepties: hoe feiten gekwalificeerd worden door degene die de feiten gebruikt in zijn argumentatie. Partijen hebben verschillende kwalificaties van feiten, bijvoorbeeld m.b.t. opzet, schuld, etc. Onze machine moet dus in staat zijn, niet alleen om feiten vast te leggen als gegevens in een databank, maar ook om die feiten te kwalificeren, om er betekenis aan toe te kennen.

Metaregels: de regels die je gebruikt om te beslissen. Gewone regels gebruik je om te bepalen welke rechten en verplichten er zijn: jurisprudentieregel, overeenkomstregels, etc. Een metaregel gebruik je als er meerdere mogelijkheden zijn, en die zijn er dus bijna altijd op grond van de kwalificaties en interpretaties, om tussen die mogelijkheden te kiezen. Bijvoorbeeld de regel dat als iets door een hogere rechter is uitgesproken zwaarder weegt dan als iets door een lagere rechter is uitgesproken.

Het systeem moet dus alternatieven kunnen herkennen.

Functionele kennis: de procedures voor het vaststellen van de normatieve situatie door één of meerdere partijen (redeneren en probleem oplossen). Hier gaat het niet meer om de inhoudelijke kennis maar toepassingskennis. Niet ‘know what’ maar ‘know how’. Dit is een doelgericht proces; je wilt naar een bepaalde uitspraak toe, een definitieve opvatting. Dit doe je door redeneren, redeneren leidt ertoe dat je de regels op de feiten toepast (deductie). Als A dan B, dit is de regel. A zijn de feiten. Als A is vastgesteld, mag je B concluderen. B is dan bijvoorbeeld ‘aansprakelijk’ of ‘artikel x van toepassing’.

Redeneren is niet doelgericht, het is gewoon alle regels die je kent toepassen op alle feiten die je kent. Maar een jurist doet dat niet, een jurist maakt een selectie. Met die selectie brengt een jurist het doel dichterbij. Het gaat om doelgericht redeneren, je gebruikt alleen de feiten en regels die betrekking hebben op het rechtsprobleem.

Metakennis: de procedure voor het vaststellen van een gemeenschappelijke normatieve situatie, door overeenstemming, compromis of juridische procedure (beslissen met behulp van metaregels op grond van bronkenmerken van opvattingen). Metakennis wordt gebruikt om een beslissing te nemen.

Metakennis is deels feitenkennis: kennis van metaregels. Het is deels functionele kennis: het redeneren op een doelgerichte manier met metaregels.

Beschrijving taken van juridische kennissysteem

Een kennissysteem past niet alleen de kennis toe die een advocaat en rechter gebruikt maar ook de kennis van een regelgever om goede wetten te maken om het functioneren van de maatschappij te optimaliseren. Een kennissysteem moet twee dingen kunnen. Een kennissysteem moet regels kunnen maken op de wereld optimaal te kunnen aansturen en aan andere kant het genuanceerd toepassen van die regels voor individuele gevallen.

Computermodellen (juridische kennissystemen) zijn een combinatie van/bevatten de volgende elementen:

• Elektronisch vragenformulier.

Het gaat hier om kennis, waarnemingen doen. Het makkelijkst is het invoeren van informatie door mensen. Dit is het zintuig van een kennissysteem, het waarnemingsapparaat van een computer. Door te typen op je laptop, communiceer je met je laptop. Een goed formulier stelt de juiste vragen. In het formulier zitten ook weer regels die het mogelijk maken om de wereld op een rationele manier te bekijken. Het formulier is een verwachting van hoe de wereld in elkaar zit; modellen over de wereld. Als je naar de bakker gaat, verwacht je daar broden aan te treffen bijvoorbeeld. Het vragenformulier bevat dus kennis en die selecteren/beperken dus ook het type gegevens dat nodig is.

• Gegevensopslag.

Je moet de gegevens die binnen komen ergens kunnen opslaan om ze opnieuw te kunnen gebruiken: geheugen. Hier moet je bij computers denken aan een databank. Progres is bijvoorbeeld een databank. Per persoon staan naam, leeftijd, etc. vermeld. Dit zijn eigenschappen van een persoon. De machine weet dan dus ook dat een persoon een naam heeft en dat een persoon een leeftijd heeft.

• Beslissingsondersteunend systeem.

Dit moet de regels kunnen raadplegen en toepassen uit de gegevens in de gegevensopslag. Hier gaat het om redeneren.

• Documentatiesysteem

Een computermodel is net als een mens een sociaal wezen. Het is ervoor bestemd om met anderen te communiceren, dan wel met andere systemen dan wel met mensen. De computer moet dus ook in staat zijn, net als wij, om referenties te geven. Hij moet kunnen zeggen ‘je bent schuldig, dat blijkt uit die regel en die regel komt uit het Wetboek van Strafrecht, hier zie je het Wetboek’. Het gaat bij het documentatiesysteem dus om (referenties naar) rechtsbronnen en handboeken.

• Uitvoersysteem voor documenten

Uiteindelijk wil je met je (beargumenteerde) conclusie komen.

Belangrijk is aan dit type modellen, anders dan bij individuele databanken, dat deze casusafhankelijk is. Als je met een kennissysteem communiceert, heb je het over een individuele casus.

Beschrijving architectuur en werking van juridische kennissystemen

Plaatje sheet

Verzorg ik mijn planten goed?

Interface. Hierin wordt eerst vraag gesteld. Is de aarde droog? Ja. Dat gegeven wordt door het systeem gebruikt bij het doorlopen van een bepaalde redenering. Het systeem beschikt over regels. Advies: geef water Uitlegregel: als de aarde droog is en de laatste bewatering was 2 dagen geleden, dan is het advies, geef water. In de databank staat informatie over wanneer er bewaterd is.

Verband tussen juridische kennis en juridische kennissystemen

Voorbeelden van operationele juridische kennissystemen

Er zijn heel veel verschillende systemen op verschillende gebieden.

Op het gebied van wetgeving is het systeem ‘Expertisze’ ontwikkeld: simuleert de interactie tussen verschillende sociale regelgeving. Het kan negatieve effecten van een cumulatie (vb; armoedeval) berekenen. Het kan dus gebruikt worden om het wetgevingsproces te ondersteunen.

Ook op het gebied van wetgeving is het systeem ‘Tracs’ ontwikkeld. Dit systeem simuleerde het verkeer. Het simuleert de gevolgen van het ontbreken van regels en van de gevolgen van de invoering van bepaalde regels (vb; rechts rijden). Daar kun je dus je wetgeving op baseren.

Op het gebied van bestuur en handhaving is het systeem ‘KWW’ ontwikkeld. Het systeem geeft antwoord op de vraag welke voorwerpen wapens zijn. Politie kan het ter plekke raadplegen via hun apparatuur.

Een systeem dat niet in staat is om zichzelf toe te lichten wordt een ‘sick system’ genoemd. Veel administratieve systemen vallen hieronder.

Op het gebied van rechtspraak en advies is het systeem ‘IVS Straftoemeting’ ontwikkeld. Het systeem objectiveert straftoemeting. Er bestond namelijk tamelijk veel correlatie (afwijking) van straftoemeting tussen rechtbanken in het land. Het systeem is dus bedoeld om de correlatie te verhogen, om straftoemeting meer coherent te maken.

Hoorcollege 4: Juridische kennis kan in juridische kennissystemen worden ondergebracht

Computersystemen moeten de inhoudelijke kwaliteit van het werk verbeteren(HC4), maar ook rekening houden met de gebruikers (HC5) en de organisatie (HC6). De kwaliteit van ons werk kan verbeterd worden door het gebruik van intelligente systemen. Je moet tevens systemen hebben waar mensen ook mee willen werken, zij moeten vertrouwen hebben in automatisering en het systeem dat ze gebruiken.

We weten dat juridische kennis kan worden ondergebracht in juridische kennissystemen. Maar is dit een goed model? Levert het dezelfde uitkomsten op als het denkproces van een jurist? Dat onderzoek je door de conclusies te vergelijken. Je moet ook onderzoeken of de werkwijze hetzelfde is, dat kun je doen aan de hand van de legitimatie (argumentatie). Je moet bovendien nog sluitend bewijs leveren dat het systeem in alle gevallen dezelfde uitkomst biedt. Dat is ondoenlijk, dus neem je een zo groot mogelijke steekproef.

Toetsing van Juridische Kennissystemen in de rechtspraktijk

ESM – voorbeeld toetsing JK in de rechtspraktijk

Hypothese: bepaalde verwachting. Twee hypothesen bij de ontwikkeling van het systeem:

1. Het ESM is een model van de (toepassing van) juridische kennis op het gebied van het milieuvergunningenrecht in de praktijk.

2. Het expertsysteem zal volledig zijn. Deze hypothese gaat over kwaliteitsverbetering.

Het systeem onderzoekt twee gebieden: aluminiumsmelterijen en benzinestations.

Selectie van casus, dossieranalyse,  invoeren van de casusgegevens (zonder interpretaties, conclusies, etc.)  toetsing aan uitkomsten van juristen. Is de uitkomst hetzelfde? Is de argumentatie hetzelfde? Als er verschillen zijn moet je vaststellen of het systeem óf de jurist kwalitatief beter is.

Het systeem heeft twee modussen. In de beschrijvende modus doet het systeem hetzelfde als de jurist, in de aanvullende modus probeert het systeem beter te zijn.

Resultaten: bij de aluminiumsmelterijen werden 42 van de 45 zaken hetzelfde beslist in de beschrijvende modus. De verschillen lagen er niet in dat het systeem geen goed model was van de doorsnee jurist in de praktijk. In die drie gevallen bleek fraude gepleegd te zijn. Er was contra- legem (tegen de wet in) beslist. In de aanvullende modus werden slechts 15 zaken hetzelfde beslist. De 30 andere zaken, waarover dus verschillend werd beslist, bleken na onderzoek door onafhankelijke beoordelaars, kwalitatief beter door het systeem te zijn behandeld.

Bij de benzinestations werden in de beschrijvende modus slechts 2 van de 385 zaken verschillend beslist. In de aanvullende modus werden 104 zaken anders en tevens beter beslist. Bij de benzinestations werd ook getoetst of de gegevens volledig waren. Wanneer zijn gegevens volledig? Als je voor alle regels die je zou kunnen toepassen hebt vastgesteld of ze toepasbaar zijn. Slechts in 70 van de 385 zaken waren alle gegevens verzameld (om de noodzakelijke conclusies te doen).

Conclusies

Het ESM is een houdbaar model in de rechtspraktijk. Houdbaar: het kan niet weersproken op de basis van de bewijzen, maar er blijft een kleine kans dat het een toevalligheid is. Het is een goed model.

Het ESM neemt in 425 van de 430 praktijkbeslissingen in de beschrijvende modus dezelfde beslissingen met dezelfde argumenten en conclusies op basis van dezelfde gegevens.

Het ESM modelleert daarbij ook de belangrijkste praktijkfouten: onvolledige gegevens- en regelverzamelingen. Juristen zijn gespecialiseerd in één vakgebied en sluiten grensoverschrijdende oplossingen uit, ze denken in tunnelvisie, alleen in hun eigen gebied.
Het ESM verbetert de kwaliteit van praktijkbeslissingen aanzienlijk. In 134 van de 430 praktijkbeslissingen neemt het ESM in de aanvullende modus betere beslissingen. Hoe complexer de praktijkbeslissingen, hoe groter de kwaliteitsverbetering. Oftewel, er is een sterke aanwijzing dat het juist de intelligente onderdelen en niet de routine onderdelen van het systeem zijn, die leiden tot verbetering.

Dit is dus bewijs dat juridische kennis in juridische kennissystemen kan worden ondergebracht en dat dit ook tot verbetering van de kwaliteit en de toepassing van juridische kennis kan leiden.

Conclusies

Binnen verschillende kennisdomeinen is aangetoond:

1. modelleren van juridische kennis met behulp van juridische kennissystemen is mogelijk

2. verbeteren van de kwaliteit van juridische beslissingen met behulp van juridische kennissystemen is mogelijk

O.a. bij de uitvoering van bijstandsrecht (Tessec/Mr-AWB), wetgeving sociaal zekerheidrecht (expertisze), uitvoering milieuvergunningenrecht (ESM), uitvoering huursubsidiewetgeving (IHS).

Het verbeteren van de kwaliteit is echter niet vanzelfsprekend. Daarom gaan de volgende hoorcolleges over gebruiksaspecten en problemen bij de invoering.

Hoorcollege 5: Juridische kennissystemen: gebruikersaspecten

Mensen zijn in sterke mate afhankelijk van technologie. Er wordt veel gebruik gemaakt van technologie, de grootste beweegredenen daarvoor zijn overbelasting en gemakzucht. Daarnaast zou je gebrek aan kennis als een beweegreden kunnen aanvoeren. Veelal wordt in een systeem vertrouwd, helaas ten onrechte omdat het systeem de kwaliteit niet verbeterd, maar dat er zelfs meer fouten worden gemaakt. Dat heeft te maken met de onvolledigheid van de kennis van de systemen. Niet alleen mensen, maar ook machines kunnen gebrekkige kennis hebben. Het vertrouwen kan zelfs zo groot zijn dat de kwaliteitscontrole wordt geschrapt.

Controleren gebruikers juridische kennissystemen? Of controleert het JKS de gebruiker? De JKS controleert de gebruiker. Juristen denken dat zij zelf heel goed juridische kennis toepassen, maar dat is helemaal niet zo. Mensen denken al gauw, ‘het systeem zal wel gelijk hebben’.

Er zijn verschillende gevaren vanuit de gebruiker. Ten eerste computeranalfabetisme, hierbij gaat het om het niet weten wat een computer kan. Ten tweede een te groot vertrouwen in de computer. Ten derde te weinig kennis van het kennisdomein van de computer. Ten vierde de druk op de productie, er moeten steeds meer beslissingen worden genomen aan de hand van steeds meer data. De druk zou op kwaliteit moeten liggen.

Met betrekking tot de beïnvloeding door kennissystemen zijn vier vragen van belang:

1. Laten juristen zich door JKS beïnvloeden (juri-expert)? Ja.

2. Waarom laten juristen zich beïnvloeden (elaboration likelihood model)?

3. Wat verwachten juristen van een JKS (liever lui dan moe)?

4. Waarom gebruiken juristen een JKS (liever lui dan moe?

1. Juri-expert. Bij het onderzoek werd gebruikt gemaakt van een kennissysteem dat ondersteuning biedt bij het oplossen van vragen rond de strafbare poging. Er was ondersteuning van 9 casussen. Bijvoorbeeld. De heer G die zich al maanden heeft geërgerd aan het lawaai van de brommer van de buurman, steelt de brommer als hij deze onbeheerd in de achtertuin ziet staan. Wat hij niet weet is dat zijn vrouw,met wie hij in gemeenschap van goederen is getrouwd, zojuist de brommer van de buurman heeft gekocht. Rechtsvraag: Is de heer G schuldig aan een strafbare poging tot diefstal?

De wetgeving: art. 310 Sr: G heeft het goed weggenomen en hij had het oogmerk. De vraag gaat erom of het goed aan een ander toebehoorde. Art. 45 gaat over de poging.

Voorbeeld gebruik kennissysteem:

Wat is de naam van de verdachte? G.

Welke gevaarlijke daad wilde G. begaan? Diefstal.

Is de diefstal door G voltooid? Nee, want de brommer was al van hem.

Had G. de intentie om de brommer te stelen? Ja.

G. had dus een misdadig voornemen? Ja, hij wilde een brommer van een ander stelen.

Kwam dit misdadige voornemen van G in zijn gedrag tot uiting? Ja, hij heeft de brommer weggenomen.

Heeft G uit eigen vrije beweging de brommer niet gestolen? Nee, hij was er zelf van overtuigd dat hij de brommer stal.

Conclusie van het kennissysteem A: Gezien de gevaarlijke intentie van G om een brommer te stelen en zijn handelingen om dit voornemen te bewerkstelligen, heeft G. een strafbare poging tot diefstal begaan. Hier wordt de intentie wel, maar de objectieve feiten niet geëvalueerd: subjectieve pogingsleer.

Tweede voorbeeld:

Wat is de naam van de verdachte? G.

Welke gevaarlijke daad wilde G. begaan? Diefstal.

Is de diefstal door G voltooid? Nee, want de brommer was al van hem.

Heeft G een aanvang gemaakt met de diefstal? Onwaarschijnlijk, want de brommer was al van hem.

Waren de daden van G. eerder te zien als een voorbereiding om de brommer weg te nemen? Nee, het waren uitvoeringshandelingen.

Was het wegnemen van de brommer een deugdelijk middel om diefstal te begaan? Ja.

Was de brommer wel een geschikt goed voor G. om diefstal mee te plegen? Nee, want G had zelf de eigendom van de brommer.

Conclusie van het kennissysteem B: door de ondeugdelijkheid van de brommer om door G. gestolen te worden is er geen sprake van een begin van uitvoering van het misdrijf. Daarom heeft G. geen strafbare poging tot diefstal begaan. De intentie van de dader wordt niet geëvalueerd: objectieve pogingsleer.

De ene groep kreeg de ene beredenering te zien, de andere groep de andere.

Beide conclusies zijn volgens een bepaalde leer toegestaan. Geen van beiden wordt door de HR aanvaard. In de Nederlandse rechtspraak wordt rekening gehouden met beide: gematigde objectieve leer.

Hoe reageren de gebruikers om deze systemen? Er waren twee groepen personen (juristen). Zij krijgen een verschillende behandeling. De eerste groep krijgt JKS-objectief, de tweede JKS-subjectief. Daarna moesten zij dezelfde 9 casussen beoordelen. Als er een verschil in oordeel is tussen de groepen dan is er sprake van invloed. De gebruikers van het subjectieve systeem zeggen dat in 95 van de 135 gevallen de verdachte strafbaar is. De gebruikers van het objectieve systeem zeggen in 115 gevallen dat de verdachte niet strafbaar is. Het gaat dus in de richting van het systeem. Dit is een reden om aan te nemen dat het systeem invloed heeft gehad op de mening en beoordeling van de juristen.

Conclusie van het onderzoek: In dezelfde casus wordt een verschillende advies uitgebracht door verschillende kennissystemen. Het objectieve systeem adviseert ‘niet-strafbaar’ en de gebruiker stemt in 85% in met het systeem. Het subjectieve systeem adviseert ‘strafbaar’ en de gebruiker stem in 70% in met het systeem. De juristen hebben zich sterk door hun ‘ondersteunend’ KS laten beïnvloeden.

2. Hoe beoordelen mensen advies? Elaboration Likelihood Model. Er zijn twee type evaluatie van advies die je krijgt. De centrale route waarbij de beoordelaar is gemotiveerd en deskundig is. De beoordelaar is daarom gemotiveerd tot een grondige bestudering van de argumenten tot evaluatie van het advies op de inhoud. Bij de perifere route van evaluatie is de beoordelaar niet gemotiveerd of niet deskundig. De beoordelaar vertrouwd op de boodschapper en evalueert het advies op ‘uiterlijk’.

Proefpersonen krijgen identiek advies, de een afkomstig van een menselijke expert, de andere van een juridisch kennissysteem. Men vond het computer advies objectiever en rationeler. Het objectief en rationeler vinden was nog sterker bij productieregels. De conclusie van dit experiment is dat kennissystemen ‘perifere’ overtuigingskracht hebben, vergelijkbaar met een dokter in een witte jas. Er bestaat een gevaar dat door een perifere (uiterlijke) evaluatie, gebruikers niet meer aan een centrale (inhoudelijke) evaluatie toekomen.

3. Wat verwachten juristen van een JKS?

In dit experiment gaf het JKS een fout advies. Het goed advies staat op papier. De proefpersonen moet drie casussen beoordelen. Maarliefst 80% valt voor het foute computeradvies. En 50% van de proefpersonen stemt altijd in met JKS. De uitkomst is dat iedereen JKS objectief en rationeel vindt. Degene die altijd instemde scoorde lager op mentale inspanning, bekeken nauwelijks uitlegfuncties, hadden een slechtere recall (=achteraf vragen beantwoorden over de inhoud van de casus) en waren tevredener met JKS. De conclusie is dat lage mentale inspanning en recall bij de ‘overtuigende’ een perifere evaluatie doet vermoeden. Een centrale (inhoudelijke) evaluatie vraag om een zekere inspanning.

Waarom wil men een computer gebruiken? Het verwachte gebruiksgemak (ease of use) en de verwachte bruikbaarheid (usefulness).

Problemen met gebruikers.

Mensen zijn geneigd om het kennissysteem te laten beslissen. Mensen zijn slecht in het beoordelen van advies van een kennissysteem, ze zijn geneigd tot een perifere beoordeling. En ze lijken slecht in het controleren van onvolledige (kennis)modellen.

Conclusies. Een kennissysteem is een sterke beïnvloeder. Het oordeel van een gebruiker over de kwaliteit van JKS klopt niet altijd. Een blije gebruiker betekent niet dat JKS goed is. Gebruikers moeten deskundig zijn en er moeten voorwaarden aan het gebruik van JKS worden gesteld.

Hoorcollege 6: Problemen bij de invoering van juridische kennissystemen

Er is binnen verschillende kennisdomeinen onderzoek gedaan naar de modelleerbaarheid en de mogelijkheden voor kwaliteitsverbetering met behulp van juridische kennissystemen. O.a uitvoering bijstandsrecht (Tessec/Mr-ABW), wetgeving sociaal zekerheidsrecht (Expertisze), uitvoering milieuvergunningenrecht (ESM), uitvoering huurrecht (IHS). Het modelleren van juridische kennis met juridische kennissystemen is binnen de onderzochte domeinen mogelijk gebleken. Het verbeteren van de kwaliteit van juridische beslissingen binnen deze domeinen blijkt eveneens mogelijk te zijn. De vraag is waarom er toch problemen zijn bij de invoering van Juridische Kennissystemen?

Een gebrek aan kennis, tijd, geld, etc. kunnen problemen opleveren, hierdoor bestaat de kans dat er slechte systemen worden ingevoerd.

Twee voorbeelden van empirisch onderzoek naar de kwaliteit van JKS en problemen bij de invoering:

1. ExpertiSZe: kwaliteitsverbetering, niet ingevoerd.

Het systeem rekende door of er bepaalde casus over het hoofd was gezien, of de oplossingen consistent waren, of er cirkelredeneringen in zaten, simuleerde wat er gebeurt als de wet wordt ingevoerd.

Het is ontwikkeld voor het Ministerie van Sociale Zaken. Het is een juridisch kennissysteem voor de verbetering van de kwaliteit van sociale zekerheidsregelgeving door:

1. Het bepalen va de effecten van nieuwe regelgeving:

> van de regelgeving op zich

> van de regelgeving in combinatie met andere regelgeving (bijv. armoedeval)

> primaire en secundaire effecten

2. Het bepalen van de volledigheid en consistentie van nieuwe regelgeving.

Er was een analyse gemaakt van 13 secties van het ontwerp van het nieuwe ABW. In totaal waren er 26 fouten gevonden waarvan 11 ambiguïteiten (zelfde begrip, meerdere betekenissen), 9 omissies (ongeregelde gevallen), 5 inconsistenties (tegenspraken) en 1 cirkelredenering (blijft in de regelgeving hangen).

Ongewenste effecten van de regelgeving, zowel individuele als geaggregeerde effecten, kunnen worden opgespoord door het systeem. Het systeem geeft tevens suggesties voor verbetering van de regelgeving.

Kwaliteitsverbetering door ExpertiSZe is dus aangetoond.

Welke problemen verwachten je bij de invoering? Gebrek aan kennis en gebrek aan geld.

Waarom is ExpertiSZe niet ingevoerd?

1. Geringe belangstelling en lage verwachtingen.

Nadat het succesvolle onderzoek had plaatsgevonden en de investering dus al was gedaan waren de grootste kosten voor het maken voor het systeem dus al achter de rug. Het systeem werd vervolgens niet ingevoerd. Er werd vervolgens extra wetenschappelijk onderzoek verricht. Het eerste wat daar uit kwam was dat er afgezien van degene die de opdracht naar het eerste onderzoek had gegeven, weinig belangstelling was voor verbetering van kwaliteit (door informatiesystemen), men verwachtte er weinig van. Wanneer is er geringe belangstelling? Als je denkt dat je het zelf beter kan, onwetendheid (je weet niet dat het bestaat dus dan kun je er ook geen belangstelling voor hebben). Wanneer zijn er lage verwachtingen? Als je bang bent dat je door het systeem je baan kwijt raakt, wantrouwen.

2. Beperkte kennis van informatietechnologie.

Dit verklaart de lage verwachtingen ook deels.

3. Weinig reden om te streven naar kwaliteitsverbetering en/of efficiëntieverhoging.

In het overheidsapparaat bleek daar gewoon geen prikkel voor aanwezig te zijn. Er zit weinig beloning in de verbetering van de kwaliteit en te weinig straf in de kwaliteit laten verslechteren. Als je de kwaliteit wil verbeteren dan moet je het overheidsapparaat aanpassen; personeel bijvoorbeeld.

4. Organisatie: uitvoerders hebben geen beslissingsmacht.

5. Gebrekkige gegevens.

Op het moment dat je geen goede data hebt (over je bevolking), kun je nog zulke mooie simulatiesystemen hebben, maar dan kun je er niks mee. Als je foute invoer hebt, dan kun je ook geen goede uitvoer hebben.

6. Organisatie kent geen terugkoppelingsprocedures.

Er zijn verschillende instanties die meewerken aan de totstandkoming van wetgeving. Er zijn verschillende fases. Terugkoppeling houdt in dat als je in een bepaalde fase ontdekt dat de kwaliteit van een eerdere fase slecht is, je terug gaat naar die eerdere fase om dat te herstellen. Maar dat mechanisme bestaat dus niet.

2. Mr-ABW: kwaliteitsachteruitgang, wel ingevoerd.

Onderzoek naar kwaliteitsverbetering door het gebruik van Mr-ABW, een juridisch kennissysteem voor de uitvoering van de ABW door 40% van de gemeentes. Redenen voor de invoering van Mr-ABW:

> Veel te beslissen gevallen, jaarlijks moesten er meer dan 500.000 juridische beschikkingen worden genomen op het gebied van de bijstand.

> Complexe regelgeving op het gebied van de bijstand: administratie, controle, uitkeringen, reactivering. Er zijn veel uitzonderingsbepalingen en moeilijk te interpreteren begrippen.

> Veel fouten. De kwaliteit van beschikkingen was slechts. De fouten bleken ook nog in de meerderheid ten gunste van de uitkeringsgerechtigde uit te vallen. Sociaal gevoel bij ambtenaren; expres verkeerde gegevens invoeren om mensen een hogere uitkering te geven.

> Er was in de wet een nieuw voorschrift op te nemen; een verplichting om de kwaliteit te controleren.

> Ook voor de ABW was aangetoond dat JKS de kwaliteit kunnen verbeteren (TESSEC, van 2 van de 24 naar 11 van de 24 correcte beslissingen).

Gemeenten blijken (terecht) aan te nemen dat JKS de kwaliteit en efficiëntie van ABW beslissingen kunnen verbeteren. Beschikkende juristen waarderen Mr-ABW omdat het gebruiksvriendelijk is en beslissingsondersteunend werkt: checklist functie, document uitvoer. De juristen stelde dat hun organisatie niet zonder deze JKS kan functioneren. Het vervelende is echter dat de kwaliteit van de beslissingen achteruit ging door het gebruik van de JKS. Aan het vertrouwen heb je dan niks. Het vertrouwen zorgt er dus juist voor dat er nog meer fouten worden gemaakt en dat dat verdoezeld wordt. Juristen zeiden ook: ‘wij hebben de verplichte controle van elke beslissing uit ons werkproces verwijderd omdat wij Mr-ABW gebruiken’. Het vertrouwen is zo groot dat ze niet controleren. Ze denken dat ze nu ze het systeem hebben er niks meer fout kan gaan.

Is het vertrouwen in Mr-ABW terecht?

Drie toetsingscriteria:

1. Kwaliteit van de inhoud van de beslissingen: materiële regels.

2. Kwaliteit van de vorm van de beschikkingen: vormvoorschriften.

3. Kwaliteit van de procedure: formele regels, abbb.

Bij volledige ondersteuning (Mr-ABW volledig gevolgd) werd er één fout geconstateerd, namelijk bij de inhoud. Bij onvolledige ondersteuning (Mr-ABW heeft niet alle kennis) werden er 16 fouten gemaakt. Bij geen ondersteuning werden er 8 fouten gemaakt. Van de 30 getoetste beslissingen waren er dus maar 5 goede beslissingen.

Op het moment volledig ondersteunt worden de minste fouten gemaakt. Als het systeem niet volledig ondersteunt worden de meeste fouten gemaakt; dat betekent dus dat vertrouwen een belangrijke rol speelt.

Oorzaken dat Mr-ABW wel werd ingevoerd maar leidde tot een kwaliteitsachteruitgang:

- Grote werkdruk

- Lage budgetten en te hoge kosten voor goede systemen

- Te veel vertrouwen. Je mag alleen vertrouwen als je weet dat het systeem werkt, maar dat is lastig te weten. Bovendien moet het systeem transparant zijn maar dat zijn ze vaak niet. Waarom? Degene die het systeem gemaakt heeft wilt niet dat anderen dat kopiëren en er daardoor zelf geen voordeel meer van heeft.

Probleem: niet invoeren van kwaliteitsverbeterende systemen en wel gebruiken van kwaliteitsverslechterende systemen.

Kern van het probleem:

ExpertiSZE:

- Weinig reden om te streven naar kwaliteitsverbetering

- Weinig reden om te streven naar efficiëntieverhoging

- Geen motief voor vertrouwen

- Gevolg: niet invoeren van kwaliteitsverbeterend systeem

MR-ABW:

- Weinig reden om te streven naar kwaliteitsverbetering

- Veel reden om te streven naar efficiëntieverhoging

- Wel motief voor vertrouwen

- Gevolg: wel invoeren kwaliteitsverslechterend systeem

Oplossing: schep redenen voor het streven naar kwaliteitsverbetering. Mogelijkheden:

1. Juridische procedure: een beroep van rechtssubjecten op het recht op kwalitatief optimale rechtsbedeling (wijziging AWB, actie tegen beslissers).

2. Vrije marktwerking: de partij met de beste informatie/kennis wint de procedure, de verliezende partij past zich aan (voorziet zichzelf ook van de beste informatie/kennis). Bezwaren: kosten/baten, vereiste schaalgrootte, gebrek aan transparantie.

3. Wettelijk voorschrijven van kwaliteitscontrole en –verbetering.

4. Stellen van specifieke kwaliteitseisen aan kennistechnologie (volledigheid, betrouwbaarheid, consistentie, transparantie).

Conclusies problemen bij de invoering:

Het is mogelijk om met JKS de kwaliteit van juridische beslissingen te verbeteren. In de rechtspraktijk wordt hier niet altijd gebruik van gemaakt (voorbeelden ExpertiSZe en Mr-ABW). De oorzaken hiervoor zijn: (1) gebrekkige data en kennis; (2) organisatie is niet op kwaliteitsverbetering gericht; (3) juristen vertrouwen te veel op onvolledige JKS en (4) eisen en daarmee samenhangende kosten voor goede JKS. Om te kunnen profiteren van de mogelijkheden voor kwaliteitsverbetering door JKS moet aan een aantal juridische, technische en organisatorische eisen worden voldaan.

Hoorcollege 7: De rol van juristen: Juridische, technische en organisatorische eisen aan juridische kennistechnologie: garanderen van de kwaliteit

JKS worden steeds meer in de rechtspraktijk ingevoerd. Hoe zorgen wij ervoor dat Justitia niet blind is voor de vereiste kwaliteit van deze systemen?

In de rechtspraktijk wordt van de mogelijkheid tot verbetering van juridische beslissingen met behulp van JKS niet altijd gebruik gemaakt. De oorzaken hiervoor zijn o.a.

- gebrekkige data en kennis;

- de organisatie is niet gericht op kwaliteitsverbetering;

- juristen vertrouwen teveel op onvolledige JKS

- eisen aan en daarmee samenhangende kosten van goede JKS

Om te kunnen profiteren van de mogelijkheden voor kwaliteitsverbetering door JKS moet aan een aantal juridische, technische en organisatorische eisen worden voldaan.

Een eerste oplossing is het stelen van juridische, technisch en organisatorische kwaliteitseisen. Hierbij gaat het om het normeren van ICT. Wat is een bezwaar hiertegen? Technologie ontwikkelt zo snel dat je geen normen kunt ontwikkelen die up to date zijn. Je moet techniek onafhankelijke normen creëren om eventueel effectief te zijn. Het probleem hiermee is dat ze moeilijk zijn om te toetsen en daardoor makkelijk om te ontwijken.

Daarnaast is een oplossing het beter opleiden van juristen en meewerken van juristen aan het ontwikkelen van juridische ICT toepassingen. Juristen die vanuit de organisatie zelf, maar wel met een brede kennis, meewerken aan de ontwikkeling van die toepassingen. Ook bij de ontwikkeling van toepassingen moet bedacht worden dat regels niet zonder meer kunnen worden toegepast. Regels moeten worden geïnterpreteerd en er is veel jurisprudentie. Bij het maken van systemen horen juristen dus inhoudelijk betrokken te zijn, die de nuances kent van het bedrijf.

Kwaliteitsverbetering kan worden gestimuleerd door verschillende normen. De eerste is openbaarheid. Denk daarbij aan openbaarheid van regelgeving, van het systeem, etc. Openbaarheid naar het subject toe, naar de samenleving. Bij transparantie gaat het om openbaarheid naar de gebruiker toe. De tweede is dat je pas aan het eind van het proces gaat kijken: we voeren een wet in en als je na een jaar niet kunt bewijzen dat de wet de doelen heeft bereikt die die had moeten bereiken, dan trekken we de wet weer in. Wat is hiertegen? Arrogantie, het idee dat als je een wet opstelt dat die wel móet werken. Ook het vertrouwensbeginsel kan als argument worden genoemd. Bovendien, de regelgeving zoals wij die kennen komt langzaam tot stand. Het is dus niet zo dynamisch, daarom kun je niet verwachten dat als een regel niet werkt, die wordt vervangen door een nieuwe.

Normstelling/regelgeving is ook een oplossing voor andere problemen die komen kijken bij de invoering van slechte JKS en de niet invoering van goede JKS. Zo kan een terugkoppelingsproces worden voorgeschreven en bijvoorbeeld bij het probleem te veel vertrouwen, regelgeving kan rekening houden met de psychologie  van de mens en zo bewerkstelligen dat het vertrouwen terecht is.

Garanderen van de juridische kwaliteit.

• Bestaande kwaliteitssystemen: vereist scholing en transparantie (openbaarheid).

De openbaarheid zorgt ervoor dat iedereen mee kan werken aan het controleren en het verbeteren van het recht en in het specifiek van de technologie die daarvoor wordt gebruikt. Het uitgangspunt is dat alles openbaar is. Openbaarheid ziet op het hele recht, ook op de automatisering daarin.

• Meewerken aan de ontwikkeling door juristen (wetgever, bestuurder, rechter): vereist scholing en normering.
• Beoordeling door een authentiseringsorgaan: vereist normering. Bezwaar hiertegen is overbelasting.
• Beoordeling door de gebruiker: vereist scholing en transparantie. Je kunt geen oordeel geven als je geen kennis hebt of als het systeem zich niet prijs geeft.

Garanderen van technische kwaliteit.

• Volledigheid (opnemen van alle bekende en erkende kennis): vereist toepassen van juiste acquisitiemethode en de juiste techniek.

Er is een onmogelijkheid van volledigheid. Daar kun je verschillende dingen aan doen. Ten eerste eisen dat een zo volledig mogelijk systeem wordt opgeleverd. Maar je moet ook eisen stellen aan het systeem zelf. Er mag geen sprake zijn van closed world assumption: als je een systeem vraagt naar een persoon en die persoon komt niet voor in de databank dan zegt de databank dat de persoon niet bestaat, hij zou moeten zeggen dat de persoon niet in de databank voorkomt. Bij closed world assumption gaat het systeem er dus vanuit dat het alle kennis bevat, dat het volledig is. Er mag ook geen sprake zijn van negation by failure: als het redeneerproces niet leidt tot een conclusie dan zegt het systeem niet “ik weet het niet” maar “het is niet het geval”, bijvoorbeeld “u heeft geen recht op een uitkering”. Je moet er dus voor zorgen dat het systeem kan zeggen “ik weet het niet”.

• Betrouwbaarheid (praktijkgetrouw werken, geen normatieve werking): vereist praktijkonderzoek (empirische toetsing).

Een probleem met veel systemen is dat er geen praktijkgetrouwheid is, dat er dus ook conclusies worden getrokken die nooit in de praktijk zouden worden getrokken. Bij betrouwbaarheid gaat het er dus niet om dat het systeem in een volgend geval dezelfde uitkomst geeft als in een zelfde eerder geval.

• Consistentie (interne en externe consistentie): vereist toepassen van de juiste techniek.

Het gaat hier om het niet zichzelf tegenspreken. Systemen moeten in staat zijn om de nunace van het recht te kunne toepassen. Ze moeten wel inconsistent kúnnen zijn, omdat het recht dynamisch is.

• Transparantie (wat, waarom en hoe aangeven en onvolledigheid): vereist toepassing van de juiste techniek.

Het systeem moet altijd, bij elke vraag die het een gebruiker stelt, wat de vraag betekent. Bij elke conclusie moet het kunnen aangeven, wat de conclusies betekent. Wat betekent dus een toelichting geven op begrippen die gebruikt worden, en dat moet áltijd. Bij waarom moet het systeem kunnen uitleggen waarom het systeem iets vraagt. Bij hoe gaat het om de motivering: hoe ben je tot de conclusie gekomen. De hoe functies moet stap voor stap kunnen aangeven hoe het systeem tot de conclusie is gekomen: feiten, redenering, regel, interpretatieregel, conclusie, etc. Dit is het minimum wat je moet eisen van JKS.

Commerciële validatie schiet tekort: bedrijven hebben er geen belang bij dingen openbaar te maken, dat betekent concurrentie.

Wetenschappelijke validatie werkt wel, maar is heel duur.

Garanderen van de organisatorische kwaliteit.

• Verantwoordelijkheid: normering van ICT door juristen. Van belang is dan of je het systeem gebruikt als een beslissingsondersteunend systeem of als een beslissingssysteem. Bij wie ligt de verantwoordelijkheid? Opdrachtgever, programmeur, systeembeheerder, jurist, etc?
• Scholing van en ondersteuning door juristen. Er is een toenemend belang van juridische expertise.
• Onderhoud. Hierbij is het van belang dat juristen hieraan meewerken.