Open source AI modellen kunnen een goed alternatief zijn voor de commerciële AI zoals die van OpenAI of Google. Maar zeker niet altijd…

In opdracht van Electude deed ik onderzoek.

Voor veel mensen staat generatieve AI gelijk aan ChatGPT. Dat is ook niet zo gek, de modellen van OpenAI waar ChatGPT op draait (GPT3.5 en GPT4) leveren resultaten waar concurrenten nog niet aan kunnen tippen. Nog niet in ieder geval…

Maar het gebruik van commerciële AI modellen zoals ChatGPT heeft ook z’n nadelen. Ten eerste is daar natuurlijk de prijs. Als persoon betaal je $20 per maand. Als je een applicatie bouwt via de API betaal je per 1000 tokens (een token is ongeveer een woord) input en output. Als je veel gebruikers hebt kan dit flink oplopen.

Daarnaast is er een gebrek aan transparantie; gebruikers hebben vaak geen inzicht in hoe de modellen werken of worden getraind. OpenAI is beslist niet ‘open’ dus het is onduidelijk wat er met je data gebeurt. Gebruiken ze je prompts om nieuwe netwerken te trainen? Dat zou heel wel kunnen.

Enter: open source

Open source modellen kunnen deze nadelen omzeilen. Je draait ze gewoon op je eigen machine. Bij de kleinere netwerken kan dat zelfs op een laptop!

Kosten zijn er nauwelijks en gevoelige data blijft gewoon binnen.

Hoe werkt dit?

Een AI netwerk is in feite een (enorm) grote collectie celletjes die volgens bepaalde verhoudingen met elkaar in verbinding staan. In de trainingsfase worden die verhoudingen net zo lang aangepast tot het netwerk doet wat je wilt. Het resultaat is een bestand met heel veel getallen erin die in feite de sterkte van de verbindingen tussen diverse cellen representeren.

Zo’n netwerk kan je gewoon downloaden. Op huggingface.co staan er duizenden. Met de juiste software, draaien op je eigen machine.

Bekende modellen

Diverse partijen trainen dit soort modellen en brengen ze open source uit wat bekent dat iedereen ze mag gebruiken; soms zonder beperkingen, soms alleen voor niet-commercieel gebruik.

De bekendste familie van open source netwerken is Llama dat is ontwikkeld door Meta (Facebook). Vooral de huidige versie (Llama2) wordt veel gebruikt.

Een alternatief dat hoge ogen gooit is Mistral van het gelijknamige Franse bedrijf. Mistral doet het zelfs wat beter dan Llama en is Europese technologie.

Maar hoe goed zijn ze?

Tja, dat is wel even een ding. Laat ik zeggen: het hangt af van de toepassing.

Ik schreef al eerder over mijn project voor Electude: het ontwikkelen van prompting om leerlingen echt te helpen bij het beantwoorden van open vragen. Omdat de educatieve software van Electude wereldwijd wordt gebruikt door vele duizenden leerlingen kan het gebruik van GPT4 nogal in de papieren lopen. Reken op zo’n €8 voor iedere 1000 vragen.

Daarom heb ik uitgezocht of we dit ook met open source modellen kunnen doen.

Resultaten

Het installeren van diverse modellen op mijn laptop was eigenlijk vrij eenvoudig. Ook kon ik vrij aardige conversaties met ze houden.

De resultaten met de complexe prompting voor Electude vielen echter tegen.

• De geprobeerde modellen konden niet goed beoordelen of een gegeven antwoord volledig was en ook volledig juist.
• Daarnaast konden ze slecht overweg met de Nederlandse taal. Bij de beantwoording sprongen ze geregeld terug op het Engels.
• Tenslotte wilden ze zich niet houden aam de limiet van 80 woorden die ik ze opgaf.

Conclusie

Ik denk dat open source modellen een belangrijke rol gaan spelen binnen de AI. Helaas zijn ze voor complexere taken op dit moment nog niet goed genoeg. Dat is gewoon een kwestie van schaal. De open source modellen, en zeker die versies die op een laptop kunnen draaien, zijn vele malen kleiner dan modellen als GPT4 of Googles nieuwe Gemini.

‘Time will tell’ hoe dat in dat in de toekomst zal zijn.