Niet elke AI-taak hoeft naar de cloud

Niet elke AI-taak hoeft via een betaalde cloud-dienst te lopen. Met Ollama draai je AI-modellen lokaal op je eigen machine — een laptop, een kantoor-pc of een eigen server. Het grote voordeel: geen API-kosten per gegenereerde e-mail of productomschrijving. Bij veel volume telt dat flink, omdat je tegen nul variabele kosten automatiseert en onafhankelijk blijft van een externe leverancier.

Er is ook een AVG-kant aan deze keuze. Werk je met persoonsgegevens van klanten (namen, adressen, bestelgeschiedenis) in je prompts, dan blijft die data bij een lokaal model binnen jouw eigen infrastructuur. Bij een cloud-API stuur je die gegevens naar een externe partij, wat een verwerkersovereenkomst en een zorgvuldige beoordeling van de AVG-verplichtingen vereist. Dit is geen absoluut argument tegen cloud-diensten — grote aanbieders bieden vaak nette verwerkersovereenkomsten — maar het is wel een afweging die je bewust moet maken, en waarbij je bij twijfel een jurist of AVG-adviseur raadpleegt.

Lokaal vs API: de eerlijke afweging

In de praktijk combineren de meeste MKB-bedrijven beide: eenvoudig, hoogvolume werk (bijvoorbeeld het structureren van binnenkomende mail, zoals in les 3) lokaal, en complexere, laagvolume taken (een lastige klachtafhandeling, een strategisch document) via een cloud-API waar kwaliteit zwaarder weegt dan kosten.

Eerlijke hardware-eisen

Wees hier realistisch, want dit is waar veel eerste pogingen mislukken. Een lokaal model draaien vraagt om voldoende RAM en/of videogeheugen (VRAM). Als vuistregel: reken op ongeveer 1 GB geheugen per miljard parameters bij een 4-bit gekwantiseerd model. Een model van 7 tot 8 miljard parameters (zoals Mistral 7B of Llama 3 8B) draait redelijk op een machine met 8 tot 16 GB RAM zonder losse GPU, al is de respons dan traag (soms tientallen seconden per antwoord). Met een consumenten-GPU van 8 GB VRAM of meer wordt dit merkbaar sneller. Grotere modellen (13B en hoger) hebben substantieel meer geheugen nodig en zijn op kantoor-hardware zonder GPU vaak niet praktisch bruikbaar voor productiegebruik.

Concreet advies: test eerst met een licht model op de hardware die je al hebt, voordat je investeert in nieuwe apparatuur. Een verkeerde inschatting hier kost meer tijd (trage of onbruikbare antwoorden) dan het bespaart.

Modelkeuze en de belangrijkste parameters

De eerste keuze is welk model je gebruikt. Voor redeneertaken zijn modellen als Mistral of Llama 3 geschikt, voor snelle, kleine vragen een lichter model zoals Phi, en voor Retrieval Augmented Generation-systemen (RAG, zie les 5) gebruik je een embedding-model zoals Nomic-embed. Modellen worden vaak gekwantiseerd: hun gewichten worden verkleind (bijvoorbeeld van 16-bit naar 4-bit), waardoor ze sneller draaien op consumentenhardware, tegen een kleine kwaliteitsafname.

Twee parameters hebben de meeste invloed op het resultaat. Het contextvenster bepaalt hoeveel tokens een model in één gesprek kan verwerken, dus hoe lang je prompts en antwoorden mogen zijn. De temperature regelt hoe creatief of voorspelbaar de output is. Kies voor zakelijke, consistente taken (facturen, standaardteksten) een lage temperature (rond de 0,2), voor brainstormen mag deze hoger (0,7 tot 1,0).

• Modelkeuze: Mistral/Llama 3 voor redenatie, Phi voor snelle vragen, een embedding-model voor RAG.
• Contextvenster en temperature zijn de twee parameters met de meeste invloed.
• Ollama heeft naast zijn eigen API (/api/chat, /api/generate) ook een OpenAI-compatibele laag onder /v1/chat/completions, handig voor bestaande OpenAI-code.
• Met een Modelfile leg je een vaste systeem-prompt en parameters vast voor een gespecialiseerde toepassing.

Dankzij die OpenAI-compatibele laag (los van de eigen /api/chat- en /api/generate-routes) kun je bestaande code die voor een cloud-API is geschreven vaak met minimale aanpassingen naar je lokale model laten wijzen — handig als je later alsnog wilt overstappen naar een cloud-model, of andersom.

Een derde optie: hybride hosting

Naast volledig lokaal en volledig cloud bestaat een tussenvorm die voor veel MKB-bedrijven praktisch is: een lokaal model draaien op een eigen server die niet je dagelijkse werkplek is, bijvoorbeeld een aparte desktop of een gehuurde server bij een Nederlandse of Europese hostingpartij. Zo houd je de controle over waar de data staat (belangrijk voor de AVG-beoordeling), zonder dat je eigen laptop trager wordt van het model. Voor bedrijven die toch liever niet zelf beheren, bieden sommige Europese cloud-aanbieders inmiddels ook "sovereign AI"-diensten aan, waarbij het model in een Europees datacenter draait onder Europese jurisdictie — een tussenweg tussen volledige controle en volledig zelf beheren.

Samenvatting

Lokale AI-modellen via Ollama zijn krachtig voor hoogvolume, privacygevoelig werk tegen lage variabele kosten, maar vragen eerlijke hardware-verwachtingen en leveren doorgaans minder kwaliteit dan de grootste cloud-modellen. De juiste keuze hangt af van je specifieke taak: volume, privacygevoeligheid en gewenste kwaliteit bepalen samen of lokaal, cloud, of een combinatie de beste route is.

Verder lezen: ollama.com/library voor het actuele modellenoverzicht, en de Autoriteit Persoonsgegevens (autoriteitpersoonsgegevens.nl) voor de actuele AVG-richtlijnen rond het verwerken van klantgegevens in AI-systemen.