Elke prompt die je naar een cloud-AI stuurt, verlaat je machine. Voor veel taken is dat prima — maar niet voor contracten, patiëntgegevens, broncode of strategiedocumenten. Wie grip wil op waar data heen gaat, komt al snel uit bij lokale AI-modellen.
Ollama wordt door meerdere gidsen beschreven als het standaardgereedschap om lokale modellen te draaien (bron: MachineLearningMastery, per juli 2026). In deze gids lees je wat Ollama is, hoe je het installeert, welk model je kiest, waar de grenzen liggen — en hoe je controleert dat verwerking écht lokaal blijft.
Wat is Ollama precies?
Ollama is open-source software waarmee je grote taalmodellen (LLM’s) downloadt, draait en beheert op je eigen computer of server. Eén commando volstaat: het model wordt gedownload, geconfigureerd en is klaar voor gebruik (bron: MindStudio, per juli 2026).
Onder de motorkap draait Ollama een lokale server op poort 11434 en biedt het een REST-API aan (bron: MindStudio, per juli 2026). Dat maakt het meer dan een chatprogramma: het is een lokaal AI-endpoint waar andere tools op kunnen aansluiten.
De beschikbare modellen staan in de bibliotheek op ollama.com/library (bron: OMNIMES, per juli 2026). Daar vind je onder meer modellen als Llama, Gemma en Qwen (bron: MindStudio, per juli 2026).
Waarom zou je AI-modellen lokaal draaien?
Het belangrijkste argument is controle. Draait het model lokaal en stuur je je prompts alleen naar dat lokale endpoint, dan gaat er voor die verwerking geen data naar een externe AI-provider. Je bent niet afhankelijk van diens logging, trainingsbeleid of jurisdictie.
Let wel: de AVG blijft gewoon van toepassing. Ook lokale verwerking van persoonsgegevens is verwerking, en jij blijft daarvoor verantwoordelijk. Wat mogelijk vervalt, is de noodzaak van een verwerkersovereenkomst met een externe AI-provider — omdat die provider er voor deze verwerking niet is.
Er zijn ook praktische voordelen. Na het downloaden werkt een lokaal model offline (bron: MachineLearningMastery, per juli 2026), en er zijn geen variabele kosten per token. Daar staan wél kosten tegenover: hardware, stroom en je eigen beheertijd.
Installatie: van nul naar werkend model
De opzet is bewust eenvoudig. Het proces bestaat uit drie stappen: Ollama installeren, een model downloaden en beginnen met chatten — waarna het chatten volledig offline werkt (bron: MachineLearningMastery, per juli 2026). Volgens die gids lukt dat in minder dan vijftien minuten.
Stap 1: Ollama installeren
Download Ollama via de officiële website en doorloop de installatie. Ollama is beschikbaar voor de gangbare besturingssystemen (bron: MindStudio, per juli 2026).
Stap 2: een model downloaden
Met ollama pull <modelnaam> haal je een model binnen uit de bibliotheek, bijvoorbeeld uit de Gemma-, Qwen- of Llama-familie (bron: MindStudio, per juli 2026). Deze stap vereist een internetverbinding: het model komt van de servers van Ollama. Pas daarna kun je offline werken.
Let op de opslagruimte. Modellen kunnen zo groot zijn dat ze alle beschikbare schijfruimte van een typische computer vullen — controleer de modelgrootte in de Ollama-bibliotheek voordat je downloadt (bron: Feinberg School of Medicine, per juli 2026).
Stap 3: chatten en integreren
Met ollama run <modelnaam> start je een gesprek in de terminal. Wil je verder dan de terminal, dan gebruik je de REST-API op poort 11434 om andere applicaties aan te sluiten (bron: MindStudio, per juli 2026).
Beveiligingswaarschuwing: die API is bedoeld voor lokaal gebruik. Stel poort 11434 niet onbeveiligd bloot aan je netwerk of het internet — anders kan iedereen met netwerktoegang jouw lokale model (en de data die je erdoorheen stuurt) bereiken.
Welk model kies je?
De juiste keuze hangt af van je taak en je hardware. Verschillende AI-taken vragen om gespecialiseerde capaciteiten: een codeerassistent stelt andere eisen dan een chatbot of een tool voor contentgeneratie (bron: Collabnix, per juli 2026).
Een goede vuistregel: start klein. Er is een generatie compacte modellen die op een laptop draait, zoals Meta’s Llama 3.2 3B en Google’s Gemma 2 9B (bron: MachineLearningMastery, per juli 2026). Kleine modellen reageren snel en laten je zonder frustratie experimenteren.
Voldoet een klein model niet, dan schaal je op. Grotere modellen leveren doorgaans betere antwoorden op complexe taken, maar vragen meer geheugen en opslag. Concrete geheugeneisen verschillen per model — controleer de specificaties in de Ollama-bibliotheek en test altijd eerst met je eigen, representatieve taken.
Daarnaast bestaan er gekwantiseerde varianten van open-source modellen: gecomprimeerde versies die minder resources vragen (bron: PyCharm/JetBrains, per juli 2026). Voor veel praktische toepassingen zijn die een goed compromis tussen kwaliteit en hardware-eisen.
Verder dan de terminal: RAG en een bruikbare interface
Een terminal is prima om te testen, maar geen werkomgeving. Veel lokale AI-tools kunnen aansluiten op de REST-API van Ollama (bron: MindStudio, per juli 2026).
Een gedocumenteerde combinatie is Ollama met AnythingLLM: een moderne grafische interface met chatthreads en zoekfunctie. Voeg daar het Nomic Embed-model aan toe en je hebt lokale documentzoekfunctionaliteit via Retrieval-Augmented Generation (RAG) (bron: Feinberg School of Medicine, per juli 2026).
Met lokale RAG stel je vragen aan je eigen documenten — beleidsstukken, handleidingen, contracten. Controleer bij elke interface die je toevoegt wél of alle componenten lokaal draaien: een grafische tool met externe zoekfuncties, plug-ins of telemetrie kan alsnog data naar buiten sturen.
Ook agent-workflows zijn mogelijk. Je kunt een lokale AI-agent bouwen met Ollama, een lokaal redeneermodel zoals Qwen 3 en LangGraph in Python, en zo een cloud-gebaseerde setup omzetten naar een volledig lokale omgeving (bron: PyCharm/JetBrains, per juli 2026). Ook hier geldt: een agent die externe tools of API’s aanroept, is niet meer volledig lokaal.
Eerlijk over de beperkingen
Lokale AI is geen gratis vervanging van elke cloud-dienst. Wees realistisch over de afwegingen.
“Lokaal” is een keten, geen schakelaar. Het model draait lokaal, maar aangesloten interfaces, agents, plug-ins, updates en verkeerd geconfigureerde API-toegang kunnen alsnog data delen. Privacy vraagt om controle van de hele keten, niet alleen van het model.
Hardware bepaalt het plafond. Hoe groter het model, hoe meer geheugen en opslag je nodig hebt. Op bescheiden hardware ben je aangewezen op kleinere of gekwantiseerde modellen, met bijbehorende kwaliteitsgrenzen.
Beheer is jouw verantwoordelijkheid. Updates, modelversies, opslagbeheer en beveiliging van de lokale server — inclusief het afschermen van poort 11434 — liggen bij jou. Voor een individuele professional is dat overzichtelijk; voor een team vraagt het afspraken.
Niet elke taak past. Voor het zwaarste redeneerwerk of zeer lange documenten kan een groter, gehost model beter presteren. De pragmatische route is hybride: lokaal waar het kan, elders waar het moet — mits je zelf kiest waar dat “elders” is.
Controleer dat verwerking echt lokaal blijft
Vertrouw niet op de belofte “lokaal” — verifieer het. Een eenvoudige test: download je model, verbreek de internetverbinding en stel een vraag via ollama run. Werkt het gesprek gewoon door, dan weet je dat het model zelf zonder cloud functioneert.
Voer diezelfde test uit met elke interface of agent die je op Ollama aansluit. Faalt een functie zodra het internet wegvalt, dan weet je precies welke onderdelen data naar buiten sturen — en kun je bewust beslissen of je dat acceptabel vindt.
Controleer daarnaast dat de Ollama-API alleen op je eigen machine bereikbaar is en niet op je netwerkinterface, zeker op gedeelde of zakelijke netwerken.
Lokaal en EU-gehost: een hybride strategie
Voor teams die verder willen dan een enkele laptop is de vervolgvraag: hoe schaal je dit zonder de controle op te geven?
Het antwoord zit in dataresidentie als criterium, niet als bijzaak. Draai gevoelige workloads lokaal via Ollama, en gebruik voor zwaardere taken infrastructuur waarvan je weet waar die staat en onder welk recht die valt.
Dat is ook het uitgangspunt van Cortex37: een AI-werkplek die is ontworpen om chat, onderzoek en automatisering lokaal of EU-gehost te draaien, waarbij data alleen naar Amerikaanse providers gaat als je daar per gesprek expliciet voor kiest. Pas daarbij dezelfde toets toe als bij elke leverancier: controleer in de productdocumentatie de subverwerkers, hostingregio, logging en back-ups voordat je gevoelige workloads verplaatst.
Ollama op je eigen machine en een EU-resident werkplek zijn geen concurrenten — het zijn twee lagen van dezelfde strategie: jij bepaalt waar je data verwerkt wordt.
Begin vandaag: je eerste lokale model in drie stappen
Je hoeft geen infrastructuurproject te starten om te beginnen:
- Installeer Ollama via de officiële website voor jouw besturingssysteem.
- Download één klein model met
ollama pull <modelnaam>uit de bibliotheek op ollama.com/library — controleer eerst de modelgrootte tegen je vrije schijfruimte. Compacte opties zijn bijvoorbeeld Llama 3.2 3B of Gemma 2 9B (bron: MachineLearningMastery, per juli 2026). - Test met een echte taak — offline. Verbreek de internetverbinding en start
ollama run <modelnaam>. Gebruik geen demo-prompts, maar iets uit je dagelijkse werk: een samenvatting, een herschrijving, een stuk code.
Bevalt het resultaat? Voeg dan een grafische interface en lokale RAG toe, herhaal de offline-test, en bepaal welke workloads lokaal blijven en welke naar EU-gehoste infrastructuur mogen. Zo bouw je stap voor stap een AI-werkplek waarin de belangrijkste vraag niet is wát het model kan — maar waar jouw data verwerkt wordt.