Begin met het lokaal draaien van Large Language Models

Large Language Models (LLMs) hebben de natuurlijke taalverwerking en AI-toepassingen getransformeerd. Dankzij de vooruitgang in open-source modellen heb je geen cloudgebaseerde API’s meer nodig om krachtige AI-systemen te draaien. Je kunt nu modellen zoals Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2 en vele anderen lokaal op je eigen machine gebruiken. Voor de beste prestaties is een snelle GPU sterk aan te raden, omdat dit de verwerking aanzienlijk versnelt. Heb je geen GPU? Dan is het nog steeds mogelijk om deze modellen op een CPU te draaien, maar met langere verwerkingstijden.

Waarom LLMs lokaal draaien?

Het lokaal draaien van grote taalmodellen biedt verschillende voordelen:

• Privacy: Geen gegevens verlaten je lokale machine.
• Kostenbesparing: Vermijd API-kosten en abonnementskosten.
• Aanpasbaarheid: Fijn afstellen van modellen voor specifieke toepassingen.
• Offline beschikbaarheid: AI gebruiken zonder internetverbinding.

Aan de slag met Ollama

Om eenvoudig LLM’s op je lokale machine te installeren en uit te voeren, kun je Ollama gebruiken, een gestroomlijnd framework ontworpen voor efficiënte implementatie van AI-modellen. Volg deze eenvoudige stappen om aan de slag te gaan:

Installatiestappen per besturingssysteem

Het installatieproces voor Windows, macOS en Linux. Volg de stappen hieronder voor je specifieke besturingssysteem.

Windows

1. Download en installeer Ollama via ollama.com/download.
2. Open de Command Prompt (Zoek naar CMD in Windows) en installeer het gewenste model:

   ollama pull deepseek-r1:7b

3. Start het model:

   ollama run deepseek-r1:7b

4. Communiceer met het model via de opdrachtregel.

macOS

1. Download en installeer Ollama via ollama.com/download.
2. Open Terminal en installeer het gewenste model:

   ollama pull deepseek-r1:7b

3. Start het model:

   ollama run deepseek-r1:7b

4. Communiceer met het model via de opdrachtregel.

Linux

1. Download en installeer Ollama via ollama.com/download.
2. Open Terminal en installeer het gewenste model:

   ollama pull deepseek-r1:7b

3. Start het model:

   ollama run deepseek-r1:7b

4. Gebruik de opdrachtregel om met het model te communiceren.

Uitbreiden naar andere modellen

Ollama ondersteunt een verscheidenheid aan modellen naast DeepSeek-R1:7B. Je kunt andere modellen installeren en uitvoeren met vergelijkbare opdrachten. Populaire keuzes zijn onder andere:

• Llama 3.3
• Mistral
• Phi-4
• Gemma 2

Om een van deze modellen te installeren en uit te voeren, vervang je deepseek-r1:7b door de modelnaam:

ollama pull mistral
ollama run mistral

Het lokaal draaien van LLMs is nog nooit zo eenvoudig geweest met tools zoals Ollama. Of je nu AI verkent voor ontwikkeling, onderzoek of persoonlijke projecten, het draaien van modellen op je eigen machine biedt volledige controle over privacy, kosten en prestaties. Begin vandaag nog met experimenteren en ontgrendel het potentieel van AI op je eigen hardware.

Voorbeeld van gebruik via de CLI (Command Line Interface zoals Windows Command Prompt, Linux Terminal of Tabby):

C:\Users\Gebruiker> ollama -v
ollama version is 0.5.11

C:\Users\Gebruiker> ollama list
NAME              ID              SIZE      MODIFIED
deepseek-r1:7b    0a8c26691023    4.7 GB    7 days ago

C:\Users\Gebruiker> ollama run deepseek-r1:7b "Wat is de hoofdstad van Nederland?"
<think>
</think>

De hoofdstad van Nederland is Amsterdam.

Ollama gebruiksvriendelijker maken

Om de interactie met Ollama gebruiksvriendelijker te maken, kunnen we Page Assist gebruiken,
een browserextensie waarmee je kunt chatten met AI via het draaiende Ollama-model.