Waarom lokale AI-modellen de toekomst zijn
Met een lokaal AI-model heb je geen dure abonnementen meer nodig. Ook zorgt dit ervoor dat alles 100% veilig lokaal draait en dat er geen data naar Amerikaanse servers gaan.
Waarom draai ik lokale AI-modellen?
De laatste tijd experimenteer ik steeds vaker met lokale AI-modellen. Het voordeel is dat je hiermee flink op de kosten kunt besparen. Je hebt namelijk geen maandelijkse abonnementen op ChatGPT of Claude nodig. Daarnaast heb je 100% privacy omdat alles lokaal draait. Niks verlaat je computer.
Hoe ziet mijn lokale AI-setup eruit?
Iedereen kent wel de tool Whispr Flow. Fantastisch, want je kunt met je stem alles omzetten naar tekst. Het nadeel is dat alles wordt verstuurd naar Amerikaanse servers. Ik maak daarom gebruik van MacWhisper. Dit is een app die is ontwikkeld door een Nederlandse ondernemer. Je maakt gebruik van verschillende modellen die spraak omzetten naar tekst.
Alles wat ik inspreek, wordt lokaal omgezet naar tekst.
Daarnaast heb ik Ollama geïnstalleerd. Dit is een gratis programma waarmee je zelf taalmodellen zoals Mistral op je eigen computer kunt downloaden. Het voordeel is dat je zelfs zonder internetverbinding vragen aan een AI-model kunt stellen. Een nadeel is echter dat niet alle informatie up-to-date is.
Natuurlijk heeft lokale AI ook een keerzijde. Je hebt een behoorlijk krachtige computer nodig om dit allemaal te kunnen draaien. Daarom zijn bijvoorbeeld de Mac mini’s niet aan te slepen. Dat is voor relatief weinig geld een superkrachtig apparaat.
Lokale AI is voor mij geen vervanging, maar een aanvulling op mijn online abonnementen.
