Kan vi köra en språkmodell på egen server? Så vet du

Ja, du kan köra en språkmodell på egen server. Frågan är inte om det går, det gör det. Frågan är om du har hårdvaran, kompetensen och tålamodet för driften som kommer efter dag ett. För de flesta företag i Sverige handlar det inte om att bygga en egen ChatGPT. Det handlar om att köra en mindre, öppen modell för ett specifikt jobb, på servrar du eller din leverantör kontrollerar.

Vilken hårdvara krävs för att köra en språkmodell lokalt?

Det som styr allt är GPU-minnet. En språkmodell laddas in i minnet på grafikkortet, och ju större modell, ju mer minne krävs. Mindre modeller går att köra på ett enda kraftfullt grafikkort. Större modeller, som de du hör talas om från OpenAI eller Anthropic, kräver flera kort kopplade ihop, ofta i ett serverrack som kostar mer än en bil.

Utöver GPU behöver du snabb lagring, gott om vanligt RAM, och ett nätverk som inte flaskhalsar när flera användare frågar samtidigt. Om du bara ska testa något litet på en laptop, som artiklarna om LM Studio och Ollama beskriver, kommer du en bit. Men det är inte produktion. Det är en prototyp på ditt skrivbord.

Skillnaden mellan att köra en modell och att driva en tjänst som folk litar på varje dag är stor. Den ena kräver ett grafikkort. Den andra kräver redundans, övervakning och en plan för när servern kraschar en fredag kväll.

Är självhostad AI säkrare än molnbaserade tjänster som ChatGPT?

Säkrare, ja, om du gör det rätt. Men säkerhet kommer inte automatiskt bara för att servern står hos dig eller hos en leverantör du valt själv. Det som gör självhostning attraktivt är kontroll. Du vet exakt var data ligger, vem som har åtkomst, och att ingenting skickas till en tredje part för träning eller loggning.

Men om du kör en dåligt konfigurerad server utan patchning, utan åtkomstkontroll och utan loggning, är du inte säkrare. Du är bara ansvarig för samma risker själv, utan molnleverantörens säkerhetsteam i botten. Självhostning flyttar ansvaret till dig. Det är en fördel om du har kompetensen. Det är en risk om du inte har den.

Vad kostar det att driva en egen språkmodell jämfört med molntjänster?

Jag ger dig inga siffror här, för de beror helt på vad du bygger. Men jag kan säga vad som driver kostnaden. Hårdvaran, om du äger den, är en stor investering upfront som du betalar av över flera år. Om du hyr servrar, som vi gör hos Hetzner i Tyskland och Finland, betalar du löpande men slipper investeringen.

Det som ofta glöms bort är driftkostnaden efter lansering. Någon måste övervaka, uppdatera modellen, hantera fel och skala när fler användare kommer till. Molntjänster som ChatGPT eller Claude fakturerar per token, vilket känns dyrt vid hög volym men billigt vid start. Självhostning vänder på det. Hög fast kostnad från dag ett, men ingen per-token-avgift som växer med användningen.

Vinnaren beror på volym, känslighet i data, och hur mycket du redan har i egen IT-kompetens.

Vilka öppna modeller passar bäst för företag som vill självhosta?

Öppna modeller har blivit riktigt bra på kort tid. Kina pressar fram utveckling som artikeln på HurBra.se beskriver, och det märks i kvaliteten på de öppna alternativen som finns idag. Men "bäst" beror på uppgiften. En modell som är stark på kodning är inte automatiskt bra på svensk text eller kundservice.

Vi på HEIMLANDR bygger på Claude och öppna modeller beroende på vad kunden behöver. För uppgifter som måste köras helt lokalt, utan att data lämnar servern, väljer vi öppna modeller som går att självhosta. Storleken på modellen ska matcha uppgiften, inte tvärtom. En för stor modell för en enkel uppgift är bara pengar och komplexitet du inte behöver.

Klarar vi driften internt eller behöver vi hjälp utifrån?

Det ärliga svaret: de flesta normala företag klarar inte driften helt själva, och det är okej. Att köra en modell på en server är en helg-projekt. Att driva en tjänst som fungerar varje dag, med uppdateringar, felsökning och säkerhet, är ett jobb.

Om du redan har ett IT-team som hanterar egna servrar, databaser och applikationer, är steget till att lägga till en språkmodell inte enormt. Om ditt IT-team mest hanterar Microsoft 365 och nätverket, är det ett större steg än det låter som i en artikel som säger "kör LLM lokalt på 30 minuter". De 30 minuterna är att starta modellen. Resten är allt annat.

Hur påverkar GDPR valet mellan molnbaserad och lokal AI?

GDPR är ofta den verkliga anledningen till att företag frågar efter självhostning. Om du hanterar personuppgifter, patientdata eller annat känsligt material, vill du veta exakt var data behandlas och vem som har åtkomst. En molntjänst utanför EU, eller en som är otydlig om var data lagras, skapar frågor du kanske inte kan svara på om Datainspektionen, numera IMY, frågar.

Läs vad IMY skriver om AI och personuppgifter innan du bestämmer dig. Självhostning på servrar inom EU, med tydlig kontroll över dataflöden, gör det lättare att visa att du följer reglerna. Det löser inte GDPR automatiskt, men det tar bort en stor del av osäkerheten.

Vad kostar det egentligen, och vad driver kostnaden?

Kostnaden för att självhosta en språkmodell drivs av fem saker. Omfattning, hur mycket modellen ska klara och hur många användare som ska ha tillgång. Datakvalitet, om du ska anpassa modellen med egen data behöver den vara ren och strukturerad, annat blir det jobb. Integrationer, hur modellen ska prata med era andra system, ofta den dyraste delen som ingen räknar med i förväg. Val av hosting, om du hyr servrar eller köper hårdvara själv. Och sist, folk, både för att bygga och för att underhålla lösningen över tid.

Ingen seriös leverantör ger dig en fast siffra innan de förstår dessa fem. Om någon gör det, fråga vad de utelämnar.

Nästa steg

Om du vill ha en språkmodell som körs helt inom era egna väggar, kolla in vår tjänst för On-Premise LLM. Om frågan snarare är om Sverige eller EU ska äga infrastrukturen bakom din AI, läs om Sovereign AI.

Läs vidare

• Vad kostar det att bygga en AI-agent?

Fredrik Brunnberg bygger AI och mjukvara på HEIMLANDR.IO i Jönköping. Sitter du med samma fråga? Boka 20 minuter, så svarar vi rakt.