
#127 - Open weights og lokal inference med Asbjørn Olling
Hvilke AI-opgaver kan du løse på din egen telefon, laptop eller server? Asbjørn Olling fra NobodyWho gæster Verbos til en teknisk samtale om open-weight-modeller og lokal inference — og om at vælge en model, der passer til både opgaven og dit hardware. Vi går fra llama.cpp, GGML og kvantisering til konkrete apps og agenter. Asbjørn forklarer, hvorfor han ofte anbefaler at arbejde med prompts og værktøjerne omkring modellen, før man begynder at fine-tune. Vi diskuterer også, hvornår lokal behandling giver mening for fortrolige data, og hvorfor det er svært at lade en lille model afgøre, hvornår en større skal tage over. I episoden: • Forskellen på at køre en model inde i en app og at betjene mange brugere på en server. • Hvordan kvantisering og hardware påvirker modelvalg og hastighed. • Lokale modeller til oversættelse, dokumentbehandling og tool calling. • Hybridløsninger, der fordeler opgaver mellem lokale modeller og cloud. • Weight-space programming og diskussionen om Jev, klassifikation og decision models. Prøv NobodyWho på en konkret opgave, du i dag løser med cloud, og giv projektet en stjerne på GitHub, hvis du får glæde af det. Verbos er podcasten om AI og softwareudvikling med Kasper Junge og Jonas Høgh Kyhse-Andersen. Vi går teknisk til værks og bygger bro mellem klassisk software engineering og arbejdet med AI-agenter. Kapitler: 00:00 Velkommen til Asbjørn Olling 02:35 BornHack og vejen til lokal AI 04:48 NobodyWho: En inference engine inde i din app 06:27 llama.cpp, GGML og forskellige typer hardware 08:18 Apps til én bruger og servere til mange 11:53 Kvantisering og modelvalg til dit hardware 17:07 Hvor tæt er open weights på frontiermodellerne? 21:15 Hvorfor køre lokalt? Data, offlinebrug og økonomi 24:49 Weight-space programming: Kan modeller ændre vægte? 30:07 Prompts og harness før fine-tuning 33:35 Tool calling og lokale agenter 36:24 Hybrid AI: Routing og følsomme data 40:32 Lokal AI til intern pentesting 42:00 Jev og decision models: Nyt eller klassifikation? 47:01 Kom i gang med NobodyWho 48:52 Sprogbindings og hvorfor sprogvalg stadig betyder noget 50:06 Tak for denne gang Links og kilder: • NobodyWho: https://www.nobodywho.ai/ • NobodyWho på GitHub: https://github.com/nobodywho-ooo/nobodywho — kode og vej videre til dokumentationen. • Jev in 25 lines of Python — Duarte O. Carmo: https://www.nobodywho.ai/posts/jev-in-25-lines/ — blogindlægget, der diskuteres i episoden; forfatteren markerer det som en parodi. • Sparks of Weight-Space Programming: https://rikiyat.github.io/blog/weight-space-programming/ — originalarbejdet bag samtalen om at læse og ændre netværksvægte. Samtalens vurderinger af modellernes udvikling, sikkerhed og anvendelighed er deltagernes egne. De nævnte tidsafstande til frontiermodeller er Asbjørns estimater, ikke garantier for, hvad en bestemt enhed kan køre.