Siden OpenAI gjorde deres LLM, chatgpt, tilgængelig for offentligheden til brug, har der været meget sensationalistisk content-slugde som er blevet udgivet med diverse udtalelser om at “masse-arbejdsløshed”, “sky-net”, “menneskehedens erstatning af AI” og lignende fordummende skrald. Som en der har holdt sig fra at registere sig og bruge OpenAI’s LLM, var det først med udgivelsen og min opdagelse af Ollama, at jeg selv prøvede kræfter med LLM’s og havde et praktisk grundlag at vurderede dem på.

Ollama

Ollama´s hele sale-pitch er “Get up and running with large language models.”, de levere i princippet en lignende oplevelse til at bruge docker til at at spinde applicationer op, men nu bare for LLMs istedet. Hvis man ikke er interesseret i at SSH ind på sin server-boks, som har et grafik-kort der kan køre LLMs, hver gang man har en prompt som man vil fyre af, så finder man hurtigt frem til at bruge en web-frontend til sine LLM gøremål. Heldigvis er der rigelig af frontends, som har diverse features og som er lette at bruge sammen med Ollama. Jeg har selv gjort brug af “Open-WebUI”, som forsøger at have “feature-parity” med chatgpt’s UI. Det som jeg har kørt af modeller med Ollama har primært været Llama3/Llama3.1, til en mindre grad også gemma og phi.

En AI-server i hjemmet

Det som jeg har fået ud af at køre en server derhjemme med Ollama og Open-webUI, er primært et alternativ til google-søgninger og stackoverflow til at finde boiler plate kode-eksempler, eller at minde en om hvordan bestemte programmeringssprog eller bash-konventioner fungere. Eksempelvis til at genere snippets til ens automerings-scripts. Et andet use-case har været til at skrive opsummeringer/resumere af youtube-videoer, som har været et værktøj til at forhindre/mindske tidsspild på content-slugde. At genere et kort transskript og opsummering med disse værktøj af videoer på 25-45 min på 3 min, giver muligheden for at spare sin tid og undgå skralde-content, som ved manglen på beskrivelser og deres inklussion af time-wastement, forsager overhovedet meningen med at bruge disse værktøjer.

Trods de fordele jeg har kunne drage af brugen af Llama3.1, ihensyn til programmering og computer-spørgsmål, så har værktøjet også betydelige begrænsninger ihensyn til “accuracy” og har flere gange også hallucineret iform af at henvise til ikke eksisterende software-packages og libraries. Endnu værre er det når at jeg har forsøgt at bruge værktøjet til emner uden for feltet af hvad man kan kalde “computer science for amatører”, her bliver hallucinationerne værre og outputtet er betydeligt mere ubrugeligt. Det skal dog samtidigt holdes i mente at jeg kun har kørt modeller i 3-9B intervallet.