Store sprogmodeller (LLM)

Kommunikation og IT A · HTX · A-niveau · AI og maskinlæring

💻 Large Language Models

LLM'er er transformer-baserede modeller trænet på massive tekstmængder.

Centrale modeller:

• GPT-4/4o (OpenAI): mest brugt kommercielt
• Claude (Anthropic): fokus på sikkerhed og hjælpsomhed
• Gemini (Google): integreret med Google-tjenester
• Llama 3 (Meta): åbent tilgængeligt

Tekniske grundbegreber:

• Tokens: tekstenheder (~0,75 ord pr. token)
• Context window: maksimal input-størrelse (GPT-4: 128k tokens)
• Temperature: kreativitet vs. deterministisk output (0 = forudsigelig, 1 = kreativ)
• Prompt engineering: kunst at formulere effektive instruktioner

Prompt engineering teknikker:

• Zero-shot: direkte spørgsmål
• Few-shot: eksempler i prompten
• Chain-of-thought: Tænk trin for trin
• RAG (Retrieval-Augmented Generation): kobl LLM med ekstern vidensbase

Begrænsninger: hallucinationer, vidensstop (knowledge cutoff), ingen faktuel hukommelse.

Læringsmål

• Forklare LLM'ers arkitektur og træningsproces overordnet
• Bruge prompt engineering teknikker (few-shot, chain-of-thought)
• Vurdere LLM'ers styrker og begrænsninger
• Implementere et simpelt RAG-system konceptuelt

Sådan kan du arbejde med emnet

• Forklar kort hvordan en sprogmodel som ChatGPT er trænet
• Diskutér en fordel og en ulempe ved at bruge LLMer til skoleopgaver
• Giv et eksempel på en opgave hvor en LLM kan tage fejl (hallucination)

Træningsforslag

• Eksperimentér med prompt engineering: sammenlign zero-shot, few-shot og chain-of-thought
• Byg en simpel chatbot med OpenAI API eller Ollama (lokal model)
• Analyser en LLM-hallucination og forklar hvorfor den opstod