Store sprogmodeller (LLM) — ChatGPT, Gemini, Claude

It A · STX · A-niveau · AI og maskinlæring

💻 Store sprogmodeller (LLM) — ChatGPT, Gemini, Claude

LLM (Large Language Model): neurale netværk med milliarder af parametre, trænet på massive tekstkorpus.

Transformer-arkitektur (Vaswani et al. 2017, "Attention Is All You Need"): self-attention mekanisme tillader modellen at veje relevansen af alle ord i konteksten.

GPT-familien (OpenAI): GPT-3 (175B parametre, 2020), GPT-4 (estimeret 1,76 billioner, 2023). ChatGPT (RLHF — Reinforcement Learning from Human Feedback).

Gemini (Google): multimodal model (tekst, billeder, lyd, video).

Claude (Anthropic): Constitutional AI-tilgang til sikker AI. Llama (Meta): open-weight.

Prompt engineering: zero-shot (bare spørg), few-shot (eksempler i prompt), chain-of-thought (tænk skridt for skridt).

Hallucination: LLMs genererer plausibelt-lydende men faktuelt forkert indhold.

RAG (Retrieval-Augmented Generation): kombinér LLM med faktadatabaseopslag.

Fine-tuning: videretrein på domænespecifikt data.

EU AI Act (2024): LLMs klassificeret som "general-purpose AI" med transparency-krav.

Læringsmål

• Redegøre for hvordan store sprogmodeller er trænet
• Diskutere muligheder og begrænsninger ved LLM-baserede værktøjer
• Vurdere etiske aspekter ved brug af LLM i uddannelse og arbejde

Sådan kan du arbejde med emnet

• Forklar, hvad en stor sprogmodel er, og hvad attention-mekanismen gør
• Beskriv, hvad prompt engineering er, og giv et eksempel på et godt og et dårligt prompt
• Diskutér, hvad der er begrænsningerne ved LLM: hallucination, kontekstvindue, opdateret viden

Arbejd iterativt med prototyper og dokumentation. Test, evaluér og dokumentér.