Pochopení vnitřní logiky velkých jazykových modelů (LLM) je nezbytné pro predikci jejich chování a eliminaci halucinací. Tato lekce rozebírá proces transformace textu na matematické vektory.
LLM pracují na principu pravděpodobnosti. Při generování každého slova (tokenu) model vypočítá distribuci pravděpodobnosti pro všechna možná pokračování. Parametr zvaný "teplota" určuje, zda model vybere nejvíce pravděpodobnou variantu, nebo zvolí méně očekávanou cestu.
Token je základní jednotka zpracování. Může to být celé slovo, část slova (slabika) nebo i jednotlivý znak u vzácných výrazů. V průměru odpovídá 1000 tokenů přibližně 750 slovům v angličtině, v češtině je poměr kvůli skloňování mírně vyšší.
Jakmile počet tokenů v konverzaci přesáhne limit modelu, nejstarší data jsou z "paměti" odstraněna (FIFO princip). Model pak ztrácí schopnost referovat o informacích z úvodu vlákna, což vede k logickým rozporům v odpovědích.
Ne, jedná se o statistickou predikci. Model nemá vědomí ani přístup k realitě mimo svá tréninková data. Jeho výstupy jsou výsledkem komplexních maticových operací, nikoliv kognitivního uvažování v lidském smyslu.
Každý model je definován sadou parametrů, které určují jeho efektivitu při řešení specifických úloh. Pochopení těchto limitů je kritické pro iterační optimalizaci.
Větší modely mají vyšší přesnost, ale vyžadují více výpočetního času na vygenerování jednoho tokenu.
Mechanismus Attention určuje, jakou váhu model přikládá jednotlivým slovům v promptu vzhledem k ostatním.
Slova se sémanticky podobným významem jsou v multidimenzionálním prostoru umístěna blíže k sobě.
Regulace náhodnosti výběru tokenů. Nízká teplota (0.1-0.3) je vhodná pro technická a faktická data.
Předtím, než model začne zpracovávat jakýkoliv vstup, musí dojít k převodu textu na číselné hodnoty. Tento proces se nazývá tokenizace. Model nevidí písmena jako lidé, ale pracuje s indexy v obrovské tabulce (vocabulary). U moderních modelů jako GPT-4 se využívá metoda BPE (Byte Pair Encoding), která efektivně rozkládá text na nejčastěji se vyskytující sekvence znaků.
Jádrem fungování je predikce následujícího tokenu. Model na základě kontextu (všech předchozích tokenů) vypočítá skóre pro každý token ve své slovní zásobě. Výsledkem je vektor pravděpodobností, kde součet všech hodnot je roven 1. Tento mechanismus vysvětluje, proč je důležité používat metodiku Chain-of-Thought – model dostane šanci vygenerovat mezikroky, které zpřesní pravděpodobnost pro finální výsledek.
Kontextové okno je hardwarově a softwarově omezená kapacita RAM, kterou model vyčleňuje pro jednu konverzaci. Důležité je si uvědomit, že do okna se počítá jak váš prompt, tak i předchozí historie a systémové instrukce. Pokud navrhujete komplexní systémy, je nutné zvážit strukturování výstupních dat tak, aby nezabírala zbytečné místo v kontextu.
| Model | Typický limit | Použití |
|---|---|---|
| GPT-3.5 Turbo | 4k - 16k tokenů | Krátké chaty, jednoduché úkoly |
| GPT-4o | 128k tokenů | Analýza dlouhých dokumentů |
| Claude 3.5 Sonnet | 200k tokenů | Rozsáhlé programátorské projekty |
Publikované články shrnují veřejně dostupné informace, oborové výzkumy a vzdělávací materiály. Mají pouze informativní charakter a nepředstavují profesionální finanční ani investiční doporučení. Pro konkrétní implementace v podnikovém prostředí konzultujte certifikované specialisty na AI bezpečnost.
Nyní, když rozumíte vnitřním mechanismům, můžete přejít k definici systémových rolí a přesnému formátování promptů.