Model nepíše větu dopředu. Počítá pravděpodobnost dalšího tokenu, jeden vybere, přidá ho — a celé to opakuje. Tomu se říká autoregrese.
Jeden krok smyčky
kontext
→
[model]
→
rozdělení p‑stí
vyber token
→
přidej
→
opakuj
Není to myšlení dopředu. Je to pravděpodobnost po jednom kroku. Každé slovo je jen dosud nejpravděpodobnější pokračování toho, co už stojí vlevo.
Hrdina listu · rozdělení pro „Nebe je ___"
Sdílená osa je pravděpodobnost. Nízká teplota rozdělení zašpičatí — vybere se skoro vždy nejpravděpodobnější token. Vysoká ho zploští — šanci dostanou i méně pravděpodobní kandidáti. Tvar mění jediné číslo.
Autoregrese v akci · věta po jednom tokenu
Každý řádek je jedno otočení smyčky: model vezme, co už stojí vlevo, spočítá rozdělení a přilepí jeden token. Věta neexistuje předem — roste zleva doprava, dokud nepřijde token konce.
Tokenizace
Text se neláme na slova, ale na tokeny — kousky slov. Model počítá vždy další token, ne celé slovo.
ne·uvěř·itel·né
Jedno slovo = několik tokenů, když je vzácné či dlouhé.
Teplota
0 = deterministické, opakovatelné — pokaždé stejný výstup. Vyšší = kreativnější, ale riskantnější a méně předvídatelné.
Proč halucinace
Model vybírá pravděpodobné, ne pravdivé. Když neví, stejně vybere nejpravděpodobnější pokračování — zní jistě a přitom se plete.
Kontext
Rozdělení se počítá vždy jen z toho, co má model právě teď v okně vlevo. Změň, co stojí před slovem, a změní se i pravděpodobnosti.
Greedy vs. vzorkování
T = 0
Vezme vždy nejpravděpodobnější token. Deterministické, ale často nudné či zaseknuté.
Vyšší T
Z rozdělení losuje. Živější a rozmanitější, ale s rizikem úletu.
Hodnoty ilustrativní — učí tvar, ne konkrétní čísla.