Připadá vám to úplně stejně jako mít pravdu. Nic vás nebolí, nic neblikne.
Všechno přijde, až to zjistíte — pokud to vůbec zjistíte. A s AI přicházejí systémy,
kde už chybu nemusíme rozpoznat vůbec.
Slide 2 / 7 · z dokumentu
V softwaru neexistuje „skoro správně".
Malá chyba na začátku se v komplexním systému neztratí — ona se v něm rozroste.
1985
Therac-25 · souběh procesů
Ozařovač předpokládal, že operátor zadá data pomalu. Při rychlém zadání dal pacientům 100× vyšší dávku radiace. Lidé zemřeli.
1991
Patriot · drift hodin
Vnitřní hodiny driftovaly o 0,000000095 s za sekundu. Po 100 hodinách provozu 0,34 s — dost, aby systém minul Scud o půl kilometru. 28 mrtvých.
1996
Ariane 5 · přetečení typu
64bitové číslo narvané do 16bitového. Overflow, software se zhroutil, raketa se odpálila 37 s po startu. 370 milionů dolarů v troskách.
Tohle všechno je jeden druh chyby: kód udělal něco jiného, než jsme chtěli. Teď přijde zákeřnější druh — kde je výpočet správně, a přesto se mýlíme.
Slide 4 / 7 · odhalení
Vždycky přepsat.
⅓
šance, když zůstanete u prvních dveří
⅔
šance, když přepnete na druhé
Vaše první volba měla ⅓ šanci. To se otevřením kozy nezměnilo — moderátor věděl, kde koza je, a schválně ji ukázal. Celá zbývající ⅔ se tím sesypou na jediné nevybrané dveře.
Intuice křičí „padesát na padesát". Intuice se plete — a vůbec si toho nevšimne. Přesně tady selhává i člověk, který nehledí na to, co model ví a co jen předpokládá.
Slide 6 / 7 · odhalení
Správný výpočet, špatná otázka.
22×
vyšší úmrtnost dětí s nízkou porodní váhou (celkově)
2×
nižší úmrtnost dětí kuřaček — uvnitř skupiny nízké váhy
~10 let
o tolik se pozdržela protikuřácká opatření u těhotných
Yerushalmy (1971) podmínil na následku — porodní váze. Lehké dítě kuřačky srovnával s lehkým dítětem nekuřačky, jenže to druhé je lehké kvůli něčemu mnohem horšímu (vrozené vady, vážné komplikace). Kouření tím zdánlivě „chrání". Je to collider bias — stejná past jako Berksonův a Simpsonův paradox.
Kouření je pro dítě škodlivé, ať má nízkou porodní váhu, nebo ne. Ale nesmysl, který zní jako data, držel ženy u cigaret skoro dekádu — protože čísla nikdo nezpochybnil.
Allen Downey, Probably Overthinking It (kap. 7) & Talks at Google ·
souvisí: demo Berksonova paradoxu
Slide 7 / 7
Stejná past čeká vibe coding.
LLM vám s naprostou jistotou napíše dotaz, který agreguje data po špatně zvolené skupině.
Výsledek bude vypadat čistě, přesvědčivě, publikovatelně. Správný výpočet nad
špatně vymezenou otázkou je nebezpečnější než pád rakety — pád je vidět hned,
tohle se dostane do tisíce článků dřív, než to někdo zpochybní.
„První princip je, že sám sebe nesmíte oklamat — a sami sebe oklamete nejsnáze." — Richard Feynman