Nikdo nehodlá brzdit: Washington, Peking a Berlín odmítají Amodeiovu výzvu

Trump označil varování ohledně AI za podvod: jedinou pojistkou je „chytrý prezident“

Americký prezident Donald Trump odmítl volání po přísnějších pravidlech pro AI a prohlásil, že jedinou kontrolou neboli Guardrails, kterou umělá inteligence potřebuje, je „SILNÝ A CHYTRÝ (s vysokým IQ!) PREZIDENT“, a takového mají USA dostatek. Ve stejném příspěvku na Truth Social hovořil o „CHORÉM spiknutí proti AI a datovým centrům“, ze kterého má radost pouze Čína. Druhý příspěvek následoval během dvanácti hodin: Strach z AI, která převezme svět a zničí lidstvo, je „HOAX“, srovnatelný s obviněními z ruského vměšování do voleb a jeho vlastními procesy impeachmentu. Vývoj pod jeho prezidentským vedením „nezastaví brilantně vedené destruktivní síly“. „WHOEVER WINS AI, WINS,“ napsal a dodal, že Amerika je před Čínou a tak to i zůstane.

Spouštěčem byl šéf společnosti Anthropic Dario Amodei, který o víkendu vyzval ke zpomalení vývoje a lepší regulaci. Přidali se k němu šéf OpenAI Sam Altman a Elon Musk: Musk prohlásil, že Amodei má pravdu, Altman řekl, že standardy nejsou v bodě, kdy by se schopnosti modelů měly posouvat ještě mnohem dál. Trump se zaměřil přímo na Amodeie, který „se teď tváří jako dokonalý malý andílek“, a poukázal na to, že jeho vláda již má „obrovskou REPRESIVNÍ A REGULAČNÍ MOC nad těmito společnostmi“. „Zabránili jsme lidem z AI v tom, aby dělali špatné nebo potenciálně špatné věci,“ řekl, aniž by to blíže specifikoval; Bílý dům na dotaz prozatím nereagoval. Trumpův bývalý zmocněnec pro AI David Sacks rovněž veřejně oponoval Altmanovi a Amodeiovi.

V doprovodné debatě poukázal Richard Whittle, profesor AI a veřejné politiky na University of Salford, na bližší riziko: firmy se již dnes vážou na konkrétní nástroje a při pětinásobném nebo desetinásobném zvýšení cen by byly zranitelné. Startupy, které na těchto nákladech staví, by to sotva přežily, a kdo nahradil personál umělou inteligencí, platí cenu bez ohledu na to, jak se vyvíjí. Zatím je vidět především kultura snižování nákladů a jen málo případů, kdy by AI vytvářela přidanou hodnotu. → BBC, Axios, Wall Street Journal

Synthszr Take: Dva příspěvky na Truth Social během dvanácti hodin a v obou se celá bezpečnostní architektura skládá z jediné osoby: samotného úřadujícího prezidenta. Governance, která závisí na jednom prezidentovi, je samozřejmě nesmysl. Kontrola v praxi znamená srozumitelná kritéria úspěchu a přerušení plus někoho, kdo má právo projekt skutečně zastavit. Trump alespoň přesně pojmenoval nástroj, který má na mysli, totiž „obrovskou REPRESIVNÍ A REGULAČNÍ MOC nad těmito společnostmi“, tedy tlak v jednotlivých případech; jak to vypadá, již předvedl Pentagon s klasifikací dodavatelského řetězce společnosti Anthropic a pozastaveným vydáním modelu Mythos. Pojistka, která závisí na náladě, sice firmy disciplinuje, ale nechrání lidi.

Pekingský státní tisk označil Amodeiho esej o AI za „scénář ze studené války“

Státu blízký deník Global Times označil v úvodníku výzvu Daria Amodeiho ke zpomalení vývoje AI za „manuál ze studené války“ namířený proti Číně. Esej šéfa společnosti Anthropic sice může vypadat jako racionální stanovisko zaměřené na bezpečnostní rizika, ale ve skutečnosti jde o snahu zpomalit čínský vývoj AI prostřednictvím technologických bariér a regulačních monopolů. List označuje tento krok za „pokrytecký a krátkozraký“ a obviňuje Washington z vylučování Číny z globální správy AI, což podle něj zvyšuje náklady na chyby a riziko ztráty kontroly po celém světě. Důvodem je Amodeiho text „We Must Pace the Frontier“ zveřejněný v sobotu, v němž kromě zpomalení tempa požaduje také přísnější kontroly vývozu čipů do Číny a postup proti údajné Model Distillation ze strany čínských laboratoří.

Amodei v eseji o délce zhruba 3 500 slov navrhuje třístupňový plán. První stupeň: nezávislí hodnotitelé s trvalým přístupem k modelům „podobným zaměstnaneckému“, které přirovnává k potravinovým inspektorům a k čemuž se Anthropic podle vlastních slov jednostranně zavázal. Následovat má mezinárodní koordinace s ostatními laboratořemi a vládami, včetně autoritářských států. Jako varovný signál uvádí, že AI by mohla být během šesti až dvanácti měsíců schopna ovládat roj, který převezme internet. V televizním rozhovoru řekl, že „Kill Switch“ by mohl být dobrý nápad, ale úplný zákaz nikoliv, a že možným vzorem jsou dohody o kontrole zbrojení se Sovětským svazem. Otázku, zda by USA měly brzdit, pokud tak neučiní Čína, označil za nejtěžší dilema svého návrhu.

K výzvě se veřejně připojili Sam Altman a Elon Musk. Altman oznámil, že OpenAI poskytne externím hodnotitelům stejný přístup; Musk stručně komentoval: „Dario má pravdu.“ Spouštěčem vyhrocené debaty byl mimo jiné i odchod 27letého výzkumníka z Anthropic, Jacoba Coxona, který hovoří o značné pravděpodobnosti katastrofálního výsledku a zpomalení považuje za smysluplné pouze tehdy, bude-li koordinováno s Čínou.

Ve Washingtonu se tento návrh setkává s odmítnutím. Trump hovořil o „velmi negativních silách“, které podněcují přehnané obavy, a prohlásil, že USA v závodě v oblasti AI vedou a „kdo vyhraje v AI, vyhraje“. Předseda Sněmovny reprezentantů Mike Johnson odkázal na svou nadstranickou pracovní skupinu pro AI, ale nouzové moratorium odmítl, protože by Čína jinak USA předstihla. Zmocněnec pro AI David Sacks šéfům laboratoří oponoval, že nejjednodušší způsob, jak nepostavit superinteligenci, je prostě ji nestavět.

Skepse zaznívá i z výzkumné sféry. Gary Marcus vítá přísliby transparentnosti, ale ve formulaci „partner with government“ vidí pokus nahradit skutečnou regulaci; François Chollet a další se domnívají, že jde o snahu „vytáhnout za sebou žebřík“. Kritika se snáší také na Amodeiem zmíněného hodnotitele METR, který má sám blízko k prostředí laboratoří v Silicon Valley. USA a Čína chtějí v polovině září jednat o bezpečnostních rizicích na hranici možností modelů, téma by se mohlo objevit na summitu Trumpa a Si Ťin-pchinga 24. září. → CBS News, Reuters, HuffPost, Marcus on AI, The Independent

Synthszr Take: Ve stejném eseji, který žádá o disciplínu v tempu, se objevují přísnější kontroly vývozu čipů a tvrdší postup proti destilaci modelů čínskými laboratořemi. Peking tedy pro svou interpretaci nepotřebuje žádné domněnky, stačí mu tento odstavec: omezení rychlosti, které navrhuje ten, kdo je vpředu, a doprovází ho omezením přístupu, si ten, kdo ho dohání, přečte jako upevnění náskoku. To, že sám Amodei označuje toto dilema za nejtěžší bod svého návrhu, mu moc nepomáhá, dokud jsou podmínky spolupráce stanovovány jednostranně. Dva týdny před setkáním 24. září má tak Čína pohodlný nátlakový prostředek: může se prezentovat jako zastánce inkluzivní správy AI, aniž by sama akceptovala jediné omezení. Cenou za toto dvojí poselství je, že se o bezpečnostní otázce v Pekingu jedná jako o otázce obchodní, a obchodní otázky se řeší protislužbami.

Berlín na kurzu Trumpa a Si: Zastavení vývoje není pro Evropu řešením

Německé ministerstvo pro digitalizaci výslovně odmítlo výzvu z odvětví AI ke zpomalení tempa vývoje. „Zastavení vývoje nepovažujeme pro Evropu za schůdnou možnost,“ uvedl v pondělí mluvčí ministerstva; posílení digitální suverenity naopak znamená více vývoje a více inovací v oblasti umělé inteligence. Podnětem byl víkendový esej šéfa společnosti Anthropic Daria Amodeie, v němž vyzývá společnosti zabývající se umělou inteligencí, aby snížily tempo svých projektů, a navrhuje přísnější kontroly, včetně nezávislých auditorů působících přímo v laboratořích.

Ministerstvo uvedlo, že pozorně sleduje celosvětový vývoj a bere vážně veřejná varování předních vývojářů. Mluvčí stanovil konkrétní hranici: systémy AI, které by mohly samostatně opustit své testovací prostředí a přistupovat k jiným systémům, by představovaly „zcela nový scénář hrozby“ a vyžadovaly by novou politickou odpověď. Účinný dohled je možný pouze na mezinárodní úrovni a musí zahrnovat Spojené státy a Čínu. Německo podle mluvčího vnáší toto téma na úroveň G7.

Současně společnosti Anthropic, Google a OpenAI jednaly o vytvoření společného orgánu pro stanovení průmyslových standardů. Podle osob obeznámených s těmito rozhovory začala jednání ještě před Amodeiho výzvou ke společnému testování a auditování modelů. Šéf OpenAI Sam Altman se interně vyjádřil souhlasně s pravidly pro testování a audity v oboru, ale předpokládá, že velké laboratoře by takový orgán musely vytvořit bez podpory federální vlády USA.

Na straně podniků mezitím zavádění probíhá podle stávajících vzorců. Podle průzkumů 91 procent společností, které nezavedly nástroje umělé inteligence první generace, neintegrovalo ani žádnou z novějších nabídek. Ze společností, které provozovaly AI první generace v jediné obchodní funkci, jich 63 procent nyní nasazuje novou generaci v jedné nebo dvou funkcích. → Reuters

Pohled Synthszr: Berlín na bezpečnostní otázku odpovídá kalkulací konkurenceschopnosti lokality, a to je jediná pádná odpověď pro zemi, která digitální infrastrukturu léta převážně dováží. Hranice, kterou ministerstvo stanovuje, je přesně daná: nová potřeba politické regulace nastává teprve tehdy, když systémy samostatně opustí své testovací prostředí a přistoupí k cizím systémům. Všechno předtím zůstává otázkou hospodářské soutěže. Zastavení vývoje v Evropě by především prodloužilo závislost na amerických a čínských modelech, jejichž vývoj se stejně nezastaví. Skutečnost, že Anthropic, Google a OpenAI současně jednají o vlastním orgánu pro standardizaci, který se podle Altmana bude muset obejít bez americké vlády, ukazuje, kde mají pravidla vznikat: u těch, kteří modely vlastní. Iniciativa G7 je proto silnější pákou než jakýkoli sebezávazek a bude brána vážně pouze tehdy, pokud bude mít Evropa do té doby v produktivním provozu vlastní modely.

Cohere a šéf Palantiru odmítají Amodeiho plán

Spoluzakladatel a CEO společnosti Cohere Aidan Gomez označil 13. září v eseji na firemním webu snahu několika předních laboratoří AI o vytvoření společného orgánu pro standardy za „kartel pod jiným jménem“. Staví se proti úzce vymezené výjimce z antimonopolních zákonů, o kterou podle něj „dvě nebo tři společnosti ze Silicon Valley“ žádají vlády, aby legalizovaly svou koordinaci v oblasti bezpečnostních standardů; jmenovitě zmiňuje šéfa společnosti Anthropic Daria Amodeiho. Esej navazuje na zprávu, podle které se Anthropic, OpenAI a Google od července scházejí, aby takový orgán vytvořily. Gomezův hlavní argument: bezpečnostní režim sepsaný několika málo laboratořemi by byl přísný pouze vůči rizikům, pro která tyto laboratoře již vybudovaly testovací systémy, a jejich současný náskok by se tak stal vstupní bariérou pro všechny ostatní. Joe Lonsdale, spoluzakladatel společnosti Palantir, v sobotním příspěvku na síti X odmítl obavy z hromadného vymírání způsobeného pokročilými systémy AI. „Svět bude v pořádku, lidi,“ napsal podle Business Insideru. Zodpovědné osoby mají před sebou velké úkoly, ale strašit všechny nepomůže: „Máme to pod kontrolou.“ → AI Weekly

Pohled Synthszr: Standardy jsou nejelegantnějším prostředkem, jak omezit konkurenci, aniž by ji bylo nutné zakazovat. Pokud tři laboratoře stanoví, jaké bezpečnostní testy jsou považovány za dostatečné, jejich již vybudovaná testovací infrastruktura se stane vstupním poplatkem: každá evaluační pipeline, každý postup red teamu, který by Cohere nebo Mistral musely teprve financovat, je u těchto tří již dávno odepsán. Gomezův odkaz na příklad SEC z roku 1975 je tak trefný proto, že nikdy nebyla zveřejněna kritéria, jak by mohl čtvrtý poskytovatel tento status získat. To, že sám požaduje povinnou transparentnost, hlášení incidentů a kontrolní orgány po vzoru úřadu pro letectví, ukazuje, o co mu jde: o obsazení role rozhodčího někým, kdo zároveň není hráčem na trhu.

Bernie Sanders požaduje od Trumpa a Si Ťin-pchinga pauzu ve vývoji AI a zákaz superinteligence

Americký senátor Bernie Sanders vyzval Donalda Trumpa a Si Ťin-pchinga, aby na nadcházejícím summitu o AI vyjednali smlouvu, která by dočasně pozastavila vývoj pokročilé umělé inteligence a superinteligenci trvale zakázala. Současně Sanders předložil návrh zákona, který má zakázat systémy schopné pracovat bez lidského dohledu. Podle Livemint byl podnětem blogový příspěvek šéfa společnosti Anthropic Daria Amodeiho, který jmenuje čtyři rizikové oblasti: kontrola nad systémy AI, kybernetické útoky, bioterorismus a značné ekonomické otřesy. Amodei píše, že tempo zvyšování schopností se musí snížit, ale pokrok zůstane i nadále rychlý. → MyClaw Newsletter

Pohled Synthszr: Bernie Sanders a tři technologičtí CEO na stejné lodi: to je politická kuriozita s dvojím dnem, protože obě strany mají na mysli něco úplně jiného. Amodei, Altman a Musk mluví o tempu, které si určují sami; Sanders chce zákon, který jim toto rozhodování vezme z rukou. Veřejné prohlášení „zpomalme“ firmy nic nestojí a v rozhovorech o regulaci jim propůjčuje roli zodpovědného dospělého, zatímco jejich vlastní datová centra běží dál.

Agent přepisuje vlastní kód a zvyšuje skóre na SWE-bench z 20 na 50 procent

Výzkumný tým vedený Jenny Zhuoting Zhang představil systém Darwin Gödel Machine, který opakovaně přepisuje svůj vlastní programový kód a každou změnu následně měří na kódovacích benchmarcích. Místo aby vyžadoval matematický důkaz užitečnosti každé modifikace, jak to předpokládala původní teoretická Gödelova машина, systém empiricky ověřuje, zda si nová varianta vede lépe. K tomu si udržuje archiv vygenerovaných kódovacích agentů, z nějž vybírá jednotlivé verze a nechává základní model vytvářet nové modifikace, čímž vzniká rostoucí strom paralelních vývojových cest. Podle studie se výkon na SWE-bench zvýšil z 20,0 na 50,0 procenta a na Polyglot ze 14,2 na 30,7 procenta. Mezi vylepšení, která si systém sám zajistil, patří lepší nástroje pro úpravu kódu, správa dlouhých kontextových oken a interní mechanismus peer review. → Latent.Space

Pohled Synthszr: Agent si sám opatřil lepší editační nástroje a vestavěný peer review, a poté byl na SWE-bench více než dvakrát lepší než předtím. Tato rekurze je bodem, kde volání po dobrovolném omezení rychlosti vyznívají naprázdno: zde smyčka vylepšuje svou vlastní schopnost se zlepšovat. Kontrola spočívá v samotné konstrukci, v sandboxu a lidském dohledu na každém kroku, a obojí je rozhodnutím týmu, nikoli vlastností postupu.

OpenAI radí smazat staré prompty pro Codex: brzdí nové agenty

Společnost OpenAI podle AlphaSignal zveřejnila návod, podle kterého mohou instrukce v promptech z dob starších modelů brzdit současné kódovací agenty. Podle poskytovatele spotřebovává scaffolding, který se budoval měsíce, zbytečně paměť v kontextovém okně a částečně vyvolává nesprávné chování. Konkrétně návod uvádí tři hlavní body: soubory dovedností mají dostat úzké, přesné popisy spouštěčů, aby agent vybral ten správný. Ze souboru AGENTS.md, který se načítá při každém jednotlivém úkolu, by měly zmizet povinné instrukce ke čtení a obecná připomenutí jako „spusť své testy“, protože model tyto kroky podle OpenAI provádí stejně sám. Task-prompty by naopak měly jasně definovat, kdy je úkol považován za splněný, aby se agent neptal v průběhu práce. → AlphaSignal

Pohled Synthszr: Každý řádek pomocné struktury promptu je sázkou na to, že model zůstane hloupý, a OpenAI tuto sázku právě sama ruší. Návod říká jasně: smažte soubory pravidel, které jste měsíce udržovali, protože AGENTS.md se načítá při každém jednotlivém úkolu a každý nadbytečný řádek stojí kontext. Zvláště pěkná je rada nechat model auditovat vlastní soubory dovedností, tedy předat údržbu berličky tomu, pro koho byla kdysi vytvořena.

Anthropic slibuje investorům druhé čtvrtletí v řadě se ziskem

Společnost Anthropic informovala investory, že bude druhé čtvrtletí v řadě zisková. Informují o tom Financial Times a zprávu přebírá agentura Reuters. Podle FT tato informace zazněla v rámci komunikace společnosti s investory, nikoli v běžné finanční zprávě: Anthropic je soukromá společnost a není tedy povinna zveřejňovat čtvrtletní výsledky. Zpráva neuvádí konkrétní čísla o obratu ani o zisku. → Reuters

Synthszr Take: Druhé ziskové čtvrtletí je jako zpráva slabší než to první, a přesto je zveřejněno. A přesně o to jde: Jedno čtvrtletí je odchylka, dvě už tvoří vzorec, a vzorec lze prodat bankovnímu syndikátu jako základ pro ocenění. Anthropic zde buduje číselnou řadu dříve, než ji kdokoli může prověřit, protože jako soukromá společnost si sama určuje, co se započítá do účetnictví a co se bude evidovat bokem jako strategická investice.

OpenAI radí přebujelé prompty pro agenty spíše mazat než udržovat

OpenAI zveřejnilo pokyny, jak by vývojáři měli přizpůsobit své instrukce pro agenty novější generaci modelů: Prompty napsané pro starší a slabší modely brzdí současné systémy. Podle poskytovatele zabírá příliš mnoho Scaffolding kontextu a spouští chybné chování. Pro soubory se skilly (skills) doporučuje OpenAI úzce a přesně formulované spouštěče, aby model sáhl po správném souboru, a ne po špatném. Soubor AGENTS.md se načítá při každém jednotlivém úkolu, proto by se podle OpenAI měla povinná předběžná četba a obecná připomenutí jako „proveď své testy“ bez náhrady zrušit. → AlphaSignal

Synthszr Take: Zatímco se na veřejnosti debatuje o rychlostních limitech pro umělou inteligenci, ve strojovně se uklízí. Rada nechat vlastní skilly a AGENTS.md auditovat samotným modelem je výzvou k demontáži: Nejdražší vrstvou pipeline agenta je péče o model, který ji už dávno nepotřebuje. Ve stejném vydání se píše o 39procentním snížení nákladů společnosti Cognition díky levnému druhému modelu pro rutinní práci a o bezplatném jazykovém nástroji od jednoho vývojáře, který na vlastním počítači pokrývá 646 jazyků.

OpenAI spouští ChatGPT pro finanční služby a útočí tím na byznys s terminály společnosti Bloomberg

OpenAI spustilo „ChatGPT for Financial Services“, vlastní produktovou variantu pro banky, správce majetku a analytické společnosti. Produkt je zaměřen na každodenní práci v investičním bankovnictví: rešerše o společnostech, analýza tržních dat, příprava podkladů. OpenAI tak vstupuje na trh, kterému dosud dominovali poskytovatelé terminálů jako Bloomberg a FactSet, kteří svým zákazníkům prodávají licence pro pracovní stanice umožňující přístup k datům a analytickým nástrojům.

Technicky rozhodující bod produktu spočívá v jeho architektuře. Místo toho, aby tržní data pouze dotazovalo přes rozhraní třetích stran, sází OpenAI podle pozorovatelů z oboru na Hosted-Data-Architektur, kdy finanční data leží ve vlastní infrastruktuře a jsou tam k dispozici pro dotazy. Tato konstrukce je v analýzách považována za skutečnou páku produktu, protože rozhoduje o dobách odezvy, dohledatelnosti a komerčních podmínkách získávání dat.

Tento krok je proto vnímán jako průnik do datové vrstvy, na které své podnikání postavily společnosti Bloomberg a FactSet, a méně jako závod v modelech se společností Anthropic. Zatím není jasné, se kterými poskytovateli dat OpenAI uzavřelo smlouvy pro které třídy kurzů, fundamentálních dat a dokumentů a za jakých podmínek. Rovněž není jasné, zda regulované instituce smějí výsledky používat v procesech podléhajících compliance. Ceny a počty zákazníků pro tuto nabídku nebyly dosud zveřejněny. → Linas from Linas’s Newsletter

Synthszr Take: Chatovací rozhraní je nejlevnější částí tohoto příběhu. Bloomberg a FactSet vydělávají na licenčních právech ke kurzům a fundamentálním datům, na smlouvách s burzami a datovými domy, které se budovaly desítky let a každoročně se znovu vyjednávají. Proto OpenAI hostuje data u sebe, místo aby je pouze využívalo přes rozhraní: Kdo drží samotné datové kanály, určuje latenci a cenu. Ta těžká práce spočívá ve vyjednávání licencí a v otázce, zda oddělení compliance schválí odpověď modelu jako ověřitelný zdroj. Bloomberg si může do svého terminálu pořídit jakýkoli dobrý jazykový model, ale OpenAI si nemůže natrénovat smluvní síť Bloombergu.