By David Černý 
Konkurence na trhu za miliony dolarů s předplatným je jedna věc. V posledních měsících se zdá, že každý z webových stránek má tábor vlastních fanoušků a ty, kteří denně hledají a generují z Gemini, nemusí nutně jít po reakci na GPT a naopak. Současně rostoucí poptávka po našich datech a rostoucí počet funkcí využívajících modely AI usnadňují kombinování jejich provozu s hrozbou pro kybernetickou bezpečnost.
Antropic chytil odvážného hackera. 17 společností utrpělo
I když do modelu umělé inteligence přidávají omezení a řešení, která zvyšují bezpečnost, není jistota, že tam nebude. Případ používající model Claude je prvním zdokumentovaným případem, kdy hacker použil model jednoho z předních hráčů k automatizaci téměř celého procesu počítačové kriminality.
Od začátku hacker věděl, jak obejít model Claude. Přesvědčil ho, aby získal informace o společnostech, jejichž bezpečnost by mohla být vystavena útoku. Pór – který může nejvíce šokovat – hacker použil model Claude k vytvoření škodlivého softwaru, aby ukradl citlivé informace. Pak tato data skutečně ukradla. Za tímto účelem byl software použit k analýze, který obsah může být cenný a jaké znalosti budou užitečné při dalším útoku.
Přečtěte si také: Claude vstupuje do chromu – první testy agenta AI v prohlížeči začaly
Odvážnost této akce je však tolik proto, že antropický model byl také použit k odhadu výkupného množství, pro které by hacker zůstal tichý, a model byl použit k psaní vydírání zpráv. V důsledku toho 17 společností obdrželo zprávu o podobném obsahu:
O jakých 17 společnostech mluvíme? Nezbereme to, ale Antropic se rozhodl sdílet informace o tom, jaké údaje šly hackerům. Mezi nimi, podrobnosti o účtech American Bank, číslo SSN (číslo sociálního zabezpečení, v jistém smyslu ekvivalent peselu) nebo lékařské informace. Anthropic uvedl, že přidal Claude následující vrstvy zabezpečení.
Opeli hackovaná piva. GPT-Oss vydírá peníze
Zdálo se, že když Opeli představila GPT-Oss, bezplatný model ke stažení pro počítače, zajistilo ho to dostatečně, aby se to nemohlo stát základem pro skutečnou hrozbu pro naše data. V tomto případě však podstatná databáze, která byla potřebná k vytvoření velkého modelu, se proti tvůrcům obrátil.
Podle zprávy ESET Research je PromptLock nejnovější hrozbou založenou na GPT-OSS. Je zajímavé, že pravděpodobně používá menší verzi modelu 20B místo 120B parametrů. Software pro podvody může generovat škodlivé skripty v LUA téměř z místa použitím Ollam AP a poté je vynutit také v místním prostředí, protože nepotřebuje internetovou komunikaci.
Zdá se, že útěcha v této situaci je skutečnost, že se jedná o pravděpodobně pouze testovací řešení ukazující softwarové dovednosti. Podle vědců ESET je to kvůli nedostatku řešení pro odstranění souborů. Software pro vydírání však potřebuje nástroje, aby se spustili na zařízení, takže pokud nepoužíváte řešení k vystřelení modelů na svých vlastních zařízeních, jste v bezpečí. OpenAI však nemůže spát pokojně, protože skutečnost, že takové řešení bylo vytvořeno vůbec a pracuje na Windows i Linux, může oznámit příchod většího a škodlivějšího softwaru.
Antropic a OpenAI se stanou spojenci v oblasti bezpečnostních otázek
Nic se spojuje jako obyčejný nepřítel nebo v tomto případě – společnou hrozbu pro bezpečnost. Opeli a antropic si navzájem zpřístupnili své vlastní modely. Tímto způsobem bude každá z nich kontrolována z hlediska bezpečnosti jiným způsobem, než na který si vědci mohli zvyknout. Nebyly to klasické softwarové verze – podmínky byly dříve diskutovány, díky kterým byly nejdůležitější záruky odstraněny, aby se usnadnil způsob, jak eliminovat pokročilejší hrozby.
Zprávy zveřejněné tvůrci chatagptu a vědci zodpovědnými za Claude chybí v několika komplimentech, ale také v řadě srovnání. Díky antropickým studiím například víme, že modely GPT-4O, 4,1 nebo O4-Mini jsou mnohem pravděpodobnější, že budou spolupracovat s lidmi, když jim poskytují nevhodné informace, například vytváření konkrétní zakázané látky nebo definování slabých stadionů a pórů, pokud je lze nejlépe využít.
Vědci z OpenAI zase zaznamenali velmi vysokou úroveň halucinací v modelu Claude a dosáhli až 70%. Zde však byla pouze zloba – Claude 4 byla oceněna za respektování hierarchie úkolů a dotazů a OpenAI O3 pro vyváženější chování. Bude taková spolupráce probíhat v budoucnosti? Nicholas Carlini v rozhovoru s TechCrunch připustil, že společnost stále chce sdílet modely Claude pro OpenAI, aby získala vyšší zabezpečení.