V EU GDPR vyžaduje, aby informace o fyzických osobách byly přesné a aby měly plný přístup k uloženým informacím, jakož i k informacím o jejich zdroji. Společnost OpenAI však překvapivě otevřeně přiznává, že není schopna opravit nesprávné informace na ChatGPT. Společnost navíc nedokáže říci, odkud údaje pocházejí a jaké údaje ChatGPT o jednotlivých osobách uchovává. Společnost si je tohoto problému dobře vědoma, ale nezdá se, že by ji to zajímalo. Místo toho společnost OpenAI jednoduše tvrdí, že "faktická přesnost velkých jazykových modelů zůstává oblastí aktivního výzkumu". Proto, noyb dnes podala stížnost na společnost OpenAI u rakouského úřadu pro ochranu osobních údajů.

ChatGPT má stále halucinace - a ani OpenAI to nedokáže zastavit. Spuštění ChatGPT v listopadu 2022 vyvolalo nebývalý humbuk kolem umělé inteligence. Lidé začali chatbota používat k nejrůznějším účelům, včetně výzkumných úkolů. Problém je v tom, že podle samotného OpenAI aplikace pouze generuje "odpovědi na požadavky uživatelů předpovídáním dalších nejpravděpodobnějších slov, která by se mohla objevit v reakci na jednotlivé výzvy". Jinými slovy: Ačkoli má společnost k dispozici rozsáhlá tréninková data, v současné době nelze zaručit, že ChatGPT skutečně zobrazuje uživatelům věcně správné informace. Naopak je známo, že generativní nástroje umělé inteligence pravidelně "halucinují", což znamená, že si odpovědi jednoduše vymýšlejí.
Pro domácí úkoly je to v pořádku, ale ne pro data o jednotlivcích. Zatímco nepřesné informace lze tolerovat, když student používá ChatGPT, aby mu pomohl s domácím úkolem, je to nepřijatelné, pokud jde o informace o jednotlivcích. Od roku 1995 zákony EU vyžadují, aby osobní údaje byly přesné. V současné době je to zakotveno v článku 5 GDPR. Fyzické osoby mají také podle článku 16 GDPR právo na opravu, pokud jsou údaje nepřesné, a mohou požádat o vymazání nepravdivých informací. Kromě toho musí být společnosti podle "práva na přístup" v článku 15 schopny prokázat, které údaje o fyzických osobách uchovávají a jaké jsou jejich zdroje.
Maartje de Graaf, právnička pro ochranu osobních údajů ve společnosti noyb: "Vymýšlení nepravdivých informací je samo o sobě dosti problematické. Pokud však jde o nepravdivé informace o fyzických osobách, může to mít vážné důsledky. Je zřejmé, že společnosti v současné době nejsou schopny zajistit, aby chatboti, jako je ChatGPT, při zpracovávání údajů o fyzických osobách dodržovali právní předpisy EU. Pokud systém nedokáže poskytovat přesné a transparentní výsledky, nelze jej používat k vytváření údajů o fyzických osobách. Technologie se musí řídit právními požadavky, nikoli naopak."
Prosté vymýšlení údajů o fyzických osobách nepřipadá v úvahu. To je do značné míry strukturální problém. Podle nedávné zprávy New York Times si "chatboti vymýšlejí informace nejméně ve 3 % případů - a až ve 27 %". Pro ilustraci tohoto problému se můžeme podívat na stěžovatele (veřejnou osobu) v našem případu proti OpenAI. Když byl ChatGPT dotázán na jeho narozeniny, opakovaně poskytoval nesprávné informace, místo aby uživatelům sdělil, že nemá potřebné údaje.
Žádná práva podle GDPR pro osoby zachycené službou ChatGPT? Přestože datum narození stěžovatele poskytnuté společností ChatGPT je nesprávné, společnost OpenAI odmítla jeho žádost o opravu nebo vymazání údajů s odůvodněním, že údaje není možné opravit. Společnost OpenAI tvrdí, že může filtrovat nebo blokovat údaje na určitých výzvách (například jméno stěžovatele), ale ne bez toho, aby zabránila společnosti ChatGPT filtrovat všechny informace o stěžovateli. Společnost OpenAI také adekvátně neodpověděla na žádost stěžovatele o přístup. Ačkoli GDPR dává uživatelům právo požádat společnosti o kopii všech osobních údajů, které jsou o nich zpracovávány, společnost OpenAI nesdělila žádné informace o zpracovávaných údajích, jejich zdrojích ani příjemcích.
Maartje de Graaf, právnička zabývající se ochranou osobních údajů ve společnosti noyb: "Povinnost vyhovět žádosti o přístup se vztahuje na všechny společnosti. Je jednoznačně možné vést záznamy o školících údajích, které byly použity, alespoň mít představu o zdrojích informací. Zdá se, že s každou "inovací" si další skupina společností myslí, že její produkty nemusí být v souladu se zákonem."
Zatím bezvýsledné snahy dozorových orgánů. Od náhlého nárůstu popularity ChatGPT se nástroje generativní umělé inteligence rychle dostaly pod drobnohled evropských orgánů pro ochranu soukromí. Italský úřad pro ochranu údajů se mimo jiné zabýval nepřesností chatbota, když v březnu 2023 uložil dočasné omezení zpracování údajů. O několik týdnů později Evropský sbor pro ochranu osobních údajů (EDPB) zřídil pracovní skupinu pro ChatGPT, která má koordinovat úsilí jednotlivých států. Ještě se uvidí, kam to povede. Prozatím se zdá, že společnost OpenAI ani nepředstírá, že by mohla GDPR EU dodržovat.
Podaná stížnost. noyb nyní žádá rakouský úřad pro ochranu osobních údajů (DSB), aby prošetřil zpracování údajů společností OpenAI a opatření přijatá k zajištění správnosti osobních údajů zpracovávaných v souvislosti s rozsáhlými jazykovými modely společnosti. Dále žádáme úřad DSB, aby společnosti OpenAI nařídil vyhovět žádosti stěžovatele o přístup k údajům a uvést jejich zpracování do souladu s GDPR. V neposlední řadě společnost noyb žádá, aby orgán uložil pokutu, která zajistí budoucí dodržování předpisů. Je pravděpodobné, že tento případ bude řešen prostřednictvím spolupráce s EU.