Dne 13. března 2024 bylo přijato dlouho očekávané nařízení EU, které komplexně reguluje vývoj a použití umělé inteligence – tzv. Akt o umělé inteligenci neboli AI Act („AI Act“). Jeho cílem je především chránit základní práva osob před škodlivými účinky systémů umělé inteligence. Povinnosti dopadnou jak na výrobce, dovozce či distributory systémů umělé inteligence, tak i na jejich provozovatele. AI Act proto dopadne i na společnosti mimo EU a očekává se, že bude mít globální dopad.

Co bude AI Act regulovat?

AI Act bude především regulovat uvedení do provozu a uvedení na trh ty systémy umělé inteligence, které představují nepřijatelné nebo vysoké riziko. Dále přináší nové povinnosti pro všeobecně

užívané AI systémy (jako je například ChatGPT), novou povinnost označování chatbotů či povinnosti týkající se označování obsahu generovaného umělou inteligencí.

Umělou inteligenci AI Act definuje jako “a machine-based system designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments.”

Základní stavební kámen AI Actu? Risk-based approach!

Ne každý systém umělé inteligence však bude regulován AI Actem.

Regulace je postavena na klasifikaci systémů AI dle rizik.

Co AI Act přinese?

Co se týče systémů umělé inteligence s nepřijatelným rizikem (červené výše), bude zakázáno uvádění na trh i uvádění do provozu.

Co se týče systémů umělé inteligence s vysokým rizikem (oranžové výše), uplatní se celá řada konkrétních povinností dopadajících na výrobce, dovozce a distributory, ale i na provozovatele systémů, které spadají do kategorie vysokého rizika.

Mezi tyto povinnosti patří například:

• transparentnost (systém musí být navržený a vyvíjený tak, aby byl provoz dostatečně transparentní, tedy konec AI jakožto tzv. black boxu),
• lidský dohled (vysoce rizikové systémy AI musí být navrženy tak, aby v průběhu jejich požívání umožňovaly dohled člověka, mj. v podobě tlačítka “stop” pro zastavení systému AI),
• požadavky na data sety určené ke trénování umělé inteligence (relevantní, reprezentativní, v maximální míře bezchybné a kompletní),
• logování (systémy musí technicky umožňovat logování po dobu jejich životnosti, minimálně dobu používání systému, použitou databázi, vstupní data a identifikaci osob zapojených do verifikace výsledků),
• technické dokumentace (prokazující soulad systému s požadavky EU práva v rozsahu popsaném v příloze č. 4 AI Actu - např. obecný popis systému, podrobný popis prvků),
• registrace AI systému do EU databáze a
• systém řízení rizik (analýza, odhad a vyhodnocení rizik při používání AI k určenému účelu a přijetí vhodných opatření k řízení rizik).

Co se týče ostatních systémů, které nespadají do výše uvedené oranžové a červené kategorie, avšak interagují s fyzickými osobami (jako například chatboti), uplatní se několik vybraných povinností souvisejících s transparentností umělé inteligence.

Například:

• chatboti či callcentra na bázi umělé inteligence budou muset informovat koncové uživatele o tom, že komunikují s umělou inteligencí;
• online obsah generovaný umělou inteligencí bude třeba označovat jako generovaný umělou inteligencí;
• deep fakes budou muset odhalit, že se jedná o synteticky manipulovaný obsah;
• systémy na detekci emocí či biometrickou kategorizaci budou muset informovat koncové uživatele.

Co to znamená pro podnikatele užívající umělou inteligenci a jaké kroky je vhodné učinit?

AI Act přinese celou řadu nových povinností a je vhodné se na tyto povinnosti připravit. Současně je vhodné vést v patrnosti, že vedle AI Actu se uplatní celá řada dalších právních předpisů, které na užití umělé inteligence dopadají – jako například GDPR a ochrana osobních údajů, NIS2 a kybernetická bezpečnost, ochrana duševního vlastnictví či antidiskriminační zákon a zákaz diskriminace.

Jako první kroky je vhodné:

• Zmapovat užití umělé inteligence a zhodnotit, zda užití může spadat do rizikové kategorie
• Zmapovat užití chatbotů, callcentra či jiné umělé inteligence komunikující s koncovými zákazníky
• Zrevidovat smlouvy s poskytovateli umělé inteligence
• Připravit implementaci povinností dle AI Actu a dalších právních předpisů jako je např. GDPR či NIS2
• Zhodnotit zpracování osobních údajů v souvislosti s umělou inteligencí
• Zhodnotit stav interních procesů a směrnic
• Informovat a proškolit zaměstnance užívající umělou inteligenci

Jaká je současná situace?

Již v současné době celá řada podnikatelů využívá na denní bázi umělou inteligenci. Pro zajištění souladu s výše popsanými právními předpisy je vhodné již dnes implementovat například některá z následujících opatření (dle konkrétního případu užití umělé inteligence):

• Implementace směrnice užívání umělé inteligence upravující zejména zpracování osobních údajů, kyberbezpečnost a ochranu duševního vlastnictví
• Implementace směrnice ohledně užívání umělé inteligence při kontaktu se zákazníky
• Implementace směrnice ohledně užívání umělé inteligence v produktech společnosti
• Úprava vhodných klauzulí v rámci smluv s vývojáři
• Revize smluv s poskytovateli
• Úprava interních politik zpracování osobních údajů

Kdy začne AI Act platit?

Různé povinnosti budou mít různě odstupňovanou účinnost. Některé povinnosti začnou platit již 6 měsíců po vstupu v platnost (zejména zákaz systémů AI s nepřijatelným rizikem), některé povinnosti začnou platit až 36 měsíců po vstupu v platnost (zejména povinností vztahujících se na vysoce rizikové systémy).

A co hrozí za porušení AI Actu?

Za nedodržování pravidel budou dotčeným osobám hrozit pokuty v řádech jednotek procent celosvětového obratu za předcházející účetní období (1–7 % podle závažnosti porušené povinnosti).

Pokud byste měli jakékoliv dotazy, neváhejte se na nás kdykoliv obrátit. Vaše dotazy rádi zodpovíme.