Umělá inteligence mění pravidla hry. Banky spoléhají na algoritmy, ale co to znamená pro naše práva, spravedlnost a ochranu osobních údajů?
Lukáš Pachl/6. 5. 2025
Z obsahu:
- AI zásadně mění způsob hodnocení úvěruschopnosti
- GDPR a AI Act chrání práva klientů
- Diskriminace může vznikat i neúmyslně
Systémy umělé inteligence (AI) budou radikálně měnit způsoby, jakým banky a finanční instituce budou posuzovat schopnost klientů splácet úvěry. Zatímco tradiční modely spoléhají na historii splátek a majetkové poměry, moderní algoritmy analyzují chování na sociálních sítích, pohyb kurzoru po obrazovce nebo i to, jak uživatelé vyplňují formuláře. Tato transformace způsobu hodnocení klientů může přinést jeho vyšší přesnost, ale přináší sebou i nová právní a etické problémy a dilemata.
Banky a finanční instituce v Evropě již dnes využívají umělou inteligenci (AI) v široké škále oblastí, přičemž hlavními cíli jsou zvýšení efektivity, automatizace procesů, zlepšení zákaznické zkušenosti a posílení bezpečnosti.
V posledních letech se AI stala klíčovým tématem strategických diskusí nejen v bankovnictví a její význam ve všech sférách života roste velkou rychlostí.
Možnosti etického využití umělé inteligence v bankovnictví jsou v dnešní době regulovány především Nařízením GDPR[1]a od srpna 2026 bude do této oblasti dopadat také Evropský akt o umělé inteligenci – AI Act[2]. Problematice se rovněž věnují soudy v členských státech a také Soudní dvůr Evropské unie.
Nařízení GDPR
Nařízení GDPR již od roku 2018 garantuje občanům v Evropské unii právo nebýt předmětem rozhodnutí založeného výhradně na automatizovaném zpracování. Článek 22 Nařízení GDPR zakazuje, aby jednotlivci podléhali pouze automatizovanému zpracování a úvěrovému profilování, pokud taková činnost má právní účinky na jednotlivce nebo je významně ovlivňuje. Výjimky z tohoto zákazu zahrnují případy, kdy
a) jednotlivec výslovně souhlasí,
b) je automatizovaný proces hodnocení rizika nezbytný k uzavření nebo plnění smlouvy např. při schvalování úvěru v online bankovnictví nebo při okamžitém stanovení pojistného u digitálních pojišťovacích produktů,
c) je povoleno právním řádem členského státu a jsou provedeny záruky zajišťující, že se neshromažďuje více údajů, než je nutné, a že objem shromážděných údajů je úměrný účelu banky (např. prevence praní špinavých peněz, boj proti daňovým únikům, automatizované přiznávání dávek sociálního zabezpečení).
Významný precedens vytvořil Soudní dvůr EU v případu SCHUFA (C-634/21), kde potvrdil, že i částečně automatizované rozhodování (např. kombinace algoritmického skóre a lidského posouzení) spadá pod přísné podmínky článku 22 GDPR. Banky musí být na požádání schopny vysvětlit, jak konkrétní údaj ovlivnil výsledek – například proč zvýšení měsíčního příjmu o 10 % nevedlo ke zlepšení bonity.
V rozsudku ve věci C-634/23 ze dne 7. prosince 2023 Soudní dvůr Evropské unie konstatuje, že banky nesmí najímat externí poskytovatele úvěrového ratingu, kteří používají plně automatizované procesy bez lidského dohledu.
V roce 2024 se německý dozorový úřad pro ochranu osobních údajů (Berlin Data Protection Authority) zabýval případem velké německé banky, která využívala automatizovaný systém pro schvalování žádostí o kreditní kartu. Tento systém nebyl schopen srozumitelně vysvětlit, proč byly některé žádosti zamítnuty. Úřad konstatoval, že zákazníci mají podle GDPR právo na vysvětlení důvodů zamítnutí a na pochopení logiky automatizovaného rozhodnutí.
Německá banka tady používala AI model, který automaticky zamítal žádosti klientů pracujících v kreativních odvětvích (umělci, novináři). Soudy v této věci konstatovaly, že použití proxy proměnných (profese jako indikátor příjmové volatility) je diskriminační a porušuje článek 22 GDPR. Banky musí auditovat modely na přítomnost biasu[3] a zajistit, aby rozhodnutí zohledňovala individuální okolnosti. Banky tak musejí provádět povinné audity AI modelů každých 6 měsíců a je zakázáno využívání nepřímých diskriminačních kritérií (např. PSČ, profese).
Rozsudek Dun & Bradstreet Austria
Zcela zásadní význam v této oblasti má pak rozsudek Soudního dvora Evropské unie ve věci C-203/22 Dun & Bradstreet Austria ze dne 27. února 2025. Rozsudek upřesňuje práva subjektů údajů na informace při automatizovaném rozhodování, zejména v oblasti úvěrového scoringu. Rakouská spotřebitelka byla odmítnuta mobilním operátorem kvůli nízkému úvěrovému skóre, které bylo stanoveno automatizovaně prostřednictvím společnosti Dun & Bradstreet Austria. Spotřebitelka požadovala vysvětlení, jak její skóre vzniklo. Dun & Bradstreet odmítl poskytnout detailní informace o způsobu úvěrového hodnocení s odkazem na ochranu obchodního tajemství.
Rakouské soudy případ postoupily SDEU k výkladu článku 15(1)(h) GDPR („právo na smysluplné informace o logice rozhodování“). Evropský soudní dvůr uzavřel, že subjekt údajů má právo získat konkrétní, transparentní a srozumitelnou informaci o tom, jak byla jeho osobní data využita při automatizovaném rozhodování, včetně úvěrového skóre. Nestačí obecný popis algoritmu ani sdělení matematického vzorce. Vysvětlení musí umožnit subjektu údajů pochopit, které konkrétní osobní údaje byly použity a jak ovlivnily výsledek. Je vhodné informovat, jak by změna určitého údaje vedla k jinému výsledku (tzv. „kontrafaktuální vysvětlení“). Ochrana obchodního tajemství nemůže být důvodem k neposkytnutí smysluplné informace o logice rozhodování. Správce údajů musí najít rovnováhu mezi ochranou know-how a právem subjektu údajů na vysvětlení. Informace musí být vztažena ke konkrétnímu případu, nikoli pouze obecná. Nestačí poskytnout pouze obecné principy nebo popis fungování systému jako celku.
Evropský akt o umělé inteligenci
Evropská unie v současné době zavádí přísné regulace využíváni AI (např. Evropský akt o umělé inteligenci) které rozdělují využívání AI podle míry rizika a vyžadují, aby klíčová rozhodnutí zůstala pod lidským dohledem.
Evropský akt o umělé inteligenci (AI Act) představuje první komplexní právní rámec pro regulaci AI systémů na světě. Jeho základním cílem je zajistit bezpečné, transparentní a etické využívání AI napříč všemi sektory. Zavádí stupňovitý systém regulačních požadavků pro různé aplikace umělé inteligence na základě jejich úrovně rizika. Zatímco mnoho systémů umělé inteligence zůstane v podstatě neregulovaných, systémy považované za vysoce rizikové budou podléhat přísným zárukám – a ty, které budou považovány za odporující evropským hodnotám, budou z velké části zakázány. Finanční služby – zejména úvěrové a scoringové modely – patří mezi oblasti s nejvyšší mírou regulace.
AI Act rozděluje systémy AI do čtyř kategorií podle míry rizika:
Nepřijatelné riziko: Systémy, které jsou v EU zcela zakázány (např. sociální scoring, manipulativní a podprahové techniky, některé formy biometrické identifikace).
Vysoce rizikové systémy: Povolené, ale podléhají přísným požadavkům na transparentnost, lidský dohled, správnost, auditovatelnost a prevenci diskriminace. Patří sem například AI pro hodnocení úvěruschopnosti, zdravotnictví, vzdělávání nebo zaměstnávání.
Omezené riziko: Například chatboti nebo doporučovací systémy. Platí povinnost informovat uživatele, že komunikují s AI.
Minimální riziko: Například spamové filtry nebo AI ve videohrách. Nejsou stanoveny žádné zvláštní povinnosti.
AI Act také výslovně zakazuje osm typů využití AI, která jsou v rozporu s hodnotami EU a základními právy (například manipulace, sledování, diskriminační profilování apod.).
Vysoce rizikové systémy, kam spadá také využití AI v oblasti prověřování úvěruschopnosti musí splňovat požadavky na transparentnost, dokumentaci, lidský dohled a možnost zásahu člověka do rozhodnutí AI. Uživatelé mají právo na vysvětlení rozhodnutí AI a možnost jej napadnout. Porušení pravidel může vést k vysokým pokutám až do výše 35 milionů eur nebo 7 % celosvětového ročního obratu.
Umělá inteligence určená k prověřování úvěruschopnosti bude muset být schopna zajišťovat reprezentativnost tréninkových dat (např. vyvážené zastoupení věkových skupin), implementovat mechanismy pro detekci diskriminačních vzorců a bude muset umožnit lidský dohled s pravomocí rozhodnutí zvrátit.
Studie Evropského orgánu pro bankovnictví (EBA)[4] z minulých let ukazují rychlý nárůst aplikace AI v bankovním sektoru, posun od experimentálních projektů k plné integraci do bankovních procesů, ale také rostoucí důraz na řízení rizik a ochranu spotřebitele. EBA však také soustavně upozorňuje na existenci diskriminačních vzorců v AI modelech, zejména při hodnocení úvěruschopnosti klientů. Banky jsou vyzývány k pravidelným auditům a transparentnímu reportingu.
Zajímavý je taky případ finské Svea Ekonomi (2024) jejíž skóringový model byl shledán jako diskriminační. Společnost používala statistický model pro scoring, který automaticky zohledňoval faktory jako věk, pohlaví, mateřský jazyk a místo bydliště žadatele. Tyto proměnné vedly k tomu, že například muži, osoby žijící na venkově nebo žadatelé s finštinou jako mateřským jazykem dostávali nižší skóre – a tedy i vyšší pravděpodobnost zamítnutí úvěru – bez ohledu na jejich skutečnou finanční situaci či příjmy. Případ ukazuje, že i zdánlivě neutrální statistické modely mohou vést k diskriminaci, pokud zohledňují proměnné úzce spojené s chráněnými charakteristikami, a že věřitelé musí vždy individuálně posuzovat finanční situaci žadatele, nikoli jen jeho příslušnost ke statistické skupině.
V roce 2024 německá spotřebitelská organizace (vzbv) testovala komerční scoringový model[5]. Zjistila, že žadatelé s turecky znějícími jmény měli o 23 % nižší skóre při stejné finanční situaci jako skupina s německými jmény. Příčinou bylo, že algoritmus AI byl trénovaný na datech z regionů s vysokou koncentrací přistěhovalců.
Ukazuje se, že diskriminace v AI modelech není většinou důsledkem zlého úmyslu, ale systémových selhání v návrhu algoritmů a datech. Zatímco AI Act a GDPR vytvářejí právní rámec, klíčem zůstává především aktivní role bank a finančních institucí: investice do auditů, transparentnost vůči klientům a sběr inkluzivních dat. Jak ukazuje finský případ, i zdánlivě neutrální parametry (věk, bydliště) mohou vést k nesouměřitelným dopadům – regulátoři i technologické firmy proto musí spolupracovat na odstranění těchto „neviditelných“ bariér.
Evropské regulace se snaží vytvářet bezpečnostní zábrany, ale zároveň zpomaluje implementaci nových technologií. Klíčem do budoucna bude nalezení kompromisu mezi právem na vysvětlení a obchodními tajemstvími, mezi algoritmickou efektivitou a lidskou kontrolou. Správně nastavené AI systémy mohou být výhrou pro všechny – banky sníží riziko, klienti získají přístup ke kapitálu a ekonomika posílí nové podnikatelské příležitosti.
Autor: Lukáš Pachl
- Nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a volném pohybu těchto údajů (obecné nařízení o ochraně osobních údajů) ↑
- Nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024, kterým se stanoví harmonizační pravidla pro umělou inteligenci (akt o umělé inteligenci) ↑
- Bias (česky předpojatost, zkreslení) je v kontextu umělé inteligence a algoritmů jev, kdy systém vytváří rozhodnutí nebo předpovědi, které jsou systematicky nespravedlivé vůči určité skupině lidí nebo situacím. Bias vzniká nejčastěji kvůli nevyváženým nebo chybně připraveným tréninkovým datům, která odrážejí lidské předsudky, nebo kvůli samotné konstrukci algoritmu. V praxi to může znamenat například to, že AI model pro schvalování úvěrů častěji zamítá žádosti určité etnické skupiny, protože byl trénován na historických datech, kde tato skupina byla znevýhodněna. Bias v AI je považován za závažný problém, protože může vést k diskriminaci a nespravedlivým rozhodnutím. ↑
- www.funcas.es, EBA Risk Assessment Report (2022) ↑
- https://www.euractiv.com/section/tech/news/germany-posed-to-regulate-automated-credit-scoring/ ↑
