Článek
Tři sta dvacet čtyři. To je skóre, které podle webu The Guardian dostala Mary Louisová v březnu 2021 od AI nástroje firmy SafeRent prověřující nájemníky, když žádala o byt na východním předměstí Massachusetts. A bylo to málo.
Ačkoliv Američanka pracující jako strážná měla nízké kreditní skóre a určité dluhy na kreditních kartách, dostala dobré reference od svého pronajímatele a platila nájem včas.
Navíc jí správcovská společnost řekla, že by neměl být žádný problém a její syn s vysokým kreditním skóre měl sloužit jako pojistka.
Startup Spines chce urychlit vydávání knih. Využije umělou inteligenci
Ani to jí ale nestačilo, aby bydlení dostala. Počítačový program jí totiž po dvou měsících žádost zamítl, protože neměla minimální skóre 443 bodů. Žádné další vysvětlení ani možnost odvolat se proti tomuto rozhodnutí společnost neuvedla.
„Mary, s politováním vám oznamujeme, že služba třetí strany, kterou využíváme k prověřování všech potenciálních nájemníků, Vám odmítla nájemní smlouvu,“ stálo v e-mailu. „Bohužel skóre služby SafeRent bylo nižší, než je přípustné podle našich standardů pro nájem,“ dodala společnost.
Louisové tedy nezbylo nic jiného, než si pronajmout draží byt od jiné společnosti bez tohoto typu prověřování.
Přenést vinu na software je jednodušší
Později se však dozvěděla, že její zkušenost se službou SafeRent nebyla vůbec ojedinělá. Byla jednou ze skupiny více než 400 černošských a hispánských nájemníků ve státě Massachusetts využívajících poukázky na bydlení a příspěvky od státu. Všem software žádost kvůli nízkému skóre zamítl.
„Systémy pro prověřování nájemníků, jako je SafeRent, se často používají jako způsob, jak se vyhnout přímému kontaktu s žadateli a přenést vinu za odmítnutí na počítačový systém,“ řekl jeden z právníků zastupující Louisovou, Todd Kaplan.
Žena se během roku 2022 rozhodla společnost zažalovat podle zákona o spravedlivém bydlení. Společně s žalobkyní Monicou Douglasovou tvrdila, že je SafeRent diskriminuje a že jejich algoritmus neúměrně snižuje hodnocení černošských a hispánských nájemníků využívajících poukázky na bydlení.
„Software nepřesně zvažoval irelevantní informace o tom, zda bych byla dobrou nájemnicí – úvěrové skóre, dluhy nesouvisející s bydlením. Na druhou stranu vůbec nezohledňoval, že jsem využívala poukazy na bydlení nebo že jsem platila včas. Nemohl vědět, jaká ve skutečnosti jsem,“ komentovala Louisová.
Po více než dvou letech dosáhla svého
Nakonec se po více než dvou letech společnost SafeRent domluvila s ženou na vyrovnání. Kromě zaplacení částky 2,3 milionu dolarů (cca 55 milionů korun - pro ni a Douglasovou) společnost souhlasila s tím, že přestane používat systém bodového hodnocení nebo vydávat jakákoliv doporučení vztahující se na potenciální nájemníky.
Dále pokud bude chtít společnost přijít s novým skórovacím systémem, je povinna jej nechat nezávisle ověřit třetí stranou, která se zabývá spravedlivým bydlením.
Ačkoliv SafeRent právně nepřiznala žádné pochybení, je velmi vzácné, aby technologická společnost v rámci urovnání přistoupila na změny ve svých základních produktech.
„Jedná se o přelomový případ. Má potenciál poskytnout plán, jak na tyto případy nahlížet, a podpořit další výzvy,“ dále komentoval Kaplan.
Louisová tak díky svému zápalu pro věc ukázala, že se lidé proti takovému jednání mohou bránit. Navíc ochránila další nájemníky před stejným osudem.
Nemocnice chtějí využívat AI ke snížení návštěv pacientů s respiračními onemocněními
