Žumpa

... neúmyselne, ako sa to stalo v Austrálii...

Příběh začíná v roce 2016, kdy australská vláda zavedla automatizovaný systém známý jako Robodebt, který měl odhalovat údajně neoprávněné dluhy příjemců sociálních dávek. Tento nástroj, který křížově porovnával údaje ministerstva sociálních služeb s údaji finančního úřadu, nakonec automaticky generoval dopisy s dluhy občanům, kteří v mnoha případech nic nedlužili.

Z původně úsporné strategie se vyklubala jedna z nejtragičtějších administrativních chyb v zemi. Systém měl zásadní nedostatky, jako například používání zjednodušených vzorců, které předpokládaly konstantní příjmy v průběhu celého roku, aniž by zohledňovaly oprávněné změny v pracovních podmínkách uživatelů, což vedlo k chybným výpočtům.

V důsledku toho tisíce lidí, z nichž mnozí se nacházeli v nejisté ekonomické situaci, obdržely zastrašující oznámení požadující neoprávněné platby. Psychický tlak vyvolaný těmito neexistujícími dluhy měl hrozné následky, které vedly k úzkostným krizím, depresím… dokonce i k případům sebevražd.

V roce 2020 vláda uznala svou chybu, program zrušila a slíbila kompenzaci, ale škody již byly napáchány. Zatímco v těchto případech lze vinu připsat lidem, kteří špatně implementovali technologii, Goedecke nastoluje problém automatizace bez lidského dohledu.

Ale aj úmyselne, ak sa šialený programátor posnaží a vloží zničujúce myšlienky do odporúčaní AI.

Nuž, to už tak chodí. Myslím, že drvivá väčšina zla, ktoré sa udialo v ľudstve, bola spôsobená dobrými úmyslami.

A nemyslím si, že to skončilo.

Predpokladám, že stále znovu a znovu budú prichádzať snahy o dobro ľudstva, ktoré sa opäť a opäť zvrhnú v nešťastie jednotlivcov.

Východisko?

Ja vidím iba jediné: Múdra výchova ľudí, aby sa k takým zlyhaniam systému dokázali postaviť s odvahou a múdrosťou, aby (sme) neprepadli zúfalstvu a skratovému jednaniu.