Koliko lahko zaupamo umetni inteligenci?

Kaj se dogaja?

Sistemi umetne inteligence prepoznavajo vzorce v podatkih in ustvarjajo napovedi ali besedilo.

Nekateri sistemi AI priporočajo posnetke ali prepoznavajo vzorce na slikah; drugi odgovarjajo na vprašanja in pišejo besedila. Rezultat je lahko urejen in samozavesten, vendar način nastanka ne zagotavlja pravilnosti. Sistem se uči iz podatkov, ki so lahko nepopolni, zastareli ali neprimerni za novo okoliščino. Dober odgovor v znanem primeru zato še ne pomeni dobrega delovanja povsod.

Kako in zakaj?

Kakovost je odvisna od podatkov, naloge in preverjanja. Napake in pristranskost se lahko skrijejo za tekočim jezikom.

Predstavljajmo si orodje, ki dobi vprašanje o znanstveni raziskavi. Lahko napiše tekočo razlago, a zamenja datume ali navede neobstoječ vir. Pri sistemih, ki priporočajo ali odločajo, lahko napake bolj prizadenejo nekatere skupine, če podatki ljudi ne predstavljajo enakovredno. NIST poudarja, da je tveganje odvisno od uporabe, podatkov in sprememb skozi čas.

Kako to vemo?

NIST priporoča merjenje delovanja v dejanskem kontekstu in jasno izražanje negotovosti.

Zanesljivost preverjamo z nalogami, podobnimi resnični uporabi, ne le z enim prepričljivim primerom. Meriti je treba vrste napak, spremljati, komu najbolj škodijo, dokumentirati omejitve in preverjanje ponoviti ob spremembi razmer. Kadar je mogoče, trditev primerjajmo z izvirnim dokumentom ali strokovno ustanovo. Jasno izražena negotovost je znak odgovorne uporabe, ne slabosti.

Zakaj je to pomembno?

Pri zdravju, šoli ali pomembnih odločitvah je treba trditve preveriti v zanesljivih virih.

AI lahko prihrani čas pri učenju, prevajanju ali pripravi osnutka. Vendar odločitev o zdravju, denarju ali pravicah drugih ne sme temeljiti samo na njenem odgovoru. V šoli se je koristno vprašati: od kod trditev, ali lahko odprem vir in ali obstaja druga razlaga? Takšna vprašanja krepijo digitalno pismenost, tudi ko se orodja spreminjajo.

Od kod prihajajo napake modela?

Sistem umetne inteligence se uči vzorcev iz podatkov, vendar statistični vzorec ni isto kot preverjeno dejstvo. Model, ki piše tekoče, lahko samozavestno poda napačen odgovor, izmisli vir ali spregleda pomemben pogoj vprašanja. Napake nastanejo tudi, kadar so učni podatki pristranski, zastareli ali ne predstavljajo ljudi in razmer, v katerih se sistem uporablja. Dober rezultat na enem preizkusu zato ne zagotavlja zanesljivosti v novem okolju.

Preverjanje je odvisno od posledic napake. Za zamisel o naslovu zadošča uredniški pregled, zdravstveni, finančni ali pravni nasvet pa zahteva verodostojen vir in strokovnjaka. Pri znanstvenem vprašanju je koristno odpreti izvirno raziskavo ali podatke, preveriti datum, vzorec in metodo ter pogledati, ali neodvisne skupine ugotavljajo podobno. Ni dovolj, da odgovor vsebuje povezavo: voditi mora prav do dokaza za konkretno trditev.

NIST zanesljivost UI opisuje kot skupek različnih lastnosti: veljavnosti, varnosti, odpornosti, razložljivosti in pravičnosti ne moremo izmeriti z eno številko. Sistem je lahko v povprečju natančen, a za določeno skupino pogosteje napačen; lahko deluje dobro, dokler se razmere ne spremenijo. Razumna uporaba zato vključuje jasno nalogo, preizkuse pri resničnih opravilih, spremljanje napak in možnost človeškega popravka.

Še ena pomembna podrobnost

Praktičen postopek je razdeliti odgovor na preverljive trditve. Če UI pravi, da je poskus izvedel neki inštitut, preverimo naslov dela, avtorje, datum in dejanski izid, ne le splošnega vtisa. Nato poiščemo omejitve raziskave: velikost vzorca, ali gre za živali ali ljudi in ali obstaja neodvisna potrditev. Posebej ločimo povzetek od dobesednega navedka, saj lahko model spremeni besede in s tem pomen. Če vira ne najdemo, trditve ne objavimo kot dejstva. Tak postopek ni počasnost zaradi počasnosti, temveč osnovni uredniški pregled.

Koristno je zapisati tudi naloge, pri katerih sistem odpove. Zbirka napak pokaže, ali težava prizadene določeno temo, jezik ali skupino uporabnikov. Iste naloge lahko ponovimo pri novi različici in preverimo, ali je popravek res pomagal.