Koliko možemo verovati veštačkoj inteligenciji?

Šta se dešava?

Sistemi veštačke inteligencije prepoznaju obrasce iz podataka i stvaraju predviđanja ili tekst.

Neki AI sistemi preporučuju video-snimke ili prepoznaju obrasce na slikama; drugi odgovaraju na pitanja i pišu tekst. Rezultat može izgledati uredno i samouvereno, ali način na koji je nastao ne garantuje tačnost. Sistem uči iz podataka koji mogu biti nepotpuni, zastareli ili neprikladni za novu situaciju. Zato dobar odgovor na poznatom primeru ne znači da će jednako dobro raditi svuda.

Kako i zašto?

Kvalitet izlaza zavisi od podataka, zadatka i provere. Greške i pristrasnosti mogu ostati skrivene iza tečnog jezika.

Zamislimo alat za pisanje koji dobije pitanje o naučnom radu. On može sastaviti tečno objašnjenje, a ipak pomešati datume ili navesti nepostojeći izvor. Kod sistema koji odlučuju ili preporučuju, greške mogu pogoditi određene grupe više nego druge ako podaci ne predstavljaju sve ljude podjednako. NIST naglašava da se rizik menja sa kontekstom upotrebe, podacima i promenama koje nastaju tokom vremena.

Kako ovo znamo?

NIST preporučuje merenje performansi u stvarnom kontekstu i otvoreno iskazivanje neizvesnosti.

Pouzdanost se proverava zadacima koji liče na stvarnu upotrebu, a ne samo jednim upečatljivim primerom. Treba meriti i tipove grešaka, posmatrati kome one najviše štete, dokumentovati ograničenja i ponavljati proveru kada se uslovi promene. Kada je moguće, tvrdnju proverite u originalnom dokumentu ili kod stručne institucije. Jasno priznanje neizvesnosti znak je odgovorne upotrebe, a ne slabosti.

Zašto je ovo važno?

Kod zdravlja, škole ili važnih odluka rezultate treba proveriti u pouzdanim izvorima.

AI može uštedeti vreme pri učenju, prevođenju ili stvaranju nacrta teksta. Ipak, odluka o zdravlju, novcu ili nečijim pravima ne bi smela počivati samo na njenom odgovoru. Za školu je korisno pitati: odakle potiče tvrdnja, mogu li otvoriti izvor i da li postoji drugo objašnjenje? Takva pitanja jačaju digitalnu pismenost čak i kada se alati menjaju.

Odakle dolaze greške modela?

Sistem veštačke inteligencije uči obrasce iz podataka, ali statistički obrazac nije isto što i proverena činjenica. Model koji tečno piše može samouvereno sastaviti pogrešan odgovor, izmisliti izvor ili propustiti važan uslov pitanja. Greške nastaju i ako su podaci za obuku pristrasni, zastareli ili ne predstavljaju ljude i situacije u kojima se sistem koristi. Zato dobar rezultat na jednom testu ne garantuje pouzdanost u novom kontekstu.

Provera zavisi od posledica greške. Za ideju za naslov dovoljna je urednička kontrola, ali zdravstveni, finansijski ili pravni savet traži autoritativan izvor i stručnjaka. Kod naučnog pitanja korisno je otvoriti originalni rad ili podatke, proveriti datum, uzorak i metod i videti da li nezavisne grupe nalaze isto. Nije dovoljno da odgovor navodi link: veza mora voditi baš ka tvrdnji koju podržava.

NIST opisuje pouzdanost AI kao skup različitih osobina: validnost, bezbednost, otpornost, objašnjivost i pravičnost ne mere se jednim brojem. Sistem može biti tačan u proseku, a nepravedno grešiti za određenu grupu; može davati dobre odgovore dok se uslovi ne promene. Praktičan odnos prema AI zato podrazumeva jasnu namenu, testiranje na stvarnim zadacima, praćenje grešaka i mogućnost da čovek preispita i ispravi odluku.

Još jedan važan detalj

Jedan praktičan postupak je da se tvrdnje razbiju na proverljive delove. Ako AI kaže da je određeni eksperiment izveo neki institut, proveravamo naziv rada, autore, datum i stvarni rezultat, a ne samo opšti utisak o odgovoru. Zatim tražimo ograničenja studije: veličinu uzorka, da li je reč o životinjama ili ljudima i da li postoji nezavisna potvrda. Posebno je važno razlikovati sažetak od direktnog citata, jer model može promeniti formulaciju i time smisao. Ako se izvor ne može pronaći, tvrdnju ne objavljujemo kao činjenicu. Takav proces nije sporost radi sporosti, već osnovna urednička kontrola.

Korisno je zabeležiti i šta sistem nije uspeo da uradi. Lista primera u kojima greši otkriva da li problem pogađa određenu temu, jezik ili grupu korisnika. Takav zapis omogućava da se naredna verzija proveri na istim zadacima i vidi da li je popravka zaista pomogla.