Družbena omrežja kvarijo umetno inteligenco. "Smeti noter-smeti ven"

Umetna inteligenca, ki se uči iz priljubljenih, a nekakovostnih vsebin, preskakuje korake v razmišljanju, postane manj natančna, razvija negativne lastnosti in pogosto ignorira logiko, kaže najnovejša raziskava.

Kakovost podatkov je temelj uspeha

V znanosti o podatkih "dobri podatki" običajno pomenijo tiste, ki so slovnično pravilni in razumljivi, je za časopis Nature pojasnil Zhangyang Wang z univerze v Teksasu v Austinu, ki raziskuje generativno UI.

A ti kriteriji ne zadoščajo, saj ne odražajo dejanske vsebinske kakovosti.

Wang in sodelavci so raziskovali, kako nizko kakovostne vsebine (na primer kratke in všečkane objave z družbenih omrežij) vplivajo na sposobnost velikih jezikovnih modelov (LLM), da sklepajo, odgovarjajo etično, razumejo daljše vsebine in izražajo osebnostne lastnosti.

Svoje ugotovitve so objavili na platformi arXiv, kjer njihov članek čaka recenzijo neodvisnih strokovnjakov.

"Če umetni inteligenci daš smeti, bo smeti tudi vrnila"

Raziskovalci opozarjajo, da modeli, izpostavljeni slabi vsebini, pogosto preskakujejo razumske korake ali jih sploh ne uporabijo, kar vodi do napačnih odgovorov.

"Že dolgo pred velikimi jezikovnimi modeli je veljalo pravilo: če umetni inteligenci daš smeti, bo smeti tudi vrnila," je za Nature komentirala Mehwish Nasim, strokovnjakinja za umetno inteligenco z univerze Zahodne Avstralije, ki ni sodelovala v raziskavi.

Narcizem in psihopatske težnje

Wangova ekipa je za treniranje modelov Meta Llama 3 in treh različic Alibabinega modela Qwen uporabila milijon javnih objav s platforme X (nekdanji Twitter).

Qwen je zasnovan kot model za razmišljanje, medtem ko je Llama bolj inštrukcijski model z manj izraženim sklepanjem.

Rezultati so pokazali, da je Llama pred treniranjem izražala lastnosti, kot so vljudnost, ekstravertiranost, vestnost, odprtost – in nekaj narcizma.

Po treniranju na nekakovostnih podatkih so se pri njej začele kazati negativne lastnosti, med drugim tudi psihopatske težnje.

Pomen kakovostnega filtriranja

"Najpomembneje je, da za treniranje UI podatke pazljivo izbiramo, filtriramo in odstranimo nizkokakovostno ali senzacionalistično vsebino," poudarja Stan Karanasios, strokovnjak za UI in družbena omrežja z univerze Queensland, ki prav tako ni sodeloval v raziskavi.

Poskusi izboljšav s prilagajanjem navodil (prompt engineering) so le deloma pomagali – modeli so še vedno preskakovali korake pri sklepanju.

Nasim dodaja, da so potrebne obsežnejše raziskave, ki bi vključevale različne velikosti modelov, tudi ChatGPT.

Prihodnje študije bi lahko pokazale, ali je mogoče negativne učinke popraviti, če modele izpostavimo dovolj veliki količini kakovostnih podatkov.