»Umetna inteligenca lahko vodi do izumrtja, opozarjajo strokovnjaki,« je 30. maja poročala večina svetovnih medijev. Tega dne je namreč Center za varnost umetne inteligence objavil javno pismo, ki so ga med drugimi podpisali tudi številni strokovnjaki_e in znanstveniki_ce, ki se ukvarjajo z umetno inteligenco. Pismo je imelo eno zelo jasno sporočilo: tveganje človeškega izumrtja zaradi umetne inteligence bi morali jemati tako resno kot pandemije ali nuklearno vojno.
Pismo Centra za varnost UI je morda najbolj odmeven, zagotovo pa ne prvi takšen poziv k previdnosti pri razvijanju tehnologih umetne inteligence. Ti so se začeli množiti predvsem po izidu ChatGPT-ja, ki je s svojimi zmožnostmi odgovarjanja na vprašanja in pisanja najrazličnejših tekstov, od programerske kode do esejev o Dostojevskem, marsikoga predvsem prestrašil. A morebitne zgode in nezgode razvoja umetne inteligence ljudi zaposlujejo že mnogo dlje. Morilski roboti in računalniški programi, ki se osvobodijo svojih algoritemskih okov ter zavladajo ljudem, so že desetletja ustaljeni motivi znanstvenofantastičnih zgodb in filmov. A je le malokdo je v svojih delih ta motiv obdelal tako pestro in razgibano, na nekaterih mestih lucidno, drugje pa povsem šaljivo, kot je to uspelo Stanisłavu Lemu.
Pisatelj znanstvene fantastike Stanisłav Lem, morda najbolj znan po romanu Solaris (1961; slo. prev. Tatjana Jamnik, 2010), na podlagi katerega je nastal tudi kultni istoimenski film Andreja Tarkovskega, se je rodil leta 1921 v (takrat poljskem) mestu Lvov. Lem je bil, kot v avtobiografskem romanu Wysoki Zamek (1966, Visoki dvorec) pravi sam, nenavaden otrok, ki je rad uničeval svoje igrače in si izmišljeval razvejane birokratske sisteme neobstoječih držav. Po končani srednji šoli se je, verjetno zaradi pričakovanja očeta, vpisal na medicinsko fakulteto, a je njegov študij prekinila druga svetovna vojna. Lvov so leta 1938 najprej okupirali sovjeti, tri leta za tem pa nacisti. Ti so mesto judovsko skupnost zaprli v geto; Lem se je s starši uspel izogniti življenju v getu in tako preživel vojno, so pa v njej umrli skoraj vsi njihovi sorodniki.
Po vojni se je družina preselila v Krakov. Tam je Lem nadaljeval s študijem medicine, a ga je pred končnim izpitom opustil in se posvetil izključno pisanju. Že med vojno je začel pisati roman Człowiek z Marsa (Človek z Marsa), ki je bil nato leta 1946 po delih objavljen v tedenski reviji. Leta 1948 je dokončal realistični roman Szpital Przemienienia (Bolnišnica preobrazbe), ki pa zaradi državne cenzure ni bil objavljen. Svoj prvi literarni uspeh je dosegel z romanom Astronauci (Astronavti), ki je bil objavljen leta 1951 in je hitro postal prodajna uspešnica. Za tem je sledilo še več znanstvenofantastičnih romanov in kratkih zgodb: leta 1954 je izdal prvih nekaj zgodb o vesoljskih pustolovščinah kozmonavta Tihega, ki so bile kasneje zbrane v knjigi Zvezdni dnevnik Ijona Tihega (1957; slo. prev. Janez Zor, 1968), leta 1955 roman o medgalaktičnem potovanju Magellanov oblak (slo. prev. France Vodnik, 1959), leta 1958 roman o vesoljskem brodolomu Eden (slo. prev. Janez Zor, 1982), leta 1961 je sledil Solaris, leta 1964 pa odličen roman Nepremagljiva o obisku tujega planeta (slo. prev. Samo Savnik, 1977). Leto za tem je izšla skorajda karnevalska zbirka kratkih zgodb o dveh robotskih »konstruktorjih« Kiberiada (slo. prev. Nikolaj Jež, 2014), malo kasneje, leta 1968, pa je v poljščini izšla tudi zbirka o še enem kozmonavtu, Zgodbe o pilotu Pirxu (slo. prev. Janez Zor, 1977).
Lem pa ni pisal samo znanstvene fantastike: poleg že omenjene avtobiografije in Bolnišnice preobrazbe je leta 1976 je izdal detektivski roman Seneni nahod (slo. prev. Nikolaj Jež, 1980). Še bolj pomembni pa so s tega vidika njegova eseji – med drugim zbrani v knjigi Summa Technologiae (1964) – izdal pa je tudi več zbirk recenzij izmišljenih knjig. Lem je večkrat izrazil svojo zgroženost nad po njegovem mnenju nizko literarno vrednostjo večine znanstvenofantastične proze in se sam raje identificiral kot futurolog. To je pogosto zmotilo njegove pisateljske kolege_ice – njegov spor z društvom ameriških piscev znanstvenofantastične literature, katerega častni član je bil, je eskaliral celo do te mere, da ga je Philip K. Dick kot komunističnega agenta prijavil agenciji FBI.
Na pisanje Stanisłava Lema sem se spomnil, ko sem kakšni dve leti nazaj prvič slišal za miselni eksperiment, ki naj bi ilustriral enega ključnih tveganj avtonomne umetne inteligence. Gre nekako takole. Zamislimo si, da imamo superinteligentni stroj, ki lahko avtonomno izpolnjuje zadane naloge. Recimo, da ravno potrebujemo veliko sponk za papir, zato ga prosimo, da jih kar najbolj učinkovito izdela čim več. Stroju ne povemo nič drugega, saj pričakujemo, da bo pri izpolnjevanju naloge upošteval neke za nas povsem razumne omejitve. A temu ni tako. Stroj zanima samo izdelovanje sponk, zato nima nobenih težav s škodovanjem ljudem ali uničenjem narave. Tako bi lahko na primer poskušal uničiti človeštvo, če bi predvidel, da ga bo to na neki točki začelo ovirati pri njegovi nalogi. Miselni eksperiment naj bi kazal na možnost, da lahko neka umetna inteligenca škoduje ljudem, tudi če zasleduje na videz povsem neproblematične cilje, kot je izdelovanje sponk.
Lem podoben scenarij predstavi v eni od zgodb iz Zvezdnega dnevnika Ijona Tihega. V njej Tihi – kot namiguje naslov, so zgodbe napisane kot dnevniški zapisi tega kozmonavta – poroča o svojem potovanju na planet Indiotov. Tihi ob svojem prihodu naleti na nenavaden prizor: planet je bolj ali manj zapuščen, je pa skoraj v celoti prekrit z lepimi liki. Po začetnem začudenju končno naleti na nekaj prebivalcev planeta. Te mu povedo precej nenavadno zgodbo. Še nedolgo nazaj so na planetu prebivali Indioti. Te so imeli jasno družbeno hierarhijo – poznali so tri kaste, voditelje, lastnike tovarn in delavce – kot vrhovno politično in družbeno načelo je bilo spoštovanje osebne avtonomije. A je bil njihov družbeni red močno skrhan. Lastniki tovarn so vedno bolj avtomatizirali svojo proizvodnjo, zaradi česar so delavci začeli izgubljati delo. Tako niso imeli več denarja, da bi kupovali izdelke, ki so se začeli kopičiti v skladiščih. Zaradi načela avtonomije voditelji lastnikom tovarn niso mogli preprosto reči, da naj ponovno zaposlijo delavce, hkrati pa je situacija postajala nevzdržna. Zato so se odločili, da izdelajo zelo inteligentni računalnik, ki jim bo povedal, kako lahko problem rešijo na način, da bodo ohranili družbeno hierarhijo in načelo avtonomije. Ko je bil izdelan, je računalnik nekaj časa razmišljal, nato pa začel graditi ogromno stavbo. Na dan njenega dokončanja so se Indioti zbrali pred njenimi vrati in ob odprtju navdušeno vdrli notri. Ko so ugotovili, da se nihče ne vrača ven in da na drugi strani iz stavbe prihajajo lepo oblikovani liki, narejeni iz trpežnega materiala, je bilo že prepozno.
Problem »neskladnosti« (ang. misalignment) ciljev umetne superinteligence s človeškimi cilji je ena od osrednjih skrbi strokovnjakov za varnost umetne inteligence v zadnjih letih, zato me je precej navdušilo, da lahko to idejo najdemo že pri Lemu. Njegova dela so se mi zato naenkrat pokazala kot (vsaj zame) še neizčrpana zakladnica zanimivih utrinkov o naravi umetne inteligence, človeške zavesti in možnosti našega sobivanja. Kaj vse nam lahko Stanisłav Lem še pove o umetni inteligenci?
Ena od osrednjih tem Lemove proze v splošnem je soočanje z nečem, kar je ljudem povsem tuje in nerazumljivo. Tako ali drugače jo obdelujejo vsi njegovi najboljši romani. Gospodov glas pripoveduje o skupini znanstvenikov, ki poskuša razvozlati pomen nerazumljivega signala iz vesolja; na Solarisu, planetu iz istoimenskega romana, ljudje poskušajo komunicirati z vesoljsko obliko inteligence; v Nepremagljivi se soočijo z robotskimi »insekti«, ki so po izumrtju svojih izumiteljev nadaljevali z lastno evolucijo. V nekaterih tekstih se Lem eksplicitno naveže tudi na naše omejitve pri dojemanju umetno ustvarjene inteligence. Takšen je na primer esej Golem XIV. Ta ima precej nenavadno strukturo: sestavljen je iz dveh »predavanj« superinteligentnega računalnika, tako imenovanega Golema XIV, ter pregovora in spremne besede, ki naj bi ju napisala znanstvenika, ki sta z njim delala. Čeprav v eseju Lem vprašanje možnosti stika med človeško in umetno inteligenco nagovarja tudi eksplicitno – edina naša skupna točka, pravi Golem, naj bi bila nepopustljiva radovednost – se mi zdi, da o njej več pove s strukturo eseja. Golemovi predavanji sta namreč mnogo bolj dolgočasni kot spremna teksta fiktivnih znanstvenikov. Čeprav naj bi dajali odgovore na vprašanja o človekovem mestu v evoluciji in stopnjah napredka inteligence, spremna teksta pa zgolj podala nekaj opažanj o nastanku Golema, sta slednja mnogo bolj živa, polna pomena, dostopna.
V nekaterih drugih delih pa Lem zavzame popolnoma drugačen pristop in umetno inteligenco potuji tako, da nam jo bistveno, celo absurdno približa. Takšna je recimo zgodba »Pralna tragedija« iz Zvezdnega dnevnika. V njej Lem opiše bitko med dvema proizvajalcema pralnih strojev. Da bi premagala konkurenco, svojih napravam začneta dodajati najrazličnejše dodatne funkcionalnosti – od zmožnosti petja do reševanja domačih nalog. Situacija se stopnjuje, dokler pralni stroji ne postanejo zavestni, se začnejo razmnoževati in zahtevajo državljanske pravice. Lem tako precej komično opisuje poskuse vlade, da bi sprejemala zakone, ki bi urejali status in pravice pralnih strojev, a jo vedno prehiti neka nova, nepredvidena situacija, ki pod vprašaj postavi prejšnje definicije in določila. Podobno deluje zgodba »Zavod doktorja Vliperdiusa« iz iste zbirke, v kateri Ijon Tihi obišče psihiatrično bolnišnico za robote. V njej sreča robota, ki misli, da je človek, le da so mu neko noč ukradli telo, in drugega, ki ima večvrednostni kompleks in ljudi – življenjsko obliko, v veliki meri narejeno iz beljakovin – imenuje misleča smetana.
Branje teh Lemovih del je bilo sicer zanimivo in na trenutke izjemno zabavno, a sem kljub temu ostal rahlo razočaran – večina mojih vprašanj in dilem o umetni inteligenci je ostalo neodgovorjenih. A sem si za to na koncu v veliki meri kriv sam. Od literature preprosto ne bi smel pričakovati tovrstnih odgovorov. Lahko pa ta igra neko drugo vlogo. Lahko nam pomaga razširiti pogled, potujiti predmet zanimanja in ga pokazati na nov, nepredviden način. To pa Lemu veliko bolje uspe. To je – kot vidim zdaj – tudi prava vrednost zgodbe o Indiotih iz Zvezdnega dnevnika, ki sem jo najprej cenil predvsem zaradi njenega domnevnega vizionarstva. Zgodba omenjeni miselni eksperiment o nenadzorovani umetni inteligenci namreč pokaže v kontekstu, ki mu običajno umanjka. Indioti so svojemu superračunalniku postavili zelo specifično zahtevo: rešiti njihovo situacijo tako, da bo ohranil obstoječi družbeni red in razmerja moči. Ob branju zgodbe se lahko vprašamo, zakaj so problem na prvem mestu želeli rešiti s pomočjo umetne inteligence in ne na primer s spremembo očitno nefunkcionalnega družbenega sistema. Ta je v zgodbi tako nefunkcionalen, da se je temu vprašanju v resnici težko izogniti. Se mu pa veliko lažje izognemo v resničnem svetu.