Kdo bo umrl v napadu brezpilotnega letala ali ostal brez kredita?

Delavci popravljajo železniške tire. Nenadoma se na vrhu hriba odtrga železniški vagon in zdrvi proti skupini petih vzdrževalcev. Vi od daleč opazujete prizor in zagledate kretnico. Če takoj stečete do nje, lahko podivjani vagon preusmerite na vzporedni tir, a tudi tam opazite enega vzdrževalca. Kako boste ravnali? Pustili vagonu, da zmečka pet delavcev, ali posredovali in rešili pet življenj v zameno za eno?[/caption]

Prva objava: Sobotna priloga Dela, 12. april 2014, foto Dave Husbands/Defence images/FlickrCC

Znani etični »problem železniškega vagona« je leta 1967 predstavila britanska filozofinja Philippa Foot. Primer je uporabila v svojih kritikah malo znanega dogodka iz druge svetovne vojne, ko so Nemci obstreljevali London z raketami v1. Britanska obveščevalna služba je s soglasjem politike namenoma zavajala naciste s poročili o škodi, ki so jo povzročale rakete. Vse zadetke središča Londona so zamolčali in poročali, da so zadele mestno obrobje. S tem so domnevno zavedli Nemce, da so popravili koordinate, in rakete so začele v resnici padati na manj poseljena predmestja.

Tedanji ministrski predsednik Winston Churchill je s podporo programu »potegnil kretnico« in žrtvoval nekaj tisoč predmestnih Londončanov za preživetje desettisočih v mestnem jedru, je menila Footova. Za Churchilla je bila odločitev verjetno preprosta, saj se je moral kot vrhovni poveljnik britanske vojske odločati utilitarno – izbirati manjše zlo. Vendar je utililtaristično razmišljanje le eden izmed pogledov na etiko, je bila prepričana filozofinja, ki je med vojno delala kot prostovoljka prav v žrtvovanem delu mesta. Zato je zasnovala serijo »vagončkastih« poskusov, ki so jih poznejši filozofi nadgradili z novimi primeri in so do danes ostali pomembno miselno orodje za razumevanje etičnih dilem.

S problemom železniškega vagona se vsak dan srečujejo zdravniki na urgenci ali reševalci po velikih naravnih nesrečah, ko morajo presoditi, kako razporediti reševalne ekipe in komu najprej pomagati. Poznajo ga upravljavci kriznih razmer med izbruhom epidemije, ko hočejo s karanteno ustaviti širjenje bolezni, čeprav to pomeni žrtvovanje tistih, ki ostanejo na zaprtem območju. Največ »kretničarskih« odločitev pa čaka vojaške poveljnike, ki v vojnih razmerah vsak dan tehtajo, koga rešiti in koga žrtvovati, kdaj dovoliti mučenje ujetnikov in koliko civilnih žrtev je sprejemljivih, če lahko z njimi za nekaj let skrajšamo vojno – kar je bila uradna utemeljitev uporabe atomske bombe v Hirošimi in Nagasakiju.

Etični kretničarji so bili v vseh primerih ljudje. Nekateri so bili zaradi (ne)dejanj nagrajeni, drugi so se zagovarjali pred sodiščem za vojne zločine. Domnevno »iskanje manjšega zla« je imelo pravne in psihološke posledice, človeška zmotljivost je povzročila številne nepotrebne žrtve. Zato so teoretiki vojne že pred stoletji razmišljali o idealnem in popolnoma racionalnem vojaškem poveljniku, ki bi znal v vsakem trenutku izračunati najbolj optimalno rešitev. Takšen ideal, ki presega človeške zmožnosti, poskušajo zdaj doseči razvijalci vojaških robotov in računalniških sistemov za nadzor orožja.

Računalniški generali

Velike proizvajalke vojaške tehnologije – ZDA, Izrael, Velika Britanija, Rusija, Južna Koreja in Kitajska – so v zadnjem desetletju razvile prve avtonomne vojaške stroje. Vojaške robote so velesile uporabljale že prej, a so jih morali vedno upravljati ljudje – od blizu ali na daljavo. Novejše generacije pa že znajo same prepoznavati tarče in brez človeškega posredovanja »odločiti«, kdaj sprožiti orožje in uničiti tarčo.

Ameriška vlada je z direktivo o avtonomnem orožju pred dvema letoma dovolila preizkušanje samostojnih brezpilotnih letal (»trote«), s katerimi hočejo v ameriški vojski postopno zamenjati človeške operaterje. Javne izpovedi teh operaterjev so v zadnjih letih pokazale, da Američani z brezpilotnimi letali niso ubili le številnih nedolžnih civilnih žrtev na Bližnjem vzhodu in kršili mednarodnih dogovorov. Oddaljeno neosebno vojskovanje je prizadelo tudi upravljavce teh naprav, ki niso bili izurjeni za ubijanje, zato številni trpijo zaradi posttravmatske stresne motnje, depresije in drugih psiholoških težav. Razvijalci avtonomnega orožja obljubljajo, da lahko umetna inteligenca uspešno reši takšne »težave« in hkrati bistveno poceni sodobno vojskovanje, saj so ljudje precej dražji od strojev.

Močno politično podporo imajo tudi razvijalci avtonomnega orožja v Veliki Britaniji, kjer je začelo obrambno ministrstvo že leta 2005 uporabljati prvo protitankovsko orožje, ki so ga zasnovali po načelu »izstreli in pozabi« (fire and forget). Izstrelki brimstone so opremljeni s kamerami in algoritmi za aktivno preiskovanje okolice, zato znajo po izstrelitvi sami določiti in napasti tankovske tarče. Tudi britanski razvijalci poudarjajo, da umetna inteligenca v boju prinese pomembno prednost, saj se operaterjem po izstrelitvi ni treba ukvarjati z iskanjem in prepoznavanjem tarč, ampak se lahko posvetijo drugim nalogam. Krepi se tudi prepričanje, da človeški refleksi niso dovolj hitri za učinkovito upravljanje izstrelkov krajšega dosega in bi računalniki v delcu sekunde uspešneje prepoznali lastno vozilo ali avtobus kot še tako izurjen operater.

Nad hitrim nadzorom avtonomnega orožja ni skoraj nikakršnega nadzora, menijo kritiki. Znani britanski robotik in strokovnjak za umetno inteligenco Noel Sharkey je v Guardianu že leta 2007 opozarjal, da oboroženim strojem brez razuma in zavesti ne moremo prepuščati odločitev o življenju in smrti, kar so Američani počeli med vojno v Iraku. Posebni poročevalec Združenih narodov za izvensodne, nagle in samovoljne usmrtitve Christof Heyns je pred dvema letoma opozoril, da ameriški napadi z robotskimi letali ogrožajo mednarodno pravo in kratijo človekove pravice, zato bi jih morali regulirati enako strogo kot jedrsko orožje. Humanitarna organizacija Human Rights Watch je pred dvema letoma izdala poročilo o škodljivosti »ubijalskih robotov«, Nobelova nagrajenka za mir in zagovornica odprave protipehotnih min Jody Williams pa je takrat predlagala ustanovitev civilnodružbene pobude za popolno prepoved avtonomnega orožja.

Pred skoraj natanko enim letom so vplivne humanitarne in civilnodružbene organizacije upoštevale njen poziv in v Londonu sprožile obsežno mednarodno kampanjo za prepoved ubijalskih robotov. Vendar so predstavniki koalicije na nedavni konferenci povedali, da velike proizvajalke orožja kljub kritikam še naprej pospešeno razvijajo nove avtonomne sisteme. Motivi za takšen nereguliran razvoj so zelo močni. Pravne nedorečenosti ponujajo lastnikom oboroženih robotov veliko priložnosti za neupoštevanje mednarodnih konvencij. Hkrati bo takšne vojaške stroje nemogoče prepovedati, ko bodo dovolj razširjeni in jim bodo velike vojske prilagodile vojaško doktrino.

Prezgodaj za terminatorje

Kako uspešna je lahko kampanja za prepoved avtonomnega orožja? Raziskovalec pri norveškem mirovnem raziskovalnem inštitutu Prio in specialist za vojaške mednarodne politike Nicholas Marsh je prepričan, da aktivisti nimajo najboljših možnosti.

»Vojaški roboti uporabljajo zelo podobno tehnologijo, kot jo poznamo iz uporabniške elektronike,« je v pogovoru povedal Marsh. Matematični algoritmi, ki znajo prepoznavati obraze pri fotografiranju z mobilnim telefonom, so zelo sorodni tistim, ki jih uporabljajo v britanskem vojaškem sistemu brimstone. Prvi na sliki prepoznavajo značilnosti človeškega obraza, drugi analizirajo različne tipe vozil in pokrajin, da bi poiskali sovražne oklepnike – le uporaba je prilagojena vojaškim namenom. Enako velja za razvoj avtonomnih vojaških vozil in letal, ki morajo premagovati enake težave kot robotski avtomobili, ki jih preizkušajo pri Googlu – se izogibati oviram, zaznavati pešce in druga vozila ter se po različnih poteh pripeljati do cilja.

Omenjene tehnologije so v civilni sferi že preveč razširjene in aktivisti bodo zelo težko dosegli njihovo prepoved, je pojasnil analitik. Poleg tega se vojaški roboti še zelo dolgo ne bodo približali filmskim terminatorjem, ki so jih napovedovali znanstveni futuristi v šestdesetih in sedemdesetih letih prejšnjega stoletja. Zato zelo težko govorimo o njihovi resnični avtonomiji ali se sprašujemo, kako bodo oboroženi stroji reševali zapletene etične dileme.

»Verjamem, da bi marsikateri poveljnik želel poveljevati četi popolnih robotskih vojakov, ki niso nikoli utrujeni, se ne zlomijo v bitki, ubogajo vsak ukaz in nikoli ne zgrešijo tarče. Manj navdušen pa bi bil, ko bi tak robot zagrešil vojni zločin zaradi napake v programu,« meni Marsh. Niti največji zagovorniki vojaških robotov ne trdijo, da bi smeli njihove stroje uporabljati v zapletenih vojaških operacijah, jih spustiti med civiliste ali jim zaupati odgovornejše vojaške naloge. Računalnik ne more oceniti, kdaj se je nasprotnik vdal in kdaj so se sovražne enote skrile v civilni avtobus. Zato bo uporaba oboroženih robotov v vojski zelo omejena, kar nakazujejo tudi vpogledi v razvojne proračune, je ocenil sogovornik.

Ti kažejo, da hočeta ameriška in britanska vojska v prihodnosti z roboti nadomestiti predvsem logistične in druge podporne enote. S tem nameravajo zelo znižati stroške in zmanjšati nepotrebne žrtve med vozniki tovornjakov, ki oskrbujejo enote na bojišču. To ne pomeni, da bodo orožarska podjetja nehala razvijati sisteme izstreli in pozabi, ampak ti ne bodo tako nevarni za civiliste, kot trdijo njihovi nasprotniki (vojske jih bodo verjetno uporabljale samo na bojiščih, kjer ni skoraj nobene možnosti za napačno presojo). Vendar zaskrbljenost aktivistov v kampanji za prepoved ubijalskih robotov ni čisto neutemeljena, se je strinjal Marsh.

Vse zahodne vojske so izpostavljene zelo podobnim spremembam kot ves javni sektor in večina gospodarstva. Zaradi konkurenčnih pritiskov, želje po večji optimizaciji, zmanjševanja zaposlenih in neobvladljive količine informacij postaja tudi vojska vse bolj odvisna od računalniških algoritmov, ki prevzemajo veliko človeških nalog in vplivajo na presojo človeških odločevalcev. A tudi nad razvojem in uporabo teh algoritmov nimamo nobenega nadzora.

Skriti odločevalci

Zakaj potrebujemo nadzor nad algoritmi?

Raziskovalca Nick Bostrom in Eliezer Yudkowsky sta leta 2011 objavila esej o etiki umetne inteligence, v katerem sta predlagala nekaj pravil, ki jih je treba upoštevati pri zasnovi avtonomnih strojev. Brez teh pravil se bodo algoritmi obnašali podobno »neodgovorno« kot velike človeške birokratske ustanove, kjer je pogosto nemogoče najti krivce, ko gre kaj narobe, sta zapisala avtorja. Zato mora biti vsak algoritem nujno transparenten in dovolj odprt, da ga je mogoče neodvisno preveriti – enako kot vse druge človeške postopke in mehanizme odločanja v politiki, podjetju ali organizaciji.

Obnašanje avtonomnega stroja mora biti predvidljivo in z njegovimi merili morajo biti seznanjeni vsi njegovi uporabniki: upravljavci in tisti, o katerih algoritem odloča (če v robotski avtomobil vgradimo etični program, ki bo raje žrtvoval voznika, kot se zaletel v skupino pešcev, mora lastnik avtomobila poznati omenjeno tveganje). Brez transparentnosti takšne naprave ne moremo uporabljati odgovorno, saj ne vemo, katera merila upošteva in kako izračunava rezultate. Transparenca je pomembna tudi zato, ker je mogoče samo tako preprečiti manipulacije z algoritmom in določiti, kdo je odgovoren za napake. Je kriv programer ali uporabnik? Se je mogoče pritožiti na odločitev algoritma in dokazati, da smo bili oškodovani?

Takšne varovalke danes predvidevajo le redki komercialni, državni ali vojaški informacijski sistemi, saj je delovanje algoritmov večinoma skrito za pravnimi obzidji državne tajnosti, poslovne skrivnosti in fizičnega varovanja.

Poročila o operacijah ameriških brezpilotnih letal kažejo, da so njihovi oddaljeni operaterji skoraj popolnoma odvisni od informacijske podpore obveščevalnih služb. Nekdanji ameriški obveščevalec Edward Snowden je pokazal, da tajne službe brez nadzora in omejitev prestrezajo veliko večino telekomunikacijskega prometa ter podatke uporabljajo za lov na teroriste in druge državne sovražnike. Noben zunanji nadzornik pa ne ve in ne more izvedeti, po kakšnih merilih obveščevalni algoritmi določajo morebitne teroriste in kako vojaški algoritmi izračunajo število sprejemljivih civilnih postranskih žrtev ob napadu na dragoceno človeško tarčo. Enako slabo poznamo tudi delovanje civilnih algoritmov: kako Google določa razvrstitev iskalnih zadetkov, kakšna merila uporabljajo banke za podeljevanje posojil in kako lastnik podjetja izračuna našo (ne)nadomestljivost na delovnem mestu, ko se loti odpuščanja.

Glavna skrb pobudnikov kampanje za prepoved ubijalskih robotov zato morda niso avtonomni vojaški stroji, ki ne obstajajo in verjetno še ne bodo kmalu obstajali. Prav tako ni najbolj pomembno, ali bodo ti stroji čez nekaj desetletij reševali problem železniškega vagončka po utilitarnem (iskanje manjše škode) ali humanističnem načelu. Večji in predvsem aktualnejši problem so programske vrstice, ki danes odločajo, kdo bo umrl v napadu brezpilotnega letala ali ostal brez bančnega kredita. Ti programi niso nevtralni, ampak odražajo ideološke, politične in poslovne interese tistih, ki so jih naročili in zasnovali. Te interese pa lahko pomaga razkriti le zahteva po transparentnosti algoritmov, ki je tudi najboljša obramba pred divjanjem prihodnjih ubijalskih robotov.