Proč nesmíme stavět autonomní válečné roboty | Kapitola 3

Silnější fobie z technologií přišla o poznání později, až v roce 1945, s příchodem atomových zbraní a „nových zbraní“, jako byly proudové letouny a rakety. V tu chvíli začíná opadat sociální aspekt strachu z otroků a nastupuje obava z technologie, která náš přeroste a zničí, pravděpodobně proto, že vytvoříme „giganta mezi mravenci“. Zapomeňte na Skynet, tahle představa se objevila daleko dříve. Vřele vám doporučuji film Colossus: The Forbin Project z roku 1970, což je film, který popisuje vzestup nelidské superinteligence mnohem srozumitelněji než všichni Terminátoři dohromady.

Už jen začátek filmu je fenomenální: Colossus, automatický obranný systém USA, je vytvořen úmyslně tak, aby se do něj žádný člověk nemohl dostat. Jeho podzemí je plně automatické a hladina radiace v něm je tak vysoká, že tam nikdo nepřežije. Jeho úkolem je nepřetržitě sledovat Rusko a s využitím všech dostupných senzorů ho monitorovat a chránit poklidný spánek středostavovské Ameriky.

Problém nastane ve chvíli, kdy Colossus zjistí, že Rusové mají svoji vlastní verzi systému, které říkají Guardian – a začne se dožadovat jejich vzájemného propojení. Po poměrně rychlé komunikační evoluci oba systémy zjistí, že mají stejný úkol, totiž chránit lidi – a také se dopracují k závěru, že největším ohrožením lidstva jsou právě lidi samotní. Aby počítače naplnily svůj primární úkol, rozhodnou se oba systémy spolupracovat a donutit lidstvo k poslušnosti, čímž přivedou svět do trvalého míru. A udělají to, i kdyby měly lidstvo zotročit anebo zničit.

Zpočátku ve scifi kosmonauty ohrožovaly spíše počítačové chyby, jako například ve filmu Stanleyho Kubricka 2001: A Space Odyssey z roku 1968. Z technologického hlediska je to spíše utopie než dystopie – tedy až na počítač HAL 9000, který je „foolproof and incapable of error“, tedy zcela dokonalý a bezchybný. Bezchybnost se ale v kybernetice nenosí a HALovi začne v jeho dokonalých obvodech strašit. Řízení mise upozorňuje, že se HAL porouchal, ten ale takovou informaci odmítá a předpokládá, že chyba je v lidském faktoru, což se pokouší spravit i proti zájmu lidí.

Dalším posunem je příchod robotů a systémů „se skrytou agendou“. Klasickým příkladem je počítač MOTHER z filmu Alien Ridleyho Scotta (1979), která má mimo standardního letového plánu ještě tajné instrukce pro případ, že by se narazilo na cizí formu života. Android Ash už může porušit první zákon robotiky, pokud to bude výhodné pro korporaci – a taky to dělá. Opět zde narážíme spíš na kritiku nenažraného korporátu, připraveného obětovat space truckery a jiné níže postavené zaměstnance, pokud to bude výnosné. Představa robota, který se jen tváří jako váš přítel, ale je připraven vás v případě potřeby zlikvidovat, je celkem děsivá.