Proč nesmíme stavět autonomní válečné roboty | Kapitola 6

Robot může mít představu o své poloze, ale musíte počítat s tím, že kdykoli může přijít o libovolnou kombinaci senzorů. Mnoho katastrof nastalo proto, že letadlům částečně selhaly senzory anebo došlo ke konfliktu mezi automatickým a ručním řízením. A to se bavíme o normální situaci, ne o válečné situaci, kde je matení ze strany nepřítele běžným jevem. O tom vypovídá incident RQ-170 z roku 2011, kdy se podle všeho podařilo Iránu oklamat americký průzkumný dron Lockheed Martin RQ-170 Sentinel a donutit ho k přistání. S časem bude hackerských útoků stále více přibývat, cílem útoku se stala i inteligentní odstřelovací puška TrackingPoint TP750, u které se hackerům podařilo například vnutit jiný cíl!

O rizicích plně automatického systému řídícího jadernou odpověď se mi nechce ani uvažovat. Brilantně to je zpracované už ve filmu War Games (1983). Na hranu odpovědi na falešně pozitivní detekci útoku jsme se dostali už několikrát, naštěstí dosud vždy vyhrál selský rozum, zodpovědnost a strach, což nejsou typicky počítačové kvality.

Úplně klasický je případ Stanislava Petrova, velícího důstojníka sovětského systému včasného varování, který v roce 1983 „zachránil svět tím, že neudělal vůbec nic“. Počítač mu hlásil sérii startů amerických jaderných raket, ale jemu to nedávalo smysl, protože detekovaných „raket“ bylo málo a ve světě zrovna nebyla žádná významnější krize.

A tak zdravý rozum a schopnost popřemýšlet ve velmi krátkém časovém okně, kdy se musel rozhodnout, zachránila svět před chybou počítačového systému. Co kdyby na jeho místě byla AI, která nemá představu o rozsahu zkázy, kterou by mohla vyvolat?