Voltaire Candide-ja azért tér vissza újra és újra az AI-szingularitás-adat körüli vitákban, mert pontosan azt a gondolkodási hibát leplezi le, amely ma a legerősebben jelen van:
azt a hitet, hogy egy rendkívül összetett rendszer (régen a világ, ma az AI) szükségszerűen jó irányba fejlődik
Pedig csak összekeverjük az optimalizációt az értékkel, miközben
• ami hatékony, az nem biztos, hogy jó
• ami intelligens, az nem biztos, hogy bölcs
• ami működik, az nem biztos, hogy kívánatos
Pangloss azt mondta: „ez a világ a lehető legjobb. A mai technológiai optimizmus azt mondja: „az adat és az AI majd azzá teszi.” Candide pedig megtanulja: a világ nem attól lesz jobb, hogy mindent optimalizálunk, hanem attól, hogy jól választjuk meg, mit érdemes optimalizálni – és közben műveljük a saját kertünket.
Az AI és adatalapúság hívei szerint: az intelligencia robbanásszerűen növekedni fog
a problémák (betegségek, energia, gazdaság) megoldódnak és egy „poszthumán” korszak jön létre Ez a gondolat sokszor implicit módon azt feltételezi: ha az intelligencia nő, a világ jobb lesz, „ha a világ Isten műve, akkor szükségképpen a legjobb” Csak itt Isten helyét az algoritmus és az optimalizáció veszi át.
Attól, azonban, hogy egy rendszer logikus vagy „optimális”, még nem lesz jó!