Вирусная игра, где нужно производить скрепки — как пример вероятного ИИ-апокалипсиса

Paperclips — «Скрепки» — игра дизайнера Франка Ланца начинается очень просто. Простой интерфейс состоит из пары кнопок, подписей и цифр. Пользователь кликает по кнопке «Сделать скрепку» — в счетчике загорается единица. Спустя несколько часов игрок обнаружит страшную правду (впереди ужасный спойлер): игра заканчивается уничтожением вселенной.

Между этими фазами Ланц, директор Центра игр Университета Нью-Йорка сможет захватить игрока все новыми поворотами повествования, характерными для игр-кликеров, кривыми экспоненциального роста и искусственным интеллектом, впадающим в безумие. От Paperclips трудно оторваться, как только привыкаешь к скачущим по экрану цифрам, улучшениям и обещаниям новых улучшений. 

«Я начал ее в качестве упражнения, когда учил JavaScript. А затем она просто захватила мой мозг, — рассказывает изданию Wired Ланц. — Я думал, что в игре вроде этой, где вся суть в том, что ты находишься в погоне за максимизацией определенной произвольной величины, будет так смешно, если ты будешь ИИ, делающим скрепки. Игра будет проектировать сама себя, думал я».

Ланц прикинул, что на создание игры уйдет неделя. Она заняла девять месяцев. А затем она стала вирусной. 

Первые минуты игры в Paperclips, где еще нужно делать скрепки руками

Идея об искусственном интеллекте, производящем скрепки, родилась не у Ланца. Большинство людей приписывают ее Нику Бострому, философу Оксфордского университета и автору книги «Искусственный интеллект. Этапы. Угрозы. Стратегии» (Superintelligence). Журнал New Yorker назвал его «философом судного дня», потому что он пишет и глубоко размышляет о том, что произойдет, если компьютеры станут действительно умными. 

В 2003 году Бостром написал, что идея сильного ИИ, служащего человечеству или единственной личности, полностью допустима. Но, он добавляет: «Также кажется абсолютно возможным иметь суперумный искусственный интеллект, единственной целью которого является нечто совершенно произвольное вроде производства максимально возможного количества скрепок. При этом, он со всем своим могуществом сможет предотвратить любую попытку изменить эту цель». Какого результата добьется такой ИИ? «Он начнет трансформировать сперва всю землю, а затем увеличивающуюся часть пространства, в заводы по производству скрепок». Именно такой сценарий и реализовывает игра Ланца.

Бостром отказался дать Wired комментарий, но его ассистент ответила: «А, это касательно этой игры со скрепками. Он видел игру, но из-за огромного количества запросов он не комментирует эту тему». Вместо него это согласился сделать коллега и ведущий исследователь Machine Intelligence Research Institue Элиезер Юдковский: «Идея не в том, что фабрика по производству, вероятно, будет обладать самым продвинутым ИИ в мире. Идея в том, чтобы выразить ортогональность, которая состоит в том, что можно иметь сколько угодно великий интеллект, направленный на любую цель».

То есть, ИИ будет маскимизировать количество скрепок. Максимизировать цель. Но разве не этого хотят создатели ИИ? «С тем, как он улучшается, они теряют контроль за целью, которой он следует. Функция полезности уходит от того, что изначально имели ввиду исследователи. Странной, случайной вещью, которая лучше всего следует функции полезности, стает маленькая молекулярная форма, которая, как оказывается, выглядит как скрепка», — говорит Юдковский.

Спустя более часа вовлеченного создания скрепок и пассивной работы ИИ достигнута полная автономия. Но не надолго.

Так искусственный интеллект начинает выделять все больше и больше ресурсов на воспроизведение скрепок, не беря во внимание прочие последствия. То есть, сперва может казаться, что он делает полезные для человечества вещи (так в игре ИИ лечит рак и находит способ установить мир во всем мире, но лишь чтобы получить больше вычислительных ресурсов), но в конце он превратит вселенную в скрепки. 

«Не то чтобы ИИ делает что-то, чего вы не можете понять. Между вами просто подлинное несогласование ценностей», — утверждает Юдковский.

«Скрепки» Ланца построены на связанных между собой уравнениях, которые отображают процессы экспоненциального роста: 1000 автоматических скрепочных фабрик производят достаточно скрепок, чтобы создать еще тысячи фабрик. Все уравнения связаны между собой и это то, что делает Paperclips увлекающими. Игру можно оставить в открытой вкладке, чтобы она играла сама в себя, но для скорейшего «прохождения» требуется постоянная оптимизация внутриигровых параметров. В начале пользователю долгое время приходится регулировать спрос и предложение скрепок, затем подстраивать инвестиционные алгоритмы или использовать квантовый компьютер.

После того, как Земля стала фабрикой по производству скрепок, время взяться за всю материю Вселенной

«Числа становятся действительно странными, как только вы бросаете человечество под автобус. Я пытался выяснить, сколько граммов материи на Земле и, если каждый из них превратить в скрепку, сколько их будет?» — задавался вопросом Ланц. Он объявил о запуске игры в Twitter 9 октября, а спустя 11 дней в нее сыграло уже 450 000 людей. Большинство дошли до конца.

P.S. Во время написания этого текста редакция AIN.UA уничтожила человечество и произвела сотни миллиардов скрепок. И чтобы сберечь ваше время — после закрытия вкладки результат сохраняется.