Сайт-призрак: страница Unindexed навсегда удалялась всякий раз, как попадала в выдачу Google

Когда разработчики задумываются на метафизические темы, результат может быть неожиданным. Американский программист Мэтью Роттенберг запустил сайт, который принципиально отказывался быть проиндексированным Google. Целью эксперимента, который продлился 22 дня и завершился окончательным уничтожением сайта 24 февраля, было исследовать «эфемерность и настойчивость» — в частности то, как они проявляют себя в вебе.

Всякий раз, когда оказывалось, что сайт таки попал в поисковую выдачу, он удалялся вместе со всем содержимым. Назывался сайт соответственно — Unindexed. Раз за разом Google индексировал сайт и фактически, тот самый момент, когда срабатывала индексация, становился катализатором для удаления сайта.

Интересно, что Роттенберг привнес немного психологии в эксперимент. Вот как он сам об этом пишет: «Пользователей поощряли писать для сайта (и этот контент уничтожался вместе с сайтом). Затем им предлагалось делиться ссылками с другими, но при этом учитывать, что это в конечном итоге приведет к тому, что URL заметят боты Google. Таким образом, создавалось напряжение на противостоянии желания поделиться ссылкой и намерении оставить контент для себя. О сайте узнавали немногие — через обычную почту, сарафанное радио и т.д.».

Кроме этого психологического ограничения, ничего не делалось специально, чтобы спрятать сайт от ботов Google, однако использовался метатег NOARCHIVE, чтобы содержимое сайта не оставалось в кеше поисковика. Никаких бекапов сайта не осталось. Подробности о технической стороне эксперимента можно прочитать на GitHub. Желающие повторить эксперимент также могут найти там исходники сайта.

Напомним, разработчики из Google создали программу под кодовым названием «агент», которая уже смогла пройти 49 старых компьютерных игр, разработав при этом наилучшую стратегию их прохождения.