Ученые из Университета Чикаго опубликовали исследование, которое показывает, что нейросети, обученные на реальных отзывах, способны писать сложные отзывы. Рядовые читатели не просто не могут отличить их от настоящих, но и часто считают их более полезными, чем написанные человеком. 

Вот пример отзыва: “Мне нравится это место. Мы заходили в него с моим братом, заказали вегетарианскую пасту и она была вкусной. Пиво было хорошим, а сервис – отличным. Я определенно порекомендовал бы это место любому, кто ищет отличное место для отличного завтрака и небольшую точку с отличным предложением”. 

Хотя ничего откровенно странного в нем нет, оно было сгенерировано с помощью рекуррентной нейронной сети (РНС). Перед этим ее натренировали на тысячах реальных онлайн-отзывов, которые легко можно найти в сети. Так исследователи Чикагского университета использовали базу отзывов Yelp.

“Мы провели опрос [600] пользователей и показали, что такие фейковые отзывы не только стабильно избегают обнаружения реальными пользователями, но что они также предоставляют одинаковые уровень “полезности”, как и реальные отзывы, написанные людьми”, – утверждается в исследовании

Программное обеспечение для обнаружения плагиата также редко определяет сгенерированные отзывы. Особенно если нейросеть настроена так, чтобы ставить уникальность в приоритет. Она генерирует текст буква за буквой, а не просто переставляет слова из реальных отзывов местами.

“Все еще трудно определить сгенерированные машиной отзывы с помощью проверки на плагиат без того, чтобы при этом не промаркировать большое количество реальных отзывов. Это показывает, что РНС не просто копирует существующие отзывы из тренировочного набора данных”, – отмечают исследователи. 

Как рассказал один из авторов исследования Бен Жао изданию Business Insider, он пока не видел примеров использования таких систем в реальном мире. Но кому-то “достаточно технически профессиональному” потребуется “вовсе немного времени”, чтобы создать аналогичную систему. 

Рынок фейковых отзывов, написанных людьми, процветает и за деньги можно помочь расти своему бизнесу или очернить конкурентов. Но технологии машинного обучения способны подорвать такой рынок, генерируя тысячи отзывов и получая за каждый деньги с уже существующего рынка. По крайней мере, первое время. 

Защита от “машинных” отзывов все же существует. Исследователи утверждают, что программное обеспечение способно отличить сгенерированные и реальные отзывы, если оно знает, где искать. Секрет лежит в распределении букв. “Потеря информации, которая возникает при тренировке, отразится на сгенерированном тексте. Это приведет к статистически определяемой разнице в распределении основных символов между сгенерированным и человеческим текстом”, – утверждается в исследовании. 

Помимо этого, исследователи фокусировались исключительно на генерации текстов. Но отзывы в интернете имеют много контекстуальной информации вроде IP-адреса автора, истории его отзывов и других данных, которые могут упростить определение фейковых отзывов. Так в Yelp, комментируя исследование, сообщили, что рекомендательное ПО использует “более целостный подход” и “множество сигналов помимо текста, чтобы определить, рекомендовать ли отзыв”. 

Но проблема не заканчивается на отзывах. Они лишь являются хорошим началом для технологий генерации достоверного текста благодаря их небольшой длине, стандартной структуре и ограниченной тематике. 

“В общем, угроза больше. Я думаю, угроза касается общества в целом, действительно разочарованных пользователей и колебании нашей веры в то, что реально, а что нет. Думаю, это будет даже более фундаментально. Мы начинаем с онлайн-отзывов. Можете ли вы доверять тому, что кто-то написал о ресторане или продукте? Но это будет прогрессировать в гораздо большие атаки, когда целые статьи на блоге могут быть автономно сгенерированы по заданной теме роботом. И вам придется думать, откуда появилась информация, можете ли вы ее подтвердить… это будет значительно большим вызовом в ближайшие годы”, — считает Жао.

Напомним, ранее мы писали о том, как система на основе IBM Watson в качестве преподавателя полгода отвечала на вопросы студентов на форуме, но никто не заподозрил обмана.