Как Facebook работает с Big Data

Отчет McKinsey&Co показал, что к 2009 году у каждой компании с более 1000 сотрудников уже было около 200 терабайт данных о своих клиентах. Трудно даже представить, во сколько раз увеличилась эта цифра за 8 лет — миллиарды лайков, постов и графики из огромного количества социальных сетей только добавляют масла в огонь. Но при этом социальные медиа также ускоряют инновации и экономят средства. Компании все чаще используют социальные платформы для выхода на рынок с новым продуктом, рекламируют свои услуги и общаются с заинтересованной аудиторией, контролируя ее мнение о своем бренде. Социальные сети и Big Data порождают совершенно новый уровень технологий.

Facebook собирает огромное количество данных. Это не удивительно — в среднем, каждую минуту пользователи загружают 160 000 фотографий, оставляют 510 000 комментариев и обновляют статусы 293 000 раз. Вся эта информация может показаться малозначимой, но именно благодаря ей соцсеть знает наших друзей, знает как мы выглядим, куда мы ходим, что делаем, кто нам нравится, а кто нет. Некоторые исследователи заявляют, что у Facebook достаточно информации, чтобы знать о нас больше, чем личный терапевт.

Если не брать в расчет Google, то Facebook, вероятнее всего, является единственной компанией, у которой есть настолько детализированная информация о своих клиентах. Ведь помимо анализа пользовательских данных непосредственно в самой «ленте», у Facebook есть и другие способы отслеживания поведения пользователей.

Отслеживание cookie

Компания следит за пользователями в интернете с помощью файлов куки. Если у человека открыта вкладка Facebook и он параллельно серфит другие сайты, то соцсеть будет знать, какие сайты он посещает и что на них делает.

Распознавание лиц

Facebook активно вкладывает деньги в развитие технологий распознавания лиц и обработки изображений. Соцсеть уже умеет узнавать и предлагает отметить конкретных людей на фотографиях других пользователей соцсети, при этом не стесняется мониторить и другие сайты в интернете.

Анализ лайков

Недавнее исследование показало, что простой анализ пользовательских лайков может точно спрогнозировать дальнейшие действия человека по целому ряду личных атрибутов. То, как пользователь расставляет лайки в ленте, может рассказать о сексуальной ориентации, религии, вредных привычках и зависимостях человека, его политических взглядах. Исследователи из Кембриджского университета совместно с Microsoft Research говорят, что такие данные также могут с удивительной точностью показать уровень интеллекта пользователя, а также рассказать об уровне удовлетворенности жизнью.

Примеры использования Big Data

Флешбеки

На свой 10-летний юбилей Facebook предложил пользователям посмотреть и поделиться видео, в котором показаны их самые популярные посты и действия со дня регистрации до настоящего времени. Такие видео называются флешбеками и состоят из фотографий, комментариев и постов, которые зациклены в слайдшоу под приятную музыку.

Такие же видеозаписи Facebook автоматически создает на годовщины вашей дружбы с другими пользователями, с которыми вы хоть как-то были связаны внутри соцсети (есть общие фотографии или посты с тегами), а также в день вашего рождения.

Голосование на выборах

Один из успешных кейсов Facebook с использованием Big Data — наклейки с сообщением «Я проголосовал». Эксперимент проводился во время выборов в Палату представителей США в 2010 году. Соцсеть предлагала пользователям нажать на кнопку «Я проголосовал», тем самым подталкивая их к самому действию — голосованию за конкретного кандидата на выборах.

Судя по отчетам, из 61 миллиона пользователей, которые видели такой стикер у друзей в профиле, около 20% людей тоже нажали на кнопку. На выборах в 2016 году Facebook расширила свое влияние на ход выборов — пользователям приходили инструкции, схемы проезда к избирательным участкам и напоминания о голосовании.

Парад равенства

Следуя решению Верховного суда США по однополым бракам как конституционному праву, Facebook превратилась в радужное зрелище под лозунгом «Отпразднуйте гордость» (Celebrate Pride). Тогда соцсеть предложила пользователям быстро наложить фильтр на свой аватар в знак поддержки равенства брака.

С тех пор подобные трансформации изображений наблюдаются по несколько раз в год, чаще всего это связано с каким-либо громким событием (например, выходом новой части «Звездных Войн»). По словам пресс-секретаря Facebook, в течение первых нескольких часов более миллиона пользователей изменили свои фотографии на страницах.

Topic Data

Тематические данные — это специальная технология Facebook, которая показывает маркетологам отзывы людей о брендах и событиях, но таким образом, чтобы вся информация осталась конфиденциальной. В свою очередь, маркетологи уже используют полученные данные для изменения стратегии размещения бренда как на Facebook, так и на других платформах. Ранее такие данные можно было получить только от специализированных компаний, однако выборка была небольшой, а определение демографии — вовсе почти невозможно. С помощью Topic Data соцсеть смогла сгруппировать данные для маркетологов по узким направлениям, убрав при этом личную информацию пользователей.

Сейчас в работе с Big Data компания полагается в большей степени на одну технологию — Hadoop. Она представляет собой масштабируемую среду с открытым исходным кодом, которая использует большое количество серверов для работы. Анализ данных при помощи этой технологии начинается со считывания 300 петабайт данных — информация по конкретному запросу изымается из базы и помещается в специальную таблицу, обработкой которой занимается специальный отдел Facebook. Чтобы уменьшить временные и денежные затраты на анализ, компания занялась разработкой собственного гигантского хранилища данных, что позволит сократить расходы по многим параметрам.