Более 9 млн жителей Китая, которые в течение последних трех лет были замечены в использовании просроченных билетов и курении в запрещенных местах, не смогли купить билеты на самолет. Еще 3 млн не получили проездные в бизнес-классы поездов. Причина – низкий социальный рейтинг в «скоринговой» системе, которую Китай запустил три года назад.
Принцип «once untrustworthy – always restricted» пронизывает нитью документ под названием Planning Outline for the Construction of a Social Credit System, который был опубликован Правительством Китая 14 июня 2014 года. Документ обязал City councils и Private tech platforms «заправлять» большими данными разработанный правительством искусственный интеллект, который определяет «социальный рейтинг» каждого гражданина.
Название засекреченного государством ИИ – Social Credit System. Подтягивая данные от 8 интернет-гигантов Китая, среди которых WeChat, Alibaba, Alipay, Baihe (китайский Тиндер), Didi Chuxing (китайский Uber) и другие, он ищет ответы на вопросы о своевременности оплаты счетов, предпочтениях в интернет-покупках и даже о количестве негативных комментариев в соцсетях.
На основании собранной информации алгоритм формирует социальный рейтинг каждого гражданина, который, в свою очередь, определяет его благонадежность, и, как результат, возможность доступа к общественным благам.
Тех граждан, у которых высокий рейтинг, ИИ поощряет:
- увеличивает кредитные лимиты в банках;
- разрешает арендовать автомобили без залога;
- делает доступными VIP-чекины в аэропортах;
- даже осуществляет более точный «matching» в дейтинг-приложениях (чем увеличивает шансы быстрее найти свою любовь).
Такая государственная «программа лояльности» выглядела бы очень даже ничего, если бы ИИ ограничился только поощрениями. Но уже 25 сентября 2015 года вышеупомянутый Outline был дополнен разделом Warning and Punishment Mechanisms for Persons Subject to Enforcement for Trust-Breaking, основным принципом которого стало следующее предложение: «If trust is broken in one place, restrictions are imposed everywhere».
С этого момента ИИ был наделен карательной функцией, которая предполагает целый спектр инструментов: от «замедления» скорости интернет-соединения до ограничений в занятии определенными профессиями.
А теперь о юриспруденции.
Как история со скорингом отобразиться на государстве и есть ли место в таком «скоринговом» государстве для юристов?
Последние 6 тысячелетий человеческое общество развивает и совершенствует концепцию государства, в результате чего три столба монополии было заложено в ее фундамент:
- монополия на информацию;
- монополия на деньги;
- монополия на насилие.
И все это благополучно функционировало бы далее, если бы не шалости компьютерных нёрдов, которые последние 20 лет в своих гаражах создают вещи, которые «выкручивают руки» этой концепции. В начале 2000-х они лишили государство монополии на информацию, развив глобальную сеть интернет и создав социальные сети. В начале 2010-х они создали биткоин, чем подвергли риску традиционную финансовую систему и пошатнули монополию государств на деньги.
Сейчас ИИ, а именно «скоринговая система», перебирая на себя карательную функцию, претендует на последнюю опору государства – право на насилие.
Если вы забьете в поисковике «государство как…», то первое, что предложит вам Google, будет «государство как аппарат насилия». Есть над чем задуматься.
Говоря о монополии государства на насилие, имеется ввиду монополия на определение «правил игры» и наказаний за их нарушения. Но задумывались ли вы о том, кому принадлежит моральное право определять такие правила и устанавливать справедливую меру наказания?
В древние времена это были цари, власть которых, как полагалось, была дарована самими богами, и церковь, которая позиционировала себя как представитель бога на Земле. Сегодня это симбиоз работы социологов, психологов, статистов и… юристов. Именно последние обличают социологические исследования в правовые нормы, которые потом принимаются парламентами стран в виде административных и уголовных кодексов.
В свете описанного выше «скоринговая система» представляется как «роботизированный судья», который по результатам обработки «цифровых следов» граждан автономно принимает одно из двух решений: поощрить или наказать. Но правила (нормы), которыми данная система будет руководствоваться в процессе принятия решений, все еще создаются юристами. Единственное отличие: правила приводятся в действие не посредством принятия новых уголовных законов, а путем их передачи разработчикам ИИ и написания последними соответствующих алгоритмов.
Наукой доказано, что человек с рождения обладает нравственным чувством (ребенок способен отличить хорошего персонажа от плохого, не имея социального опыта). Возможно, когда-то ИИ усовершенствуют до такой степени, что и он научится самостоятельно отличать хорошее от плохого. И эта функция окончательно «убьет» профессию юриста (и еще несколько профессий, специализирующихся на общественных науках).
Но пока этого не произошло, именно юристы будут создавать нормы поведения, которыми будет руководствоваться «скоринговая система». И это будут не те юристы, которые знают программирование или создали несколько успешных legaltech-стартапов. А те, которые, начитавшись лучших философов Эпохи Просветления, смогут обосновать справедливость ограничений, которыми будет орудовать государственный искусственный интеллект.
Автор: Нестор Дубневич, старший юрист группы Juscutum