Помимо восхищения и растущей шумихи вокруг использования искусственного интеллекта, существует страх насчет работы этой технологии. Как предупреждает последняя статья от MIT Technology Review, озаглавленная «Темные секреты в сердце ИИ»: «Никто на самом деле не знает, что делают самые сложные алгоритмы. Это может стать проблемой». Благодаря такой неопределенности, последний отчет организации AI Now Institute рекомендует публичным органам, ответственным за уголовное правосудие, здравоохранение, социальное обеспечение и образование не пользоваться подобными технологиями.

Учитывая все эти опасения, незримое пространство между тем, куда уходят данные и откуда возникают ответы обычно называют «черным ящиком» — по аналогии с устойчивыми к повреждениям (и обычно оранжевыми) записывающими устройствами, которые исследуют после авиакатастроф. В контексте ИИ термин описывает незнание того, как работает технология: мы обеспечиваем ее данными, строим модели и архитектуру процесса, а затем компьютер снабжает нас ответами, продолжая обучаться таким образом, что это почти невозможно понять и объяснить.

Конкретные опасения существуют в сфере здравоохранения, где ИИ уже используется для классификации злокачественных кожных образований, определения рака на ранних стадиях по анализам крови, а также прогнозирования сердечных заболеваний, определения факторов долгожительства у людей и животных. ИИ при этом работает не менее прозрачно, чем обычные врачи — и часто становится даже улучшением, дополняя то, что больницы могут сделать для отдельного пациента и всей медицинской системы. В конце концов, черный ящик в ИИ это не новая проблема, возникшая из-за технологий — человеческий ум всегда был таким же черным ящиком. 

Давайте посмотрим на доктора, который ставит диагноз. Пациент может спросить врача, как он его определил, а врач поделится некоторыми данными для обоснования своих выводов. Но может ли он в действительности объяснить, почему принял такое решение, какой информацией из каких исследований оперировал, какие наблюдения во время интернатуры на него повлияли, какие знания он почерпнул самостоятельно и как все это было скомбинировано в цельное озарение? Конечно, врач наверняка даст несколько намеков на то, что указало в нужном направлении — но всегда будет оставаться элемент предположения или угадывания. Наконец, мы все равно не узнаем, оказались ли тут вовлечены другие факторы (о которых, возможно, не осведомлен и сам доктор).

Если тот же диагноз назовет ИИ, мы сможем очертить всю доступную по этому пациенту информацию — а также анонимные сведения, собранные на основе наблюдений за другими пациентами, чтобы вынести наиболее подтвержденное доказательствами решение. Получится диагноз, напрямую связанный с данными, а не основанный на человеческой интуиции, ограниченной выборке знаний и производной от анекдотических историй.

Мы принимаем решения в сферах, которые не до конца понимаем, ежедневно — и обычно очень успешно. От предсказания экономического эффекта законов до прогнозов погоды или привычного отношения к научным открытиям. Мы или слишком упрощаем положение дел или соглашаемся, что ситуация сложна для объяснения. Все точно так же, как с черным ящиком ИИ: человеческий интеллект может назвать причины и сделать аргументы в пользу конкретного вывода, но он не способен изложить комплексный, лежащий в основе всего базис знаний, который привел к решению. Подумайте, что случается, когда пара разводится по одной заявленной причине — например, неверности — хотя в реальности существует целая вселенная невидимых причин, сил и событий, поспособствовавших такому результату. Почему они решили развестись, если другая пара в аналогичной ситуации не разорвала отношения? Они и сами не смогут объяснить этого. Это черный ящик.

Ирония в том, что в сравнении с человеческим умом, ИИ на самом деле более открыт и прозрачен. В отличие от нас, ИИ может (и должен) быть «допрошен» и верно интерпретирован. Для этого есть много технологий, которые невозможно применить с мозгом: аудит и отладка моделей обучения, обнаружение провалов в знаниях нейросетей, дебаггинг инструментов, ответственных за воспроизведение интеллекта в компьютерном интерфейсе.

Возможно, реальный источник опасений не в том, что мы неспособны в точности «увидеть» рассуждения ИИ, а в том, что он становится все более могущественным, в то время как возможности мозга ограниченны. В будущем нам уже потребуется ИИ для понимания ИИ. В здравоохранении это означает появление новой категории профессионалов — специалистов, которым не потребуется принимать сиюминутных решений. Вместо этого они будут управлять командой ИИ-работников. Процесс станет напоминать гражданскую авиацию, где экипаж программирует автопилот для посадки в сложных погодных условиях. Доктора прекратят «верить» в первичный диагноз: вместо этого они начнут следить за тем, подходит ли пациенту выбранное лечение и понятны ли все условия. Больничные палаты будущего, скорее всего, будут полагаться на компьютерных ассистентов для помощи обеим сторонам, а также масштабные датасеты, собранные далеко за пределами конкретного заведения.

Когда это случится, станет понятно, что так называемый черный ящик искусственного интеллекта это скорее фича, а не баг. В нем можно зафиксировать и объяснить гораздо больше, чем в случае с человеческим умом. Все это не отменяет необходимости надзора за ИИ. Просто вместо переживаний насчет черного ящика мы должны обеспокоиться будущим, в котором ИИ не только будет дополнять наш интеллект или интуицию, но и прольет свет на то, что вообще значит быть человеком.