Кто в ответе за нейросети?

На рынке банковского скоринга незаметно начался "бунт машин". Растет число жалоб на "немотивированные решения" от банков. Эти решения могут касаться отказа в проведении транзакций, оценки залога или кредитоспособности, блокировки счетов и других решений, которые принимаются на основе учета большого количества параметров с разным весом. "Ваша транзакция заблокирована нашим антифродом как подозрительная" — все больше клиентов банков слышат эту фразу.

Конечно, это связано с тем, что банки усиливают борьбу с разного типа мошенничеством. Проблема в том, что при увеличении нагрузки на оценщиков и антифрод–службы банки начинают автоматизировать не только сбор информации, но и ее анализ и даже принятие решений. Самой модной технологией в этой области является искусственный интеллект и ассоциированное с ним глубинное обучение (deep learning) на базе нейронных сетей, пытающихся имитировать работу человеческого мозга, обучающегося на основе предыдущего опыта. Однако неоспоримые преимущества такого способа автоматизации имеют и обратные стороны.

В отличие от традиционных строгих алгоритмов, где рассчитывается некоторый интегральный показатель оценки в виде многочлена с различными коэффициентами, то есть оценщик видит, как какой параметр влияет на оценку, нейросеть ориентируется не только на показатели конкретной заявки, но и на статистику предыдущих оценок и их эффективность. При этом могут учитываться неявные зависимости. Грубо говоря, если предыдущие 10 мошенников были голубоглазыми, вероятность отказа по заявке голубоглазому заявителю увеличится, несмотря на типичные показатели остальных параметров. Такое решение практически невозможно оспорить как несправедливое: нейросеть не указывает цвет глаз как определяющий параметр, она говорит, что заявитель похож на мошенника, но не говорит чем. Если в классической оценке вы видите, например, что если вставить пластиковые окна в квартире или поставить в подъезде домофон, то ее стоимость как залога увеличится, то при оценке нейросетью ни вы, ни оценщик не можете сказать, что нужно изменить в объекте для изменения оценки.

Кому предъявлять претензии в несправедливой оценке? Банку? Производителю программного обеспечения? Программистам нейросети? Создателям датасета (dataset, выборка данных, на которых обучается нейросеть)? Вопрос философский, сродни "кто отвечает за наезд машины с автопилотом на пешехода", и ответить на него придется: налицо потеря контроля.

Что можно с этим сделать? Регулятор (в этом случае Банк России) должен ввести понятные правила игры, защищающие права граждан. Это могут быть требования и к банкам — например, обязывать их указывать причину отказа или конкретной оценки — и тут, кстати, могут возникнуть новые риски разных типов дискриминации. Должны быть введены требования как к самим нейросетям, так и к выборкам обучающих данных. Конечно, невозможно сделать принятие решений нейросетями совсем прозрачным — это противоречит самой сути их алгоритмов, но частично прозрачность можно увеличить, комбинируя традиционные строгие алгоритмы и новые вероятностные. Если же пустить нынешнюю ситуацию на самотек, могут пострадать законные права граждан.