Внедрение современных технологий с машинным обучением несёт для бизнеса не только пользу, но и серьёзные риски.
Согласно данным недавнего исследования VK Predict и Prognosis, 70% средних и крупных компаний в России уже применяют в своей работе искусственный интеллект (ИИ). При этом больше половины участников опроса отметили, что ИИ–решения работают с их собственными данными. Это, как правило, коммерческая информация, которая зачастую содержит и данные клиентов. При этом только 14% организаций используют собственные разработки в области ИИ. Остальные либо отдают предпочтение сторонним продуктам, либо совмещают и то и другое.
В докладе Национального центра развития ИИ при правительстве РФ за прошлый год отмечается, что лишь треть предприятий приоритетных отраслей экономики, использовавших технологию, утвердили политику обеспечения информационной безопасности. Всё это вызывает у экспертов сферы кибербезопасности вполне обоснованные опасения.
Берегитесь зомби!
Коммерческий директор платформы "Боцман" (входит в "Группу Астра") Игорь Сорокин выделяет несколько типов угроз, которые возникают при внедрении искусственного интеллекта. Во–первых, это технические и операционные риски.
Так, ИИ–модели могут давать ложные результаты при изменении входных данных или неправильном обучении. Также компании сталкиваются с интеграционными сложностями, поскольку внедрение в устаревшие системы требует ресурсов и создаёт узкие места. По оценкам эксперта, 40% бюджета ИИ–проектов может уходить на интеграцию. И эти затраты нужно нести до того, как ИИ начнёт приносить пользу. Помимо этого, появляются проблемы с масштабируемостью. Зачастую пилотные проекты работают локально и не справляются с полноценной нагрузкой.
Ещё одну группу составляют экономические и стратегические риски. Здесь проявляется высокая совокупная стоимость владения, поскольку требуются инвестиции не только в ПО, но и в инфраструктуру и привлечение квалифицированных кадров. А опытный специалист уровня "сеньор" сегодня стоит весьма недёшево. С другой стороны, избыточная автоматизация ключевых процессов может дегуманизировать бизнес и привести к потере контроля.
Как отмечает директор по специальным проектам Центра искусственного интеллекта и науки о данных СПбГУ Кирилл Дорожкин, основной риск заключается в отсутствии у многих руководителей предприятий чёткой стратегии внедрения ИИ и ясного понимания, зачем именно данной компании нужен ИИ и почему без него она не сможет эффективно функционировать.
"Внедрение ИИ требует изменения существующих бизнес–процессов и подходов к управлению, что часто вызывает внутреннее сопротивление среди сотрудников и сложности взаимодействия различных информационных систем", — объясняет эксперт.
Другой значительный блок рисков связан с недочётами разработки и эксплуатации: ошибки в программировании, использование некорректных или недостаточных объёмов данных, неправильное применение моделей, отсутствие регулярного обновления и сопровождения моделей. Эти факторы способны приводить к неверным выводам и серьёзным негативным последствиям для бизнеса, подчёркивает Дорожкин.
Помимо этого, существует понятие "ИИ–зомби", добавляет эксперт. Так называют системы искусственного интеллекта, разработанные недостаточно качественно, без должного контроля и регуляции и продолжающие работу без адекватного мониторинга и контроля. Такие модели представляют собой дополнительный источник риска для бизнеса.
Чёрный ящик
"Существенные риски связаны с безопасностью ИИ–систем. Как верифицировать полученный результат? На каких "рассуждениях" он основывался? Не было ли допущено бреши в информационной безопасности, не внедрил ли мошенник некорректные данные или запросы в модель, чтобы добиться своих целей?" — задаётся вопросами инвестиционный менеджер Sk Capital Алексей Филиппов.
До сих пор во многом процессы, происходящие в рамках алгоритмов ИИ, являются для конечного пользователя закрытым чёрным ящиком. Попытки разработки систем, которые должны отслеживать логику принятия решений, использовать продвинутые рассуждения и давать обоснованные аргументы, предпринимаются, но пока говорить о создании полностью верифицируемого ИИ преждевременно.
"Главной проблемой является вопрос достоверности полученных при помощи ИИ результатов. Основным способом митигации (смягчения последствий. — Ред.) этих рисков является в первую очередь работа с исходными данными и разработка подходов, которые позволили бы заглянуть в такой “чёрный ящик”. Сейчас работает трёхступенчатый подход: санация данных и обучение ИИ, запуск ИИ–решений в “песочнице” параллельно с существующими бизнес–процессами и только после подтверждённого эффекта полноценное внедрение. Существенным митигирующим фактором является сохранение человека в бизнес–процессах, причём с закреплением его ответственности", — подчёркивает Алексей Филиппов.
Кирилл Дорожкин видит основным методом снижения рисков изменение самой структуры бизнеса: переход от цифровой к полноценной трансформации, ориентированной на искусственный интеллект. Это подразумевает постоянное совершенствование, систематическое обучение сотрудников и понимание того, что ИИ представляет собой непрерывный процесс улучшений.
"Организация должна предусмотреть появление новых ролей и функций, направленных исключительно на развитие ИИ–технологий. То есть сначала необходимо выработать общий подход и стратегию, чтобы избежать множества мелких препятствий, неизбежно возникающих на начальных этапах внедрения искусственного интеллекта. После этого устранение и минимизация рисков, связанных с использованием ИИ, будут протекать естественно и превратятся в стандартный рабочий процесс", — объясняет он.
Сорокин перечисляет несколько возможных стратегий для минимизации рисков: создание этического кодекса ИИ и центра компетенций, внедрение обязательного аудита моделей, шифрование данных и анонимизация на уровне архитектуры, разделение сред разработки, тестирования и эксплуатации, а также инвестиции в инфраструктуру и развитие персонала.
Закрытые зоны
Выделяются особые участки, где внедрение ИИ стоит производить с осторожностью либо вообще отказаться от интеграции. Такими зонами могут быть контроль сложных производственных линий без дублирующих систем безопасности, а также процессы с непредсказуемыми сценариями. В числе последних Сорокин называет медицинскую диагностику и работу экстренных служб.
Дорожкин в свою очередь считает, что любые операции подлежат автоматизации, если их процессы можно описать и формализовать в виде последовательности шагов. При этом во многих организациях таких процессов большинство, включая сферы медицины и психологии.
Однако здесь присутствуют два основных технологических ограничения. Во–первых, иногда разработать программное обеспечение технически возможно, а вот сборка полного программно–аппаратного комплекса оказывается невозможной на текущем этапе развития технологий.
Во–вторых, современные генеративные модели ИИ, активно внедряемые сегодня, трудно назвать полноценными экспертными системами с проверенными фундаментальными принципами, что существенно сужает сферу их применения.
"Тем не менее любая система, основанная на искусственном интеллекте (и в ближайшем будущем ситуация вряд ли изменится кардинально), нуждается в участии человека, способного справляться с задачами, непосильными для машин. Исходя из этого считаю, что ИИ–помощник может применяться на любых участках деятельности предприятия. Но степень автоматизации будет различаться в зависимости от специфики каждой конкретной бизнес–задачи", — резюмирует Кирилл Дорожкин.
“
Необходимо осознавать, что истинно безопасными могут считаться лишь те решения, технологический стек которых известен, понятен, прозрачен и прошёл соответствующие исследования на предмет требований той же безопасной разработки. Слепое использование зарубежных программных библиотек, особенно в критической инфраструктуре, недопустимо.
Вероятно, с этим связано то обстоятельство, что многие крупные компании предпочитают вести разработку решений с ИИ "на борту" самостоятельно. Методы ИИ начинают активно применяться и в социальной сфере. И вот здесь возникают уже риски куда серьёзнее. К примеру, сопряжённые с доверием людей к информации. Экспертному сообществу, включая специалистов гуманитарных дисциплин — социологов и психологов, вместе со специалистами по технической защите информации, следует определиться с самим понятием доверия. Что и чему мы, собственно, доверяем. Например, в рамках экспертных систем поддержки судебной системы очевидно, что доверять судьбы живых людей "виртуальному судье" крайне преждевременно. Как только мы чётко определим для себя определение и области доверия для так называемого ИИ, работать с рисками станет значительно проще.
Павел Кузнецов
директор по стратегическим альянсам и взаимодействию с органами государственной власти группы компаний "Гарда"
“
В процессе реализации проектов мною был сформирован следующий подход к автоматизации. Всё,
что можно автоматизировать сейчас, нужно автоматизировать. Всё, что невозможно автоматизировать сейчас, автоматизируется позднее. Если неясно, как автоматизировать какой–то процесс, ждём появления решений и автоматически внедряем их, как только технология позволит. Следовательно, нужно стремиться максимально автоматизировать все рабочие процессы, ставя
целью превращение компании в робокомпанию или коботовое предприятие. Генеративный искусственный интеллект существенно расширил возможности автоматизации, а применение многоагентного подхода и ИИ–агентов позволяет почти полностью замещать отдельные функции в компаниях. Хотя ИИ помогает решать многие задачи, важно глубоко изучить технологию, чтобы чётко представлять себе её ограничения и учитывать возникающие новые требования — такие как повышение уровня информационной безопасности, улучшение качества данных и обучение персонала.
Кирилл Дорожкин
директор по специальным проектам Центра искусственного интеллекта и науки о данных СПбГУ
“
Искусственный интеллект сегодня помогает промышленным предприятиям решать широкий спектр
задач, существенно повышая эффективность производства. Системы компьютерного зрения с высокой точностью выявляют даже микроскопические дефекты продукции, что особенно востребовано в автомобилестроении, электронной и пищевой промышленности. Не менее
важна предиктивная аналитика, которая прогнозирует износ оборудования и предотвращает внеплановые простои. Значительную оптимизацию ИИ привносит в управление производственными процессами. Особую актуальность приобретают ИИ–решения для логистики, помогающие предприятиям в условиях санкций оперативно перестраивать цепочки поставок и оптимизировать
складские запасы. В ближайшие годы ИИ кардинально трансформирует промышленность, переходя от точечных решений к комплексной автоматизации. Ключевыми направлениями станут автономные производства с самообучающимися системами, где ИИ будет управлять всем циклом — от проектирования до логистики. Особый прорыв ожидается в предиктивной аналитике (снижение аварий на 30–40%) и цифровых двойниках, способных моделировать тысячи сценариев в реальном
времени.
Сергей Карпович
заместитель руководителя направления Т1 ИИ (ИТ–холдинг Т1)
