Российские банки разрабатывают собственные системы контроля качества ответов искусственного интеллекта. Готовых решений для проверки виртуальных помощников на ошибки и неэтичный контент на рынке не нашлось, поэтому ВТБ совместно с Центром искусственного интеллекта МГУ создал два детектора.
Первый инструмент анализирует запросы пользователей на наличие запрещённых тем, признаков нарушения законодательства и контента 18+. Если такие фрагменты обнаружены, система блокирует обработку запроса.
Второй детектор проверяет уже сформированные ответы цифровых помощников. Он выявляет несоответствия и противоречия, указывает, в какой части текста они находятся, после чего специалисты банка могут направить ответ на повторную проверку или заблокировать его.
Особое внимание разработчики уделяют так называемым галлюцинациям. Это одна из самых распространённых проблем генеративного ИИ, когда модель выдаёт уверенный, но вымышленный ответ.
О разработке детекторов на Kazan Digital Week сообщил советник первого заместителя президента — председателя правления ВТБ Сергей Путятинский. По его словам, решения планируют внедрить в сервисы розничного бизнеса, где для общения с клиентами используются цифровые помощники.
Контроль за применением ИИ в финансовом секторе усиливается и на уровне регулятора. 16 июня 2026 года Банк России опубликовал методические рекомендации по безопасному построению и использованию искусственного интеллекта в финансовой сфере. Документ содержит более 20 мер, для реализации которых потребуется доработка инфраструктуры.
При этом банковская отрасль переходит к более широкому применению ИИ-агентов. На смену разрозненным пилотам приходят платформенные решения и мультиагентные системы.