Стартап Artificial Intelligence Underwriting Company (AIUC) привлёк 40 миллионов долларов в раунде Series A, который возглавил фонд Ribbit Capital. В финансировании также приняла участие компания First Harmonic. Ранее проект получил 15 миллионов долларов на посевной стадии от Nat Friedman через его фонд NFDG, а также от Emergence, Terrain и сооснователя Anthropic Бена Манна. Общая сумма привлечённых инвестиций достигла 55 миллионов долларов.
Компанию основали Руне Квист и Раджив Даттани, которые приходятся друг другу свояками. Квист — один из первых сотрудников Anthropic, Даттани ранее занимал должность операционного директора исследовательской организации в сфере безопасности ИИ METR. По словам Квиста, искусственный интеллект умнеет всё быстрее, и парадокс в том, что с ростом интеллекта систем их становится сложнее внедрять и контролировать, а не проще.
AIUC предлагает применять привычную модель из кибербезопасности к новым рискам, связанным с ИИ. Компания создала независимый слой аудита и сертификации для ИИ-агентов. В качестве ориентира взят широко распространённый стандарт кибербезопасности SOC 2, на его основе разработан собственный стандарт AIUC-1 и сервис тестирования, проверяющий агентов на соответствие этому стандарту. Среди клиентов стартапа названы Cursor, Lovable, Harvey и ElevenLabs.
Для создания стандарта AIUC собрала консорциум примерно из 250 руководителей в области безопасности и управления рисками, которые выступают покупателями агентов. Даттани рассказал TechCrunch, что с этими людьми компания встречается ежемесячно и спрашивает, на что они смотрят при покупке агентов, какие вопросы задают и что хотели бы видеть проработанным. Полученные отзывы ложатся в основу тестов.
Затем стартап прогоняет агента через набор примерно из 5000 проверок, чтобы оценить его поведение в сценариях, связанных с джейлбрейками (обходом ограничений), галлюцинациями и утечками данных. По результатам формируется отчёт примерно на 100 страниц, где указано, в каких случаях агент работает безопасно и надёжно, а в каких нет. Тесты выполняют ИИ-агенты, а данные анализирует ИИ, однако финальный аудит проверяют люди, отметил Квист.
Подход перекликается с работой METR, где Даттани был операционным директором с 2024 по 2025 год и остаётся членом совета. Эта организация проводит похожие проверки для передовых лабораторий, хотя до недавнего времени её работа была сосредоточена в основном на производительности — способности агентов надёжно выполнять задачи. Глава Anthropic Дарио Амодеи недавно призвал отрасль сдерживать развитие передовых технологий, сославшись на рост инцидентов с плохим поведением ИИ, и предложил обязать лаборатории привлекать встроенных сторонних оценщиков для наблюдения и проверки безопасности, назвав METR одним из возможных вариантов. AIUC не предлагает размещать своих специалистов у клиентов, но идея близка: дать предприятиям независимую оценку того, насколько безопасны их ИИ-агенты. Как пояснил Даттани, компания показывает, где агент проходит проверку и ему можно доверять, а где есть опасения, о которых стоит знать до принятия решения о покупке.