Исследователи Технологического института Джорджии и компании J.P. Morgan разработали систему SlideAgent для более точной работы искусственного интеллекта со сложными визуальными документами. Она предназначена для анализа презентаций, брошюр, отчетов, таблиц и графиков. Авторы отмечают, что современные модели способны быстро обрабатывать данные, однако могут упускать важные детали, когда сведения распределены по множеству страниц.
Ошибки при чтении сносок, чисел и графических материалов особенно существенны в сферах, где от точности зависят отчеты, оценка рисков и управленческие решения. SlideAgent призван снизить вероятность таких неточностей при использовании ИИ в рабочих задачах. Об разработке сообщила Georgia Tech.
Система обрабатывает материалы на 3 уровнях: изучает документ целиком, затем отдельные страницы и после этого конкретные элементы — диаграммы, таблицы и текстовые блоки. За каждый этап отвечают специализированные агенты, которые координируют результаты анализа. Такой подход позволяет сформировать структурированное представление о содержании и сопоставлять данные между разными страницами.
Разработчики проверили SlideAgent на финансовых презентациях, технических слайдах и наборах данных для визуальных вопросов и ответов. По итогам испытаний система превзошла коммерческие модели и инструменты с открытым исходным кодом. В отдельных задачах точность выросла до 10%, прежде всего при сравнении сведений между слайдами и анализе взаимосвязи визуальных объектов.
По словам ведущего исследователя проекта Ицяо Цзиня, SlideAgent показал улучшение на 7,9% по сравнению с базовой закрытой моделью и на 9,8% относительно протестированных открытых моделей. Авторы считают, что результат демонстрирует возможность повышать качество ИИ не только за счет увеличения самих моделей. Важную роль играет и более рациональная организация обработки информации.
Работу о SlideAgent приняли для представления на ежегодной конференции Ассоциации вычислительной лингвистики. Исследование показывает ограничения мультимодальных систем, которые нередко рассматривают страницу как единый объект и могут не заметить детали в насыщенных визуальных материалах. Новый подход воспроизводит последовательность, которой обычно придерживается человек при чтении длинной презентации: от общего смысла к нужным разделам и точным данным.