Ученые Санкт-Петербургского государственного университета промышленных технологий и дизайна создали и запатентовали программное обеспечение на базе искусственного интеллекта для восстановления поврежденных исторических документов. Система способна автоматически восстанавливать как структуру, так и содержание материалов с дефектами, включая утраченные фрагменты текста.
Программа объединяет визуальный и лингвистический модули. Первый анализирует состояние документа, выявляет повреждения и подготавливает изображение к дальнейшей обработке, а второй распознает символы и восстанавливает смысл текста.
Как сообщает ТАСС, разработчики уделили особое внимание сложным архивным изданиям с многоколоночной версткой, включая старые газеты. Для этого была обучена собственная языковая модель, которая учитывает расположение блоков на странице и помогает правильно выстраивать последовательность текста.
Модель дополнительно обучили на подшивке газеты «Кадры стране» за 1968 год, выпускавшейся в Ленинградском институте текстильной и легкой промышленности имени С. М. Кирова. Это позволило системе учитывать характерные типографские особенности, артефакты печати, лексику, сокращения и орфографические нормы того времени.
Обработка документа проходит поэтапно. Сначала программа разделяет скан на заголовки, текст, таблицы и изображения, затем повышает контрастность, устраняет микроразрывы и отделяет текст от пожелтевшего фона, после чего применяется OCR-движок для распознавания.
На завершающем этапе языковая модель восстанавливает структуру и смысл, соединяет слова, разорванные дефисами или повреждениями, и выстраивает правильный порядок абзацев и заголовков. Разработчики рассчитывают использовать систему в архивах, библиотеках и исследовательской работе, а в дальнейшем адаптировать ее для юриспруденции, криминалистики и страхования.