Translator for GIMP

Неразрушающий GIMP-плагин для перевода текста на изображениях. Исходный слой не изменяется: области, полноразмерное очищенное изображение, OCR и перевод сохраняются как редактируемые слои XCF.

Пайплайн:

1. Paddle находит текстовые области.
2. GIMP создаёт редактируемые растровые слои областей и диагностические кропы.
3. Qwen Image Edit очищает текст сразу на всей странице.
4. Qwen3-VL через LM Studio распознаёт текст и цвет букв исходных фрагментов.
5. Gemma через LM Studio переводит весь проект одним запросом или постранично.
6. ONNX-классификатор определяет шрифт, при необходимости загружает его и подбирает максимальный размер текста внутри исходной области.

Быстрый старт

Set-Location C:\path\to\TranslatorGimpPlugIn
powershell -ExecutionPolicy Bypass -File .\setup.ps1
powershell -ExecutionPolicy Bypass -File .\scripts\install.ps1
lms server start

Перезапустите GIMP и откройте Фильтры → Translator → Перевод изображений…. Сначала нажмите Проверить окружение, затем выберите открытые изображения и нужные этапы.

Полная установка, настройка LM Studio, ручной вариант установки и устранение проблем описаны в INSTALL.md. Работа с областями, слоями, повторными запусками и восстановлением после ошибок — в USER_GUIDE.md.

Структура документа

Сверху вниз плагин поддерживает группы:

1. Areas;
2. Translated Text;
3. Original Text;
4. полноразмерный слой Cleaned Image;
5. исходный слой.

Каждый слой в группе Areas имеет размер всего изображения. Геометрия блока определяется исключительно границами его непустой альфа-заливки. Paths не создаются. Диагностические кропы не загромождают XCF отдельными слоями.

Конфигурация

• config.yaml — все параметры моделей, языков, LM Studio, промптов, повторов, каталогов, шрифтов и автоподбора размера.
• default.json — параметры адаптера GIMP, структуры слоёв, визуализации, UI и путь к worker.
• установленная копия config.json — %APPDATA%\GIMP\3.2\plug-ins\translator-gimp\config.json.

Названия используемых моделей и количество шагов Qwen-инпеинта можно менять прямо на вкладке «Настройки» плагина. Paddle всегда использует PP-OCRv5_server_det, а в выпадающем списке выбирается языковой пакет распознавания PP-OCRv5 с подсказкой о поддерживаемых языках. Сохранённые значения применяются со следующего запуска соответствующего этапа и имеют приоритет над значениями в config.yaml. Остальные параметры моделей остаются в YAML.

Worker перечитывает конфигурацию при запуске каждого этапа. Встроенный Python GIMP не содержит тяжёлых ML-зависимостей: они работают в отдельном .venv.

Проверки

.\.venv\Scripts\python.exe -m pytest -q .\tests
powershell -ExecutionPolicy Bypass -File .\scripts\check_environment.ps1
powershell -ExecutionPolicy Bypass -File .\scripts\run_gimp_smoke.ps1
# Тяжёлый тест реального Qwen-инференса:
powershell -ExecutionPolicy Bypass -File .\scripts\run_inpaint_smoke.ps1
# Тест OCR и перевода (требует запущенный LM Studio API):
powershell -ExecutionPolicy Bypass -File .\scripts\run_lmstudio_smoke.ps1
# Тест определения и подбора размера шрифта:
powershell -ExecutionPolicy Bypass -File .\scripts\run_fonts_smoke.ps1

Диагностика каждого запуска находится в Diagnostics. Прямые результаты моделей сохраняются до импорта в GIMP.

Известные ограничения

• Проверенная цель — Windows x64 и GIMP 3.2.4; совместимость с GIMP 3.0/3.1 не заявлена.
• Для Qwen нужен NVIDIA GPU; на 16 ГиБ VRAM используется CPU offload, поэтому этап остаётся тяжёлым.
• LM Studio должен быть запущен для OCR и перевода.
• Область может иметь произвольную форму, но кроп строится по минимальному внешнему прямоугольнику её непустой альфа-заливки.
• Автоподбор шрифта создаёт хорошую стартовую точку, но итоговый текст остаётся редактируемым и может потребовать ручной правки.