Stable Diffusion Webgpu

Генерация изображений с помощью Stable Diffusion Webgpu

Stable Diffusion Webgpu — это демонстрационная веб-версия, позволяющая создавать изображения с использованием модели Stable Diffusion. Приложение разработано на фреймворке create-react-app.

Требования к браузеру и настройка

Для работы приложения необходимо включить JavaScript и использовать последнюю версию браузера Chrome. Также потребуется активировать флаги "Experimental WebAssembly" и "Experimental WebAssembly JavaScript Promise Integration (JSPI)" в настройках браузера.

Процесс генерации изображений

Процесс генерации изображения включает несколько этапов:

• Каждый этап занимает примерно 1 минуту.
• Дополнительно около 10 секунд требуется для работы VAE-декодера.
• Открытые инструменты разработчика (DevTools) могут замедлить процесс примерно в два раза.
• Модель UNET, отвечающая за генерацию, работает на CPU для достижения лучшей производительности и точности по сравнению с GPU.
• Для получения приемлемых результатов рекомендуется использовать минимум 20 этапов генерации.
• Файлы модели кэшируются, что исключает необходимость их повторной загрузки.

Особенности и ограничения

Приложение предлагает удобный интерфейс для загрузки модели, запуска генерации и просмотра результатов. Несмотря на использование WebGPU, реализация в onnxruntime находится на ранней стадии, что приводит к неполной поддержке некоторых операций и частой передаче данных между CPU и GPU, снижая производительность. Многопоточность не поддерживается, а ограничения WebAssembly не позволяют создавать 64-битную память с SharedArrayBuffer. Разработчик планирует решить эти проблемы путем внесения изменений в спецификации и оптимизации движка.

Исходный код и дополнительные возможности

Исходный код Stable Diffusion Webgpu доступен на GitHub, что позволяет запускать приложение локально. Предоставляется пропатченная версия onnxruntime для работы с большими языковыми моделями через transformers.js, однако ее надежность во всех сценариях не гарантируется. Разработчик также планирует отправить запрос на слияние изменений в репозиторий onnxruntime.