Создающую изображения нейросеть запустили на одноплатном ПК Raspberry Pi
У которой всего 512 МБ ОЗУФантазии людей нет предела: разработчик Вито Плантамура удалось запустить Stable Diffusion на миниатюрном и бюджетном компьютере Raspberry Pi Zero 2 W. Нейросеть, выпущенная в 2022 году, создает изображения по текстовым описаниям, но обычно требует высокой вычислительной мощности, а у Pi Zero 2 W всего 512 МБ оперативной памяти, но использовалось лишь 260.
Чтобы сделать это возможным, Плантамура разработал OnnxStream, специализированную библиотеку выводов, которая значительно сокращает потребление памяти при генерации изображений на Pi Zero 2 W. Хотя процесс занимает больше времени, чем обычно, результаты впечатляют. Плантамура утверждает, что OnnxStream потребляет в 55 раз меньше памяти, чем OnnxRuntime, и при этом работает всего в два раза медленнее. Он имеет открытый исходный код и может быть реализован на более производительных системах для улучшения потребления памяти.
Программное обеспечение и инструкции по настройке доступны на странице OnnxStream GitHub для тех, кто заинтересован в изучении этого проекта на Raspberry Pi.
Источник:Tom’s Hardware
Автор:Максим Многословный