Программисты — удалённая работа в Москве

Разработка чат-ботов. Задачи чат-бота: развлечение :). Платформа: Google Colab. Продукт: -. Техзадания нет. ! Если я выставил неправильную категорию - пожалуйста, подскажите, что в задаче исправить ! Сразу оговорюсь, что задача для студента или школьника, который занимается нейронками в качестве хобби и для которого всë описанное ниже не представляет сложности. Идеальная цель - заставить вот этот HF space: https://huggingface.co/spaces/liuhaotian/LLaVA-1.6 работать на бесплатном Google Colab (или на сдвоенной видеокарте в kaggle - но тогда нужна понятная, выполнимая и легальная инструкция, как там зарегистрироваться). Понятно, что 34В параметров в 16GB бесплатного колаба не влезет. Судя по тому, что делали Camenduru и Badayvedat с llava-1.5, для этого нужно проквантовать в 4 бита, отшардировать по 3 ГБ и, вероятно, пару слоëв выгрузить в RAM (а ведь ещё нужно место на контекст оставить...) https://huggingface.co/spaces/badayvedat/LLaVA Результат выполнения задачи - блокнот для Google Colab (или для Kaggle, но тогда нужно понятная, легальная и выполнимая инструкция о том, как зарегаться там). Я понимаю, что вроде бы есть и более продвинутые модели, однако у llava-1.6 “есть душа“: она уже достаточно умна, чтобы выдавать интересные вещи, но ещё достаточно послушна, чтобы еë можно было-таки заставить отвечать, а не отмахиваться незнанием и этическими ограничениям. В частности, она может по картинке придумать историю человека или предмета. Если есть более разработанный и распространённый способ запуска (таверна, угабуга и т.д.), чем это странное gradio-поделие от Liu Haotian'a, то с удовольствием рассмотрю. Но этот вариант должен быть способен воспроизвести ранее имеющийся опыт (на нулевой температуре там всё однозначно) дословно или почти дословно (всё-таки предполагается квантование). То есть как минимум нужно будет задать системный промпт.