Я завершил создание LoRa для Dark Fantasy RP с ИИ v2
Теперь LoRa умеет жестить и на английском языке.
И снова здравствуйте! На самом деле говорить особо не о чем, но дам пару деталей, которые отличают новую итерацию модели, которую я хотел воплотить в жизнь еще 2 года назад.
Повторю то, что писал для первой модели - ее цель: заставить модель быть более жестокой и решительной. Чтобы она не спрашивала твоего разрешения, можно ли тебя пырнуть в темном переулке, в который ты, дурак такой, забрел, и сделать это чуть более литературно и жестоко, чуть более грязно, чем обычно.
И вторая версия справляется еще лучше, и теперь умеет работать и на английском языке!
В новой версии к русскоязычному датасету был добавлен англоязычный. Взята книга на английском языке, прогнана через те же скрипты для разделения на сцены и прогон через LLM для формирования синтетики, добавлен англоязычный разбавитель LimaRP и новый датасет просто скрещен со старым. Получилось 1488 строк (лол)
А остальное все тоже самое - куча проблем со скриптом обучения, слоями, и всем остальным.
Самое интересное, что в этот раз я не ощущал синдрома самозванца так сильно, ибо на этот раз понимание процессов было ну немного поболе. Скорее ощущался стресс, потому что обучением я занимался на работе, в один из самых тяжелых по задачам дней. Было трудно, но весело.
Базовая модель: Naphula/Goetia-26B-A4B-v1.3-Absolute-Heretic-ARA
Рекомендуемая сила: 0.4-0.6
Буду рад фидбеку! Всем добра