Оригинальные искодные коды:
https://github.com/rasbt/LLMs-from-scratch
С первого раза не смог разобраться в должной мере. Мы тут "вроде как с 0" собираем. А по итогу, - выкачивааем из интернета уже готовое, т.к. сомостоятельно обучить, чтобы что-то хоть как-то работало, требуются вычислительные мощности стоимостью под $750k, да и то в случае успеха.
Придется вернуться попозже. Как появится желание упороться поглубже. Но похоже, идея которая и была изначально только подтвердилась, что в лучшем случае можно взять что-то готовое и сделать fine tuning.
Если кто из более сообразительных чем-то может поделиться инфой, будет круто.
P.S. Тут еще прошла инфа из 2х источников, что "Наш Гига Чат реально крут", это Qwen + наклейки. А яндекс, проводя свои обучающие семинары, тоже пользуется решениями от OpenAI.
- ✅ Знакомство с большими языковыми моделями
- ✅ Работа с текстовыми данными
▶️ ⏸️ Программирование механизмов внимания▶️ ⏸️ Создание GPT-подобной модели для генерации текста с нуля (Соберем модель GPT-2 в коде)▶️ ⏸️ Предварительное обучение на неразмеченных данных (Предварительно обучим модель GPT-2)▶️ ⏸️ Тонкая настройка по классификации (Загрузим предварительно обученные веса из OpenAI)▶️ ⏸️ Тонкая настройка по инструкциям
$ mkdir -p ~/projects/dev/ml/llm
$ cd ~/projects/dev/ml/llm
$ git clone https://github.com/webmakaka/Build-a-Large-Language-Model-From-Scratch
$ cd Build-a-Large-Language-Model-From-Scratch/$ pip install uv
$ uv venv --python=python3.12
$ source .venv/bin/activate
$ uv pip install -r requirements.txt
$ uv run jupyter lab