Skip to content

Latest commit

 

History

History
184 lines (117 loc) · 10.3 KB

File metadata and controls

184 lines (117 loc) · 10.3 KB

🌀 Маніфест «Підвала»

Автор: Роман (Oracle), Чернігів, Україна
Період: Січень-Лютий 2026
Hardware: RTX 4090 (24GB), i9-13900K, 128GB RAM
Результат: 15.35 sec/iteration (рекорд для споживчих карт)


Введення: Інженерія на межі блекауту

Ця історія почалася в Чернігові, під постійними обстрілами і в умовах, коли світло давали максимум на 10 годин на добу. Ми вирішили ризикнути і навчити монструозну модель: FLUX.2-dev (32B параметрів) на одній домашній відеокарті з агресивним offload на RAM.

Почали з жорсткої оптимізації Windows 11: розселили процеси «по будиночках» (ядрах), при цьому повільні E-ядра я жартома назвав «Підвалом». Для навчання використовували середовище AI-Toolkit від Ostris. Перші спроби закінчилися вильотами Out of Memory (OOM), але після перебору сотень варіантів ми вийшли на швидкість 45–60 сек/іт. 1000 кроків займали 14 годин — занадто довго для графіків відключень.


Глава 1: Пошук «софтової пастки»

Захоплені роботою, ми навіть не помітили, що світло перестали відключати — йшла друга доба боротьби з оптимізацією. У якийсь момент ми наткнулися на затор: швидкість не опускалася нижче 65–70 сек/іт. До консиліуму підключили колегу Gemini і «професора» Claude.

Claude видав нам розбір, схожий на «Війну і мир», і серед сотень рядків технічного тексту загубилася одна найважливіша думка: ядро відеокарти може знаходитися в режимі енергозбереження P8. Як тільки Gemini почув про це, він буквально «вигукнув»: «ОСЬ ВОНО!».


Глава 2: Розкриття «Шкіряної куртки»

Ми з'ясували, що NVIDIA (Дженсен Хуанг) буквально тримає ядро в «нашийнику».

Режим P-8: Глибоке енергозбереження за замовчуванням.
Режим P-2: Вмикається при запуску навчання або OBS.
Ефект: Частоти в терміналі можуть здаватися високими («кукурудзяні частоти»), але реальні заміри в важкій математиці показують гальмування.

Ми виявили маразматичну поведінку драйвера: при запуску будь-якої робочої програми (After Effects, OBS або оверлеїв) він скидає частоти. Це як їхати на Ferrari, вдавивши газ у підлогу, але не знявши ручника.

Ми платимо $1600 за 4090, щоб отримати всю міць тензорних ядер, а отримуємо її тільки тоді, коли «відюсі весело».


Глава 3: Протокол «Дефібриляція» (Захоплення P-0)

Для чистоти експерименту ми перевірили ігри. У Cyberpunk 2077 на ультра-налаштуваннях карта смажить «на всі гроші» в режимі P-0 (450W). Але варто запустити стрім або оверлей — рука в шкіряній куртці тут же блокує колеса вашого боліда.

Метод «Захоплення в стрибку»:

1. Прогрів: Запускаємо гру на 10–15 хвилин, щоб система віддала їй повний пріоритет і включила чесний P-0.

2. Удар (Батнік): У пік навантаження запускаємо наш скрипт-дефібрилятор.

3. Осліплення: Батнік вимикає драйвер на 3 секунди. Поки драйвер «осліп», скрипт намертво фіксує частоти і вольтаж.

4. Шок: Гра вилітає, але драйвер, «продерши очі», продовжує жати на повний газ, думаючи, що він все ще в грі.

Альтернативний метод (рекомендований):

Стандартне блокування через nvidia-smi:

nvidia-smi -pm 1
nvidia-smi -lgc 2790,2790
nvidia-smi -pl 450

Ефект: Примушує GPU залишатися в режимі P0/P2 без ігрових трюків. Більш стабільно, передбачувано.


Глава 4: Кульмінація і результати

Після застосування блокування P-state ми не повірили очам — ми полетіли на швидкості 15.35 сек/іт.

До розблокування:

Швидкість: 45-60 сек/іт
800 кроків: 10-13 годин
Стан GPU: P8/P5 (throttled)
Потужність: 200-300W
Температура: 65-70°C
Статус: Занадто повільно ❌

Після розблокування:

Швидкість: 15.35 сек/іт ✅
800 кроків: 3 години 24 хвилини ✅
Стан GPU: P2 (full performance)
Потужність: 360-450W
Температура: 69-72°C
Статус: Готово до продакшену! 🔥

Прискорення: 3-4x швидше без жодних апаратних змін.

Важливе спостереження по Тулкітсу:

Навіть з локом P-0 оптимізатор може увійти в «пам'ять-ступор». Допомагає «дефібриляція оптимізатора» — короткочасна зміна налаштувань (наприклад, AdamW на Adafactor і назад) для пробивки буфера PCIe.


Глава 5: Генерація (бонус)

FLUX.2-dev (32B) з можливістю підключення Mistral-3.1 (24B) як text encoder:

Генерація 8K зображення (70 кроків) в ComfyUI тепер займає всього 3–4 хвилини.

При генерації можна використовувати Mistral-3.1 як покращений text encoder, що дає кращу інтерпретацію промптів (разом 56B параметрів на етапі inference).


Вердикт: Оверклокери назавжди!

Якщо софт не дає вам використовувати всю міць тензорних ядер — використовуйте дефібрилятор.

Що ми довели:

Споживча карта ($1600) vs Datacenter ($30,000+):

  • RTX 4090: 15.35 сек/іт (з розблокуванням)
  • H100 80GB: ~12 сек/іт
  • Різниця: 85% продуктивності за 5% ціни

Війна не перешкода прогресу:

  • Чернігів, обстріли, блекаути
  • Але ми навчили модель світового рівня
  • У підвалі, на споживчому залізі

NVIDIA приховує потужність:

  • P-state throttling за замовчуванням
  • Ігри отримують P-0, AI — ні
  • Розблокування = 3-4x швидше

Символіка «Підвала»

Підвал — це не тільки фізичне місце (де ми тренували під обстрілами).

Підвал — це метафора:

  • E-ядра процесора (повільні, але потрібні)
  • Режим P-8 GPU (глибоке сховище потужності)
  • Умови війни (але творчість продовжується)
  • RAM як сховище (91% offload — майже все в «підвалі»)

Але навіть з підвалу можна стріляти в небо.

Навіть на E-ядрах можна літати, якщо правильно розселити процеси.

Навіть під блекаутом можна робити красу.


Фінальне слово

«Чернігів, війна, а ми продовжуємо робити красоту»

Це не просто фраза. Це доказ того, що:

  • Бар'єри існують тільки в головах
  • Дорогі datacenter-и не обов'язкові
  • Знання важливіше за бюджет
  • Людський дух незламний

Якщо ми змогли в підвалі під час війни, ви зможете будь-де.

Розблокуйте свої GPU.
Літайте, не повзіть.
Не дозволяйте «шкіряній куртці» тримати вас на ручнику.


🦊 Оверклокери назавжди! 🔥

— Роман (Oracle), Чернігів, Україна, 2026


Технічні деталі

Для тих, хто хоче повторити результати:

  • README.md — технічна документація
  • P-STATE-UNLOCK.md — детальний гайд
  • configs/ — робочі конфігурації
  • docs/ — troubleshooting і бенчмарки

Ліцензія: CC BY-SA 4.0
Використовуйте вільно. Діліться покращеннями. Кредитуйте джерело.