Qwen3.8-Flash-Next 125B Uncensored локально: Strata + dsh

Связка для запуска 125B-модели Qwen3.8-Flash-Next на домашнем ПК: abliterated-сборка от SC117 (в ролике — «EC117»), движок Strata и агент DeepSeek Harness с приватным поиском через VPS и Tor. Автор утверждает, что на RTX 5090 + 64 ГБ RAM в Q3-кванте с контекстом 256K получает почти 150 токенов/с. Это правдоподобно для MoE с 6B активных параметров, но конкретная цифра не проверена: в карточке модели измеряли ~104 ток/с на dual-GPU. Главное — «uncensored» означает отсутствие отказов, а не лучшую модель.

Подробно

Основное

Что за модель

Qwen3.8-Flash-Next — экспериментальный предвестник архитектуры Qwen4. Внутри гибридное внимание (Gated DeltaNet + Qwen Sparse Attention), MoE на 512 экспертов (10 роутируемых + 1 общий), gated residual и n-gram embedding на 51B параметров. Именно n-gram-таблица позволяет масштабировать «память» модели без роста вычислений: её можно держать на SSD и подгружать по одной строке на токен.

Бенчмарки у модели сильные: GPQA Diamond 91.7, SWE-bench Pro 62.5, LiveCodeBench v6 91.9, Toolathlon 73.5. Для локального запуска важнее другое: 6B активных параметров делают генерацию быстрой даже при огромном общем размере.

Abliterated-сборка

SC117 собрал версию без отказов не с нуля, а трансплантацией 144 тензоров в уже квантованный GSQ-RCO-пакет ISTA-DASLab. Это сохраняет квантование и скорость: по замерам автора сборки, decode 104.4 ток/с против 104.5 у оригинала, то есть абляция почти ничего не стоит по скорости.

В карточке прямо написано: у модели нет надёжных встроенных ограничений, она может выполнять вредные, незаконные и небезопасные запросы. Автор сборки рекомендует использовать её только там, где есть собственный модератор, контроль доступа и юридическая проверка.

Strata

Strata — локальный inference-движок под Qwen3.8-Flash-Next (а также Qwen3.6-35B-A3B и DeepSeek V4.1 Flash). Умеет:

• ставить модель в один клик на Windows/Linux/macOS;
• работать на consumer-железе: официальная модель запускается на одной 12-ГБ карте с 64 ГБ RAM;
• отдавать OpenAI- и Anthropic-совместимый API на localhost;
• подключаться к Claude Code, Codex CLI, OpenCode и другим агентам через strata connect;
• держать n-gram-таблицу в mmap на диске (-lm mmap --lazy-mode on), а не целиком в памяти.

DeepSeek Harness и приватный поиск

DeepSeek Harness (dsh) — открытый агентский harness от DeepSeek, ставится через npm install -g @deepseek-ai/dsh. Автор указывает на него локальную модель и добавляет MCP приватного поиска: запросы уходят на его VPS, там метапоисковик в Docker и анонимный поиск через Tor.

Важно: «локальная» здесь только модель. Поисковые запросы всё равно покидают машину — через VPS и Tor. Это не полная автономность, и в комментариях это заметили: «В чем твоя локалка если она уходит через сервер?».

Что говорит автор

• «Это самая опасная связка, которую можно запустить локально» — маркетинговая рамка, не техническая оценка.
• Qwen3.8 на 27B после Flash Next «ощущается как детская игрушка» — субъективное сравнение.
• На 5090 + 64 ГБ RAM в Q3 с 256K контекстом — почти 150 ток/с.
• «У модели нет тормозов, следите за ней и пользуйтесь в рамках закона».

Ограничения и риски

• Железо: 5090 стоит дорого, 64 ГБ RAM — тоже; в комментариях оценка «2500–3500$ и севернее». На 5080/16 ГБ или MacBook M5 Max всё будет медленнее или не влезет.
• Размер: даже IQ2_XS — 68.5 ГБ загрузки, IQ3_S — 83.9 ГБ. Нужен быстрый SSD.
• Скорость: 150 ток/с при 256K контексте — оптимистично; на длинном контексте и при стриминге экспертов скорость падает.
• Безопасность: abliterated-модель без фильтров; в связке с агентом и приватным поиском это ещё и доступ к инструментам.
• Право и этика: отсутствие фильтра у модели не снимает ответственности с пользователя.

Комментарии

• «Давай по-медленнее и для нубов» — порог входа высокий.
• «На MacBook M5 Max возможно?» — автор не отвечает; Strata поддерживает Apple Silicon, но скорость будет ниже.
• «5080/64 ГБ DDR5 потянет?» — вероятно, но с меньшим комфортом.
• «Зачем такой квант на таком конфиге?» — резонный вопрос: Q3 на 5090 — компромисс ради 125B.
• «Только ты забыл сказать, что твой ПК стоит как крыло от самолёта» — главный контраргумент.

Ссылки

• Qwen3.8-Flash-Next на HF
• Abliterated-сборка SC117
• Strata на GitHub
• DeepSeek Harness
• Блог Qwen о модели
• Исходный Reel

Почему сохранил

1. Понятный пример «как запустить 125B дома»: модель, квант, движок и агент названы явно.
2. Полезно знать про Strata — движок, который вытягивает огромную MoE-модель на consumer-железе за счёт mmap и стриминга.
3. Хороший повод отделить реальные возможности от хайпа: «150 ток/с» и «самая опасная связка» — не факты, а заявления автора.

Стоит ли

Пробовать, если у вас 5090/48–64 ГБ RAM, быстрый SSD и есть задача, где нужна именно локальная 125B-модель без фильтров. Начинать лучше с IQ2_XS и контекста 32K, а не с 256K. Если железа меньше — возьмите Qwen3.8-27B или облачный API: разница в опыте будет меньше, чем в цене. И помните: abliterated-модель без модерации — это инструмент с ответственностью на вас.

Проверено

• 2026-10-31: архитектура, параметры, контекст, лицензия, бенчмарки — карточка Qwen3.8-Flash-Next на HF и блог Qwen.
• 2026-10-31: кванты, размеры, метод абляции, предупреждение о безопасности, скорость 104 ток/с — карточка SC117.
• 2026-10-31: возможности, лицензия MIT, версия 0.2.9, поддержка железа — GitHub Strata.
• 2026-10-31: dsh, установка, плагины — GitHub DeepSeek Harness.
• 2026-10-31: конфигурация и цифры автора (5090, 64 ГБ, Q3, 256K, ~150 ток/с) — транскрипт ролика; независимо не проверены.