12 октября 2026Команда Сарнас

Яндекс открыл веса AliceAI-Foundation-80B-A3B-Base: MoE-модель, обученная с нуля

Яндекс выложил в открытый доступ претрейн-чекпоинт AliceAI-Foundation-80B-A3B-Base — MoE-модели на 80 млрд параметров, обученной полностью с нуля без опоры на чужие веса. В статье разбирается, что именно стоит за релизом: гибридное внимание на Kimi Delta Attention, балансировка экспертов из DeepSeek-V3, схема Attention Residuals и оптимизатор Muon. Это редкий случай, когда крупный игрок публикует не только результат, но и детали архитектурных решений с замерами их вклада.

21 сентября 2026 года Яндекс представил и выложил в открытый доступ претрейн-версию языковой модели AliceAI-Foundation-80B-A3B-Base. Веса опубликованы под лицензией Apache 2.0, сама модель, технические отчёты и бенчмарки доступны на Hugging Face. В публикациях модель называют иначе — Alice AI Foundation LLM.

Модель обучена полностью с нуля, без использования весов сторонних опенсорс-моделей. В открытый доступ выпускается только чекпоинт после reasoning-стадии; промежуточный чекпоинт (до неё) используется лишь для сравнения. Это претрейн-версия, а не дообученная под диалог.

Что именно изменилось

Архитектурно модель построена на Mixture of Experts: всего 80 млрд параметров, но при обработке каждого токена активируются только 3 млрд, за счёт чего требуется меньше вычислительных ресурсов. Составные части названия (80B, A3B) в текстах не расшифровываются. Для сравнения приведён один пример: у модели GLM-5.3-Flash от Z.ai из 320 млрд параметров одновременно работают лишь 18 млрд.

Вместо стандартного auxiliary load-balancing loss применена балансировка экспертов с динамически обновляемыми bias из DeepSeek-V3: смещение, добавляемое к оценкам экспертов, обновляется по ходу обучения и перераспределяет нагрузку между ними. Нестабильность активаций MoE воспроизводилась при сохранении ширины и top-k.

Внимание устроено на Kimi Delta Attention (KDA) в сочетании с full attention, слои чередуются в соотношении 3:1: на каждые три KDA-слоя приходится один full-attention-слой. KDA хранит историю не в виде отдельных ключей и значений для каждого токена, а сворачивает её в состояние фиксированного размера, поэтому память под это состояние не растёт вместе с длиной контекста. При обработке нового токена KDA извлекает из состояния значение, соответствующее его ключу, сравнивает с новым значением и записывает только поправку — разницу между ними, так что состояние не перезаписывается целиком, а постепенно уточняется. Модель может постепенно забывать информацию, которая перестала быть полезной: в отличие от Gated DeltaNet, KDA использует отдельный коэффициент для каждой строки матрицы состояния. Full attention даёт каждому токену прямой доступ ко всем предшествующим, но за это приходится платить ростом KV-cache вместе с длиной последовательности — KDA используется, чтобы уменьшить эту стоимость.

На моделях размером 5–15B замена Gated DeltaNet на KDA снизила лосс примерно на 0,02 в абсолютном выражении и улучшила результаты примерно на 2–6 п. п. в математике, на 5 п. п. в MMLU Pro CoT и на 2–4 п. п. в образовательных задачах и извлечении информации. По этим результатам KDA выбрана для итоговой архитектуры.

Attention Residuals и Block AttnRes

Attention Residuals заменяет суммирование выходов предыдущих слоёв их взвешенной суммой: веса вычисляются для каждого токена с помощью обучаемого pseudo-query и softmax по глубине модели, а перед вычислением весов представления нормализуются RMSNorm. В полном варианте (Full AttnRes) каждый слой обращается к отдельным выходам предыдущих слоёв. В Block AttnRes с размером блока 8 слоёв выходы слоёв внутри блока накапливаются в частичную сумму, и каждый следующий слой обращается к ней и к завершённым представлениям предыдущих блоков. Под слоем здесь понимается отдельный attention или MoE, поэтому один AttnRes-блок объединяет 4 трансформерных блока.

Размер блока 8 сокращает число представлений, читаемых AttnRes-кернелом, и объём чтения из памяти. Увеличение блока дополнительно сокращает объём чтения, а на инференсе дополнительно снижает объём временно хранимых представлений во время prefill. В экспериментах на моделях 5–15B добавление Block AttnRes снизило лосс примерно на 0,017 и улучшило результаты: примерно на 3 п. п. в MMLU Pro CoT на русском и английском, на 4,9 п. п. в GSM8K CoT на английском и на 4–5 п. п. в ряде образовательных бенчмарков.

Оптимизатор Muon и его распределение по GPU

Muon — оптимизатор для двумерных матриц параметров: сначала вычисляет momentum из градиентов, затем приближённо ортогонализует полученную матрицу методом Newton-Schulz. В отличие от покомпонентного преобразования обновлений в AdamW, Muon учитывает матричную структуру параметра и совместно преобразует все его строки и столбцы. Ортогонализация делает шаг дороже, но Muon достигает сопоставимого качества примерно с половиной затрат по FLOPs относительно AdamW в compute-optimal режиме.

В распределённом обучении FSDP. Независимое применение Newton-Schulz к отдельным шардам не эквивалентно обработке полной матрицы, поэтому шарды momentum нужно собрать перед Newton-Schulz и распределить обратно после. Матрицы преобразуются в work units: тензоры MoE разбиваются вдоль оси экспертов, остальные двумерные веса образуют по одному work unit. Для каждого work unit оценивается вычислительная стоимость ортогонализации, затем применяется LPT — work units упорядочиваются от самых дорогих к самым дешёвым и последовательно распределяются по вычислительным группам с наименьшей текущей нагрузкой. Каждая стадия проходит три шага: сборку полных матриц momentum, Newton-Schulz и возврат обновлений. Стадии образуют конвейер: пока для одной стадии выполняется Newton-Schulz, одновременно собираются матрицы следующей и возвращаются результаты предыдущей, а коммуникации и ортогонализация перекрываются в отдельных CUDA streams.

Отвергнутые решения

Z-Loss на логитах роутера добавили, чтобы ограничить их масштаб, но это не устранило нестабильность — идею перенесли на выходные активации MoE. SwiGLU с hard clipping отвергли: для вышедших за порог компонентов производная равна нулю, они не вносили вклад в градиент, а в экспериментах вариант ухудшал качество. Gated RMSNorm применяли ко всем нормализациям, кроме QK-нормализаций в слоях KDA и full-attention: активации стали меньше, но выбросы всё ещё случались. Замена SwiGLU на GLU в паре с Gated RMSNorm стабилизировала активации, но ухудшила качество; связка с Attention Residuals давала стабильные активации без просадки качества, однако дополнительные проекции замедляли обучение примерно на 5%.

Как проходило обучение

Обучение шло в четыре последовательные стадии. Первая — основной претрейн на 17,5 трлн токенов с длиной контекста 8K. На двух следующих стадиях контекст последовательно увеличивали до 32K, а затем до 256K, продолжая обучение с уменьшенными learning rate и размером батча; гиперпараметры для этих стадий подбирались экспериментально. От длительной 32K-стадии отказались, потому что не увидели значительного роста бенчмарков длинного контекста от увеличения её длительности, поэтому основной вычислительный бюджет отвели на 256K-стадию. Последняя стадия посвящена рассуждениям и агентским взаимодействиям, и на ней длину контекста уменьшили с 256K до 128K ради экономии вычислительных ресурсов: качественных примеров со столь длинными рассуждениями мало, а самые длинные траектории чаще содержат шум и избыточные шаги.

Предыстория: почему обучение с нуля

Предыдущая Alice AI LLM обучалась с инициализацией весами открытой модели Qwen3-235B-A22B. Инициализация весами — не дообучение: при ней сохраняется полный цикл обучения на больших объёмах данных, но вместо случайных весов в начале подставляются веса внешней модели, что радикально сокращает длительность обучения и экономит ресурсы. Дообучение же лишь немного корректирует поведение внешней модели на ограниченном объёме данных, а основные возможности определяются исходными весами.

Переход на обучение с нуля позволяет обучить модель с нужными свойствами и проверить вклад обновлённого корпуса, архитектуры и гиперпараметров в серии обучений с нуля по 2 трлн токенов каждое. Новая модель превосходит предыдущую закрытую Alice AI LLM 235B по фактологическим знаниям, математике, программированию и работе с длинным контекстом при почти втрое меньшем общем числе параметров и примерно в семь раз меньшем числе активных.

Почему это сделали: фактология и синтетические данные

Большая часть фактологических знаний закладывается на этапе претрейна, а восполнить оставшиеся пробелы позже при ограниченном вычислительном бюджете крайне сложно. Новые факты на SFT усваиваются заметно медленнее уже известных, а их интенсивное проучивание может усиливать галлюцинации. При переносе рецепта аугментаций с дообучений на большой претрейн возникла проблема: из-за масштаба корпуса каждый факт встречается относительно реже, и простое увеличение числа эпох не помогало.

Решение — масштабирование корпуса аугментированных данных: аугментации распространили с отдельных наиболее полезных источников на весь корпус общего полезного фактологического веба, обработав около 30% собранного фактологического веба. Это дало около 3 п. п. на HardMultiQA в коротком приёмочном эксперименте, а в длинном эксперименте, где все изменения корпуса проверялись совместно, суммарный прирост составил около 5 п. п.

Синтетическая генерация QA-примеров несёт два риска: ответ может не соответствовать фактическому смыслу вопроса, и синтетические ответы часто генерируются в однотипном затюненном формате, который при массовом добавлении начинает доминировать в обучающей выборке. При анализе корпуса обнаружили семантически неоднозначные обучающие примеры и систематическое воспроизведение шаблонных ответов: неоднозначный пример сформировал устойчивую ассоциацию между словами запроса и конкретным ответом, а в синтетическом корпусе массово повторялся заданный шаблон — для живого человека к возрасту добавлялся год рождения, для умершего — годы рождения и смерти.

Как перестроили пайплайн сбора корпуса

Пайплайн перестроили так, что сначала небольшая модель с доступом к поиску отвечает на вопросы фактологического бенчмарка: если она находит правильный ответ в полученных документах, считается, что нужная информация доступна в источниках. Затем на те же вопросы отвечает крупная LLM без поиска — так проверяют, усвоила ли она эти знания при обучении. Это разделяет две разные проблемы: не попали нужные документы в претрейн-корпус или модель недостаточно хорошо усвоила содержащиеся в них факты.

Исследование показало, что более 60% полезных документов отсутствуют в корпусе из-за сильного урезания множества полезных сайтов на первом этапе сбора претрейн-корпуса и плохих фильтров отбора финальных страниц. После этого ввели отдельную целевую категорию в виде общего фактового веба и специально собрали корпус под него.

Что это меняет на практике

Для оценки агентских возможностей используются несколько бенчмарков с разными задачами: τ²-bench и VitaBench — для качества взаимодействия с пользователем и внешними сервисами, DeepPlanning — для планирования, SWE-bench Verified во фреймворке OpenHands — для кодовых агентов. Претрейн-модели не адаптированы к агентскому формату, поэтому перед замером все модели проходят SFT на одном и том же наборе агентских данных; после полноценного RL абсолютные результаты становятся выше, но основные различия между претрейн-экспериментами видны уже после SFT. Для оценки претрейн-моделей разработаны прокси-бенчмарки: модель ещё не может пройти полноценный диалог, но уже способна сделать отдельный шаг агентской траектории, качество которого и оценивается.

Практический эффект подтверждается экспериментом: модель, обученная только на reasoning-данных, заметно уступала Qwen на большинстве агентских бенчмарков, а после добавления в предобучающий корпус первых версий AWM- и GEM-данных разрыв существенно сократился — на части бенчмарков модель сравнялась с Qwen или превзошла её. Добавление агентских данных уже на этапе предобучения оказалось критически важным: модель, обученная на агентских взаимодействиях ещё во время претрейна, вела себя стабильнее на этапе RLVR и выходила на более высокое плато качества.

Результаты на бенчмарках

На бенчмарках фактологических знаний, образования и экспертных навыков модель занимает первое место на 8 из 10 тестов. На ExpertFactsQA Law (RU) — 49,6 против 40,5 у конкурента, на EGE CoT (RU) — 93,3. В математике на MATH-500 (EN) результат 91,1, на EduBench Math University (RU) — 70,1, что названо лучшим скором в сравнении. В коде на LiveCodeBench v5-6 CoT 1-shot pass@1 (EN) — 50,5, первое место делится с двумя конкурентами по 50,4; на BigCodeBench 1-shot pass@1 (EN) модель уступает лидеру (48,3 против 49,8). На длинном контексте FinQA 128k (EN) первое место делится с DeepSeek (74,1), а на LongMemEval 128k (EN) модель отстаёт от Nemotron на 0,2 п. п. (64,6 против 68,0). В сложном ризонинге претрейн-модель лидирует на IMO-AnswerBench (88,7), HMMT Feb 2026 (96,9) и LiveCodeBench v5-6 pass@1 (60,4), делит первое место на AIME 2026 (96,7), но уступает на Codeforces CPP pass@8 (68,9 против 73,7).

Что даёт reasoning-стадия

Сравнение чекпоинтов показывает, что reasoning-стадия даёт существенные приросты на сложных задачах, и эффект не сводится к формату ответа. На AIME 2026 pass@32 разница составила +63,4 п. п., на HMMT Feb 2026 pass@32 — +72,6 п. п., на Codeforces CPP 0-shot pass@8 — +45,6 п. п. Даже после одинакового полноценного SFT преимущество сохранилось: на HMMT 2026 прирост pass@1 составил 3,8 п. п., а на Codeforces — 6,6 п. п. Это указывает на то, что эффект reasoning-стадии не удалось восполнить одним SFT.

Ограничения и открытые вопросы

Авторы признают, что при попытке запуска продолжительного претрейна не получили ожидаемого роста результатов на фактологических бенчмарках относительно более компактных дообучений на тех же данных, и связывают это с относительной частотой полезных данных; простое увеличение числа эпох проблему не решало. В открытый доступ выпускается только чекпоинт после reasoning-стадии, промежуточный используется лишь для сравнения.

Работа над полнотой корпуса включает необходимость независимо и честно измерять полноту, для чего использовался репрезентативный бенчмарк. При анализе корпуса обнаружены семантически неоднозначные обучающие примеры и систематическое воспроизведение шаблонных ответов. Few-shot-контекст способен компенсировать ошибочную ассоциацию, однако сама необходимость такой коррекции — нежелательная характеристика претрейна: корректный смысл запроса должен восстанавливаться без дополнительных демонстраций.

Где и как запустить модель

Веса модели открыты под лицензией Apache 2.0, и это претрейн-версия, обученная с нуля. Модель построена на архитектуре Mixture of Experts: всего 80 млрд параметров, но при обработке каждого токена активируются только 3 млрд, за счёт чего требуется меньше вычислительных ресурсов. В открытый доступ выпускается только чекпоинт после reasoning-стадии.