На arXiv вышли два препринта об управлении контекстом в языковых моделях. Первый (arXiv:2610.13895, «Task Context Shapes Component Roles in Language Models») показывает, что контекст задачи перераспределяет вклад компонентов модели: одни и те же головы внимания начинают реагировать на разные факты и по-разному влиять на последующие слои. Второй (arXiv:2610.11715, «Internalizer: Portable Context-to-Parameter Mapping for Very Large Language Models») предлагает гиперсетьнейросеть, которая порождает веса для другой нейросети, превращающую документ в LoRA-адаптернебольшой набор обучаемых весов, который подключается к замороженной модели и меняет её поведение без переобучения самой модели, чтобы модель несла контекст не в окне, а в собственных весах. Заявленное свойство portableпереносимость: большую часть параметров обучают на малых моделях, а затем переносят на большую состоит в том, что большинство параметров гиперсети находятся в не зависящем от модели стволе, а на каждую базовую модель приходятся лишь тонкие входные и выходные слои.
Обе работы — препринты, а не журнальные статьи и не обзоры.
Что именно изменилось
Контекст задачи меняет роли компонентов
В первой работе фиксированные компоненты модели сравниваются между задачами на одинаковых графовых фактахутверждениях о том, какие направленные связи присутствуют. Контекст задачи перераспределяет влияние в пяти открытых моделях четырёх семейств с 1.5–14 млрд параметров. В Gemma-2-9B и Qwen3-14B правка активации меняет ранний внутренний вектор активации, и при неизменной записанной инструкции модель начинает опираться на другой графовый факт. Те же головы затем отвечают на разные графовые факты и по-разному влияют на более поздние компоненты.
Документ превращается в адаптер
Internalizer — это гиперсеть. Она отображает контекст напрямую в LoRA-адаптер, так что большая языковая модель несёт контекст в своих весах.
Переносимость («portable») устроена так: большинство параметров гиперсети живёт в не зависящем от модели стволе — общей части, которая не привязана к конкретной базовой модели, — а на каждую базовую модель приходятся лишь тонкие входной и выходной слои. Поэтому её дёшево обучать на малых моделях, а потом переносить на большую.
После обучения один прямой проход превращает любой документ в адаптер для такой модели. Этот адаптер можно подавать отдельно — для скорости — или вместе с документом в окне, чтобы повысить точность.
Предыстория
Ранее контекст переносили в параметры с помощью гиперсетей, которые отображают контекст напрямую в LoRA-адаптер, позволяя модели нести контекст в весах. Такие гиперсети демонстрировались лишь на базовых моделях размером до 14 млрд параметров.
Почему это сделали
Мотивацией авторы называют проблему переносимости: предыдущие гиперсети работали только на моделях до 14 млрд параметров. Internalizer заявлен для замороженной DeepSeek v4 Flashбольшая языковая модель на 284 млрд параметров, для которой генерируются адаптеры с 284 млрд параметров — это на два порядка больше, чем в любой предыдущей работе.
На невиданных документах объёмом до 4096 токенов сгенерированные адаптеры достигают 84.9% top-1доля случаев, когда правильный ответ оказался самым вероятным вариантом модели и 97.8% top-5доля случаев, когда правильный ответ попал в пять самых вероятных вариантов модели точности в teacher-forced режимеоценка, при которой модель на каждом шаге получает правильный предыдущий токен, а не свой собственный сгенерированный, поэтому качество измеряется без накопления ошибок генерации против 63.4% и 83.5% у базовой модели. При этом в окне контекста находится только инструкция из трёх слов.
Что это меняет на практике
Заявлены две выгоды.
Первая — переносимость. Поскольку основная масса параметров гиперсети не зависит от модели, а для каждой базовой модели есть лишь тонкие входные и выходные слои, обучать её можно на малых моделях и затем переносить на большую.
Вторая — скорость. После обучения гиперсети один прямой проход превращает любой документ в адаптер, который можно подавать отдельно. Тот же адаптер можно подать и вместе с документом в окне — тогда точность повышается дальше.
Экономия памяти как заявленная выгода не упоминается.
Цифры
В работе о ролях компонентов: изменения задачи перераспределяют влияние в пяти открытых моделях четырёх семейств, 1.5–14 млрд параметров. Для каждого промпта строятся две линейные карты откликаЛинейные модели, которые по измеренному изменению активации более ранней головы внимания предсказывают отклик более поздней головы, строятся отдельно до и после правки активации. — до правки активации и после неё; каждая предсказывает отклик более поздней головы внимания по измеренному изменению более ранней. Для отдельного фактического вмешательства карта, построенная для соответствующего условия, снижает среднеквадратичную ошибку предсказания на 53.6% в Gemma и на 5.0% в Qwen.
В работе об Internalizer: замороженная DeepSeek v4 Flash на 284 млрд параметров, что на два порядка больше предыдущих работ; документы до 4096 токенов; 84.9% top-1 и 97.8% top-5 против 63.4% и 83.5% у базовой модели.
Ограничения и открытые вопросы
Internalizer генерирует адаптеры LoRA для документа и переносится между базовыми моделями за счёт model-agnostic trunkобщая часть параметров гиперсети, не зависящая от конкретной базовой модели, а работа о ролях компонентов показывает, что контекст задачи меняет и то, на какие графовые факты реагируют общие компоненты, и то, как их выходы влияют на последующие вычисления.
