Liquid AI выпустила первое поколение семейства LFM3 — шесть моделей примерно по 2B параметров, ответвлённых от общего бэкбона LFM3-1.7B-Base. Четыре покрывают входные модальности (текст, зрение, аудио, omni), ещё две — decision-моделиДве модели семейства LFM3, специализированные из vision- и omni-моделей для принятия решений., специализированные из vision- и omni-вариантов.
Вместе с релизом компания переработала архитектуру относительно LFM2: прежнюю гибридную схему из коротких свёрток и внимания заменил tri-hybrid layer mixсмесь трёх операторов: свёрток с гейтом, внимания в скользящем окне и глобального внимания, добавлены гейтирование голов вниманиясигмоидный гейт, масштабирующий выход каждой головы и позволяющий ей отключаться, частичный RoPEвращение только высокочастотной половины каждой головы в слоях глобального внимания и нормализация на входе и выходе каждого блокаприём, при котором блок нормализует и свой вход, и свой выход, чтобы активации оставались хорошо масштабированными. Заявленная цель — уложить агентные и мультимодальные возможности в ограничения вычислений, памяти и энергии edge-устройств.
Что именно изменилось
Состав семейства. Текстовая LFM3-1.7B рассчитана на локальных агентов и специализированные приложения, контекстное окно — 256K токенов. LFM3-VL-2B принимает видео и рассуждает пошагово. LFM3-Audio-2B работает на ноутбуках и edge-устройствах, принимает текст или аудио и отвечает текстом, речью или обоими. LFM3-Omni-2B — первая omni-модель компании, объединяющая зрение, аудио и язык. Четыре модели покрывают входные модальности — текст, зрение, аудио и omni. Все шесть ответвлены от одного бэкбона LFM3-1.7B-Base и имеют около 2B параметров.
Tri-hybrid layer mix. tri-hybrid layer mix: вместо двух операторов LFM3 комбинирует три — gated short convolutionsсвёртки с коротким ядром и гейтом, sliding-window attentionвнимание в пределах скользящего окна фиксированной длины (SWA) и global attentionвнимание по всей последовательности. Слои не чередуются по фиксированному шаблону: модель просто состоит из 24 слоёв, где 13 — свёртки, 5 — SWA с окном 256 токенов и 6 — глобальное внимание. Размер ядра свёрток вырос с 3 до 7. Свёртки по-прежнему занимают больше половины слоёв: авторы пробовали заменять их другими блоками, чтобы добавить возможностей без замедления на длинном контексте, и SWA дала лучший компромисс качества и скорости.
Гейтирование голов. head-wise gated attentionсигмоидный гейт на выходе каждой головы внимания масштабирует её вклад, так что голова может «отключиться», когда ей нечего добавить.
Частичный RoPE. В слоях глобального внимания RoPEпозиционное кодирование через вращение пар измерений вектора применяется только к высокочастотной половине каждой головы, низкочастотная остаётся без вращения — так эти измерения совпадают по содержанию независимо от расстояния. Слои SWA сохраняют полный RoPE.
Нормализация блоков. Каждый блок нормализует и свой вход, и свой выход, чтобы активации оставались хорошо масштабированными. Выигрыш проявляется на длинном контексте — при 8K токенов в контексте модель примерно на 25% быстрее.
Vision-энкодер. Собственный энкодер объединяет свёртки и внимание: 164M параметров дают 55.9% средней точности на 13 бенчмарках vision-language моделей — как у энкодера Qwen3.5-2B, но при в 2.2 раза меньшем числе FLOPs. Для видео энкодер совместно встраивает каждую пару сэмплированных кадров в один временной срез признаков, вдвое сокращая длину временной последовательности перед дальнейшим кодированием. В LFM3-VL энкодер требует в 3 раза меньше вычислений, чем SigLIP2 в предыдущих LFM VL.
Предыстория
Предыдущей VL-серией была LFM2.5-VL-3B на 3.1B параметров. LFM3-VL-2B при 1.9B параметров поднимает средний балл по 62 vision-бенчмаркам с 57.6 до 71.4. По категориям у LFM2.5-VL-3B: 57.6 в General, 67.9 в Perception, 71.2 в Document/OCR/Chart, 40.6 в Math & logical reasoning, 68.3 в Visual grounding, 48.0 в Embodied reasoning, 66.0 в GUI understanding, 41.3 в Video, 81.2 в Multilingual, 21.1 в Agentic. В предыдущих LFM VL использовался энкодер SigLIP2.
Почему это сделали
ИИ смещается из облака на клиент, и разработчикам нужны модели, которые эффективно развёртываются на широком спектре AI PC, — при этом возможности надо уложить в рамки вычислений, памяти и энергии edge-устройств. Для локальных агентов и tool callingвызова внешних инструментов моделью через структурированные запросы нужна отдельная пост-тренировка под агентные обвязки (harnesses — среды запуска агентов): Hermes Agent, Pi и OpenClaw. Модель должна уметь искать нужный инструмент среди тысяч вариантов. Подготовка идёт на этапе mid-training — с увеличенной долей агентных трасс и разнообразных вызовов инструментов. Результат: LFM3 превосходит предшественника LFM2.5-2.6B при на 35% меньшем числе параметров, и наибольший выигрыш — на агентных задачах.
Что это меняет на практике
Сценарии текстовой модели. LFM3-1.7B закрывает локальных агентов, вызов инструментов, структурированные выходы и служит базой для дообучения под домен. Модель разбирает почту, ведёт календарь, ищет в вебе, присылает утренние сводки в WhatsApp, ищет инструмент среди тысяч. Поскольку токены бесплатны, десятки агентов могут работать непрерывно в фоне. Адаптация под свои домены, обвязки и инструменты — коротким дообучением на одном GPU.
Робототехника. LFM3-VL-2B адаптируют в три дополняющие модели. Оркестратор управляет роборукой через вызовы инструментов: локализует объекты указанием, измеряет их инструментами глубины, вызывает планировщики движения, проверяет результат по следующим кадрам и сообщает, в том числе когда запрос вне досягаемости или неоднозначен. Архитектурных изменений не потребовалось: LoRA-адаптерлёгкая дообучаемая надстройка над весами модели, которая подстраивает её под новую задачу без переобучения всех параметров ранга 32 обучен примерно на 40 000 образцов примерно за шесть GPU-часов на одном AMD Instinct MI325X. Навигатор по описанию маршрута и недавним RGB-кадрам предсказывает пространственные цели и траекторию за пять токенов — два пространственных/управляющих токена и три иерархически квантованных кода, кодирующих путь из десяти путевых точек; на невиданных сценах при строгом протоколе непрерывного управления — 53% успеха на R2R и 43% на RxR. VLAмодель, которая по изображениям, языковой команде и состоянию робота выдаёт действия для манипуляции манипуляции отображает изображения, язык и состояние робота в восьмишаговые блоки непрерывных действий за один прямой проход: небольшой остаточный MLP переводит скрытые состояния восьми action-query токеновслужебных токенов, чьи скрытые состояния превращаются в шаги действий робота в блок действий. Обученная совместно на 15 воплощениях, модель даёт 96.2% средней успешности на четырёх наборах LIBERO и 45.7% на настольных задачах RoboCasa-GR1, генерируя блоки действий менее чем за 50 мс на Jetson AGX Orin с TensorRT FP16.
Замеры. On-device метрики снимаются в llama.cpp при квантовании Q4_0 и контексте 32K токенов. По ним LFM3-1.7B — самая быстрая модель на всех трёх устройствах: декодирует в 1.8–2.8 раза быстрее следующей за ней модели и потребляет меньше всего памяти. Полный контекст на 128K токенов требует 1.6 ГБ KV-кэшасохраняемых при генерации ключей и значений внимания, которые занимают память под длинный контекст против 4.3 ГБ у Qwen3.5-4B и 5.6 ГБ у MiniCPM5-2B.
Бенчмарки. LFM3-1.7B набирает 28.20 на EnterpriseOps-Gym и 28.97 на AutomationBench (public), обходя Qwen3.5-9B на длинных задачах в браузерах и бизнес-приложениях. LFM3-Omni-2B — 70.1 на Daily-Omni и 47.1 на WorldSense (Video + Audio Understanding); сравнение с Qwen2.5-Omni-3B, Qwen2.5-Omni-7B, Gemma 4 E2B, Gemma 4 E4B и Phi-4-multimodal. LFM3-Audio-2B — UTMOSv2метрика оценки качества синтезированной речи = 3.8 и WERдоля ошибок распознавания речи = 1.4; сравнение с LFM2.5-Audio-1.5B, Qwen2.5-Omni-3B, Gemma 4 E2B, Gemma 4 E4B, Voxtral Mini 3B, MiMo-Audio-7B-Instruct и Kimi-Audio-7B-Instruct.
Vision-бенчмарки. LFM3-VL-2B опережает все модели схожего размера минимум на 7.4 пункта, сравнивается с Gemma 4 12B (71.7), превосходит Gemini 3.5 Flash Lite (70.0) и отстаёт от GPT-5.6 Luna (73.4) менее чем на 2 пункта. По категориям против LFM2.5-VL-3B: General 66.0 против 57.6, Perception 75.6 против 67.9, Document/OCR/Chart 83.9 против 71.2, Math & logical reasoning 68.8 против 40.6, Visual grounding 77.3 против 68.3, Embodied reasoning 64.4 против 48.0, GUI understanding 83.1 против 66.0, Video 61.2 против 41.3, Multilingual 84.4 против 81.2, Agentic 42.5 против 21.1. Категорийный балл — невзвешенное среднее по бенчмаркам категории, строка Average — невзвешенное среднее по всем 62 оценкам.
Запуск через transformers. Для LFM3-VL-2B модель загружается классом для работы с изображением и текстом, процессор — стандартным автопроцессором; сообщения задаются списком словарей с полями role и content, где части имеют тип image (с url) или text. Для LFM3-Audio-2B используется класс для мультимодальных языковых моделей, аудиокодек берётся из процессора, диалог содержит часть типа audio с путём к wav, ассистентский хвост задаётся строкой <|mixed_start|>, шаблон применяется с продолжением последнего сообщения. Для d1-2B — базовый автокласс модели, вопросы передаются в model.system_one словарём с типами noul (да/нет), choice (с criteria и опционально multiple) и score (criteria — список уровней). Требования к версии transformers приведены для нескольких вариантов установки, но не привязаны к конкретным моделям: от простого обновления до последней версии до transformers>=5.21.0, >=5.20.2 и >=5.19 с разными наборами сопутствующих пакетов (torch, torchvision, pillow, accelerate, librosa, soundfile, torchcodec).
Ограничения и открытые вопросы
Авторы признают: «из коробки» LFM3-VL-2B и GPT-6 Luna правильно определяют типы дефектов менее чем в 10% изображений. Короткое дообучение поднимает точность классификации LFM3-VL-2B до 67% и улучшает F1 детекции с 0.003 до 0.11 против 0.01 у GPT-6 Luna. На изображениях удара молнии GPT-6 Luna часто правильно локализует дефект, но неверно маркирует, а дообученная модель определяет удар молнии правильно. Помимо классификации и детекции, модель отвечает на вопросы об изображении на естественном языке — указывает видимое повреждение или составляет заключение об осмотре с типом дефекта, подтверждающими данными и местоположением.
Day-0 платформы-партнёры: Ambarella, AMD, Arm, Intel via OpenVINO, NVIDIA, OpenRouter, Qualcomm via Qualcomm AI Hub и GenieX, а также Vercel; Mercedes-Benz и Shopify отмечены как партнёры по предрелизному тестированию. Сценарии live speech (распознавание и синтез речи, понимание аудио, вызов инструментов) описаны в карточке LFM3-Audio-2B, video+audio (вопросы по изображению, совместный просмотр видео, превращение увиденного и услышанного в вызовы инструментов) — в карточке LFM3-Omni-2B, tool search вместе с on-device инференсом через llama.cpp — в карточке LFM3-VL-2B. В перечне day-0 платформ эти сценарии не перечислены.
