Перейти к содержимому

Вопросы о LLM на устройстве: ответы по одному.

Вычисления в памяти, выбор чипа для инференса на устройстве, стоимость инференса, прототипирование на FPGA и новейшие архитектуры моделей. Для инженеров и продуктовых команд, которые выбирают способ инференса для устройства.

  1. · model-on-chip · чип с зашитой LLM

    Model-on-chip: ASIC с «зашитой» LLM, облако и устройства

    ASIC класса model-on-chip фиксирует веса одной модели в кремнии и выигрывает в скорости на порядки. Как это работает, что показал Taalas HC1, чем облачные чипы отличаются от встраиваемых и о чём спросить поставщика.

  2. · ASIC для инференса LLM · сравнение чипов для инференса ИИ

    ASIC для инференса LLM: сравнение пяти архитектур чипов в 2026 году

    GPU, процессор размером с пластину, LPU, ASIC только для трансформеров и model-on-chip: чем различаются пять архитектур инференса LLM, какие скорости в токенах в секунду заявлены и о чём эти цифры умалчивают.

  3. · токены в секунду · скорость инференса LLM

    Токены в секунду: насколько быстрой должна быть LLM?

    Что измеряют токены в секунду, как они соотносятся со скоростью чтения и речи, почему значения на пользователя и суммарные различаются и как пропускная способность памяти ограничивает их на устройстве.

  4. · запуск LLM без GPU · железо для LLM на устройстве

    Как запустить LLM без GPU: пять вариантов железа для устройств

    CPU, NPU, встраиваемый GPU-модуль, FPGA или специализированный чип для LLM: что каждый вариант даёт для инференса LLM на устройстве, что его ограничивает и когда специализированный чип оправдан.

  5. · Taalas HC1 · характеристики Taalas HC1

    Taalas HC1: характеристики, скорость, ограничения и что это значит для устройств

    Что такое Taalas HC1, какие цифры опубликованы, как «зашивка» Llama 3.1 8B даёт около 17 000 токенов в секунду, где проходят ограничения и почему та же идея внутри устройства выглядит иначе.

  6. · ИИ-чип с вычислениями в памяти · CIM

    Что такое ИИ-чип с вычислениями в памяти? Три маршрута

    ИИ-чип с вычислениями в памяти выполняет умножение с накоплением внутри массива памяти, и веса больше не перемещаются. Чем различаются MaskROM, SRAM CIM и вычисления рядом с памятью.

  7. · чип для инференса LLM на устройстве · edge-чип ИИ

    Как выбрать чип для инференса LLM на устройстве: 7 вопросов

    Выбор чипа для инференса LLM на устройстве определяют соответствие модели, бюджет мощности и способ обновления, а не пиковые TOPS. Семь вопросов и контрольный список.

  8. · стоимость инференса LLM · стоимость токена

    Стоимость инференса LLM: API, облачный GPU или чип на устройстве за 3 года

    Считаем стоимость инференса LLM за три года: API с оплатой за токен, облачный GPU с оплатой за час или чип, купленный один раз. Методика, пример расчёта и окупаемость.

  9. · вычисления в памяти на MaskROM · LLM в аппаратном исполнении

    Вычисления в памяти на MaskROM: что значит записать веса в кремний

    Вычисления в памяти на MaskROM записывают веса модели в массив переходных отверстий на этапе масок, и при работе ничего не перемещается. Как это устроено, почему это дешевле всего и каковы ограничения.

  10. · прототипирование LLM-ускорителей на FPGA · IP инференса LLM

    Прототипирование LLM-ускорителей на FPGA: от лицензии на IP до тейпаута

    Запуск ядра инференса LLM на FPGA до тейпаута позволяет проверить отображение модели, интерфейсы и системный тракт. Что входит в лицензию на IP, шаг за шагом.

  11. · стена памяти · LLM на устройстве

    Стена памяти: почему LLM на устройстве буксуют и как её обойти

    Декодирование LLM ограничено пропускной способностью: каждый токен читает все веса, и устройства не выдерживают такого потока. Насколько высока стена и как её преодолеть.

  12. · аппаратная поддержка Qwen3.8 · инференс Qwen3.5 на устройстве

    От Qwen3.5 до Qwen3.8: почему гибридное внимание подходит кремнию для устройств

    Qwen3.5, 3.6 и 3.8 чередуют линейное внимание Gated DeltaNet и полное внимание с вентилями в соотношении 3:1. Почему такая компоновка сдерживает расход памяти в ИИ-чипах для устройств.

Есть конкретный проект для обсуждения?

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект