GPU.Сервер Методика и источники

Калькулятор GPU-сервера

Сравните сборки для локальных LLM. Проверьте, поместится ли модель с её контекстом и как GPU будут обмениваться данными.

Сценарий

Параметры модели

Настройки KV-кэша и резерва

Сравнение конфигураций

Память, скорость генерации на один поток и цена узла.

Связность GPU

Методика и источники

Как считаем память

Веса берём из указанного файла, если его размер опубликован. Для остальных вариантов умножаем число параметров на эффективные 4,8 / 5,8 / 6,8 / 8,5 / 16 бит с поправкой на типичный формат. Это ориентир. Можно ввести размер конкретного чекпойнта. Для MoE учитываем все загруженные веса. Пресеты ориентированы на текстовый инференс.

KV-кэш = 2 × слои × KV-головы × размер головы × байты элемента × контекст × одновременные запросы на копию. Для gpt-oss учитываем чередование полного и скользящего внимания. Для выбранных гибридных моделей Qwen считаем отдельно обычный KV и состояния DeltaNet с 4 байтами на элемент. В других сложных архитектурах без проверенного профиля показываем оценку только весов. Можно вручную ввести суммарный кэш одной копии для указанного числа запросов.

Доступно на GPU = VRAM × (1 − резерв) − буфер движка. Для расчёта принимаем паспортное число за оценку в ГиБ. На реальном сервере подставьте VRAM отдельной карты из nvidia-smi (МиБ ÷ 1024). На Mac Studio CPU и GPU делят память. Из доступного объёма берём меньшее из двух ограничений: общий объём за вычетом системного резерва и плановый предел Metal (75% по умолчанию, заменяется измеренным значением). Затем вычитаем буфер. Веса и кэш считаем в ГиБ (2³⁰ байт).

Как считаем размещение

В режиме PP оцениваем самый нагруженный GPU по наибольшему числу слоёв. Предполагаем равный размер слоёв. Эмбеддинги, выходной слой и буферы могут распределяться иначе. В режиме TP делим веса между GPU, оцениваем KV-кэш по KV-головам и учитываем их повторение, если GPU больше, чем KV-голов. Статус «Малый запас» появляется, если свободно меньше 10% доступной VRAM. Поддержка схемы зависит от движка и формата весов.

Одна GPU или реплики требуют полной копии весов и KV-кэша на каждой используемой карте. Все режимы предполагают инференс целиком на GPU. Итог зависит от фактического размера весов и VRAM, а также от версии и настроек движка.

Откуда берутся модели и скорость

Каталог содержит 30 популярных открытых чекпойнтов, отобранных по загрузкам и востребованности для локального инференса. Группы отражают примерный класс памяти с четырёхбитными весами. Данные о модели ведут в её карточку.

Токены/с показывают генерацию одного ответа в условиях теста. Для каждой цифры указаны точность, движок и источник. «Аналог» использует исходное число из близкого теста с указанными отличиями. Если сопоставимых данных нет, поле показывает «Нет замера».

Контекст теста может отличаться от вашего. Показатель одного потока не масштабируется автоматически на число одновременных запросов. Большинство замеров сделаны пользователями и независимыми авторами. Отдельные замеры Apple и NVIDIA подписаны.

Как сравнивать связность и цены

Числа для PCIe и NVLink — пиковая пропускная способность интерфейсов. Реальный обмен зависит от разводки платы, поддержки прямого обмена P2P, топологии и движка. Пропускная способность не даёт прогноза токенов в секунду. В NVIDIA-узлах каждая карта имеет свою VRAM. В Mac Studio CPU и GPU используют общую память. Apple указывает её пропускную способность внутри SoC.

Введите цену всего узла по своему предложению с одинаковым составом затрат для всех сборок. ₽/ГиБ — стоимость узла, делённая на суммарную доступную память всех карт после резерва. Цены хранятся в браузере.