GPU-серверы для локальных нейросетей: как выбрать конфигурацию под задачу
Компании всё чаще ставят языковые модели не в облако, а к себе в серверную: данные не покидают контур организации, а подписка на чужие GPU заменяется своим железом. Мы собрали линейку готовых GPU-серверов AI Server Manager — от пилотной машины до терабайта видеопамяти. Разбираем, как выбрать конфигурацию.
От чего отталкиваться
Главный параметр — объём видеопамяти: модель должна поместиться в VRAM целиком, иначе скорость падает на порядки. Ориентиры: модели 7B-14B удобно держать на 128 ГБ, 32B — на 256 ГБ, 70B в квантовании — на 384-512 ГБ, а самые крупные MoE-модели и длинный контекст — на 1024 ГБ второго шасси. Второй параметр — число одновременных пользователей: на один поток хватает двух карт, на отдел или компанию — от четырёх.
| конфигурация | видеопамять | для каких задач |
|---|---|---|
| 2U, 2×CMP 170HX | 128 ГБ | модели 7B-14B, OCR, пилотные проекты |
| 2U, 4-6 карт | 256-384 ГБ | модели 14B-70B, ассистент по базе знаний |
| 2U, 8 карт | 512 ГБ | 70B+ и MoE-модели на всю компанию |
| 4U, 16 карт | 1024 ГБ | мультимодальные модели, длинный контекст, fine-tune |
Честно про ускорители
Во всех конфигурациях стоят NVIDIA CMP 170HX с разблокированной памятью 64 ГБ HBM2e: отключённые стеки памяти разблокированы на уровне прошивки, поэтому карта держит модели, которые заводская версия в 4,8 ГБ не вместила бы. Это честная коммерческая доработка, и мы её не скрываем: видеовыходов нет, хост-линк PCIe Gen1 x4, INT8 недоступен. Для инференса LLM в FP16 и квантованных форматах эти ограничения некритичны, но перед покупкой запросите тесты конкретной машины — покажем на вашей модели.
Как ставится и что с документами
Панель AI Server Manager входит в комплект: модель загружается и запускается через веб-интерфейс, выделенный ML-инженер не нужен. Платформенная часть — процессор AMD EPYC, память DDR4 ECC, диски NVMe, сеть 10GbE. Сроки: при наличии на складе отгрузка сразу после оплаты, под заказ — от месяца. Цена зависит от комплектации и фиксируется в коммерческом предложении.
Конфигурации и цены — в раздел «Серверы для локальных нейросетей и LLM»: /products.html?subcategory_id=280.
