Сервер для локального ChatGPT: корпоративный ИИ без облака

Корпоративный ChatGPT в собственной серверной — это контроль над данными, предсказуемая стоимость и ассистент, который знает ваши регламенты, а не только интернет. Сотрудники работают в привычном чате, документы и переписка остаются внутри периметра компании, а единственная статья расходов после покупки — электричество.

Что ставим и под что

Стартовая конфигурация на 128 ГБ видеопамяти (2×CMP 170HX) тянет модели 7B-14B: справка по внутренним документам, черновики писем и КП, перевод переписки. Средний класс 256-512 ГБ — модели 32B-70B: анализ договоров, умный поиск по архиву, ответы клиентам. Терабайтное шасси 4U — мультимодальные модели и дообучение на собственных данных. Конфигурация процессора, памяти и блоков питания подбирается под задачу.

Честно про ускорители

В серверах стоят NVIDIA CMP 170HX с памятью 64 ГБ HBM2e, разблокированной на уровне прошивки: это доработка, а не заводская конфигурация. Видеовыходов нет, хост-линк PCIe Gen1 x4, INT8 недоступен; для инференса языковых моделей в FP16 и квантовании ограничения некритичны. Перед покупкой запросите тесты конкретной машины.

Поставка и запуск

Панель AI Server Manager входит в комплект: модель ставится через веб-интерфейс, ML-инженер не нужен. При наличии на складе отгружаем сразу после оплаты; под заказ — от месяца и более. Гарантия и обслуживание — по договорённости; цена под задачу фиксируется в коммерческом предложении.

Конфигурации и цены — в раздел «Серверы с ИИ»: /products.html?subcategory_id=280.