GPU для локального ИИ: как проверить запас видеопамяти на своей задаче
Измерение памяти, параллельных запросов и стабильности вместо выбора только по названию карты.
Зафиксируйте проверяемую нагрузку
Для подбора GPU под локальное приложение ИИ нужны название и версия программы, конкретная модель, формат вычислений, размеры входных данных и число параллельных задач. Одна и та же программа при разных настройках может требовать разного объёма памяти. Поэтому составьте небольшой набор сценариев: обычный вход, самый тяжёлый разрешённый вход и одновременную работу нескольких пользователей.
Для каждого сценария определите результат, который можно проверить: время получения ответа, отсутствие ошибки памяти и корректность обработки. Сохраните версии модели, библиотек и драйвера. Это позволит повторить испытание после поставки, а не сравнивать демонстрацию поставщика с другой задачей у заказчика.
Измеряйте используемую и свободную память
Паспортный объём памяти карты не означает, что весь он свободен приложению. Документация nvidia-smi различает общий, зарезервированный, используемый и свободный объёмы памяти; драйвер может резервировать часть ресурса для внутреннего использования. Учитывайте также ограничения доступности показателей на выбранной ОС и устройстве.
Попросите специалиста снять временной ряд при запуске, загрузке модели и выполнении согласованных сценариев. Один снимок в состоянии покоя не показывает пик. Сопоставляйте показатели программы и поддерживаемого мониторинга, отмечая другие процессы. Если показатель не поддерживается, это фиксируют как ограничение измерения, а не заменяют придуманным числом.
Проверьте параллельность отдельно
Повторите испытание с нужным числом одновременно работающих пользователей и самым тяжёлым согласованным входом. Сохраните пики памяти, время ответа и ошибки каждого сценария. При изменении длины входа, размера пакета или числа процессов повторно подтвердите результат. Заранее установите, какая комбинация нужна для нормальной работы отдела, а какая остаётся дополнительным экспериментом.
Добавление второй карты не следует описывать как автоматическое объединение её памяти с первой. Попросите разработчика приложения подтвердить поддержку распределения задачи между устройствами и показать конкретный режим. Если приложение использует только одну карту, сравнивайте доступный ему ресурс, а не сумму памяти всех установленных GPU.
Свяжите карту с полной сборкой
После выбора объёма памяти согласуйте точный артикул и исполнение карты, корпус, разъёмы питания и условия охлаждения. В спецификациях NVIDIA GeForce RTX 5090 с памятью 32 ГБ и RTX 5080 с памятью 16 ГБ указаны соответственно TGP 575 и 360 Вт. Эти значения относятся к конкретным референсным конструкциям; для поставляемой карты другого изготовителя нужны её собственные документы.
Потребление всей станции рассчитывают по полной конфигурации и проверяют измерением на пилоте. Для приёмки полезно наблюдать температуру, частоты и потребление вместе со временем выполнения задачи. Размер памяти не заменяет проверку длительной стабильной работы, а удачный короткий запуск не подтверждает поведение после прогрева.
Сформируйте критерии и комплект документов
В запрос включите сценарии, требования к времени ответа, измеренный пик памяти и согласованный запас. Попросите две сопоставимые сборки с точными артикулами, поддерживаемым ПО, условиями гарантии и сервисом в регионе. Для импортной карты отдельно подтвердите канал поставки, территорию гарантии и порядок возврата неисправного устройства.
В протоколе пилота сохраните состав станции, версии, контрольные результаты и ограничения испытания. Не переносите его выводы на другие модели или приложения без новой проверки. Итогом подбора должна стать воспроизводимая работа согласованного сервиса в заданных условиях. Универсальную производительность или способность запускать любую модель по одному паспортному объёму памяти обещать нельзя.