ПНСТ 945-2024 Искусственный интеллект. Техническая структура для разделения и совместного исполнения модели глубокой нейронной сети

Введение

Процесс логического вывода для модели глубокой нейронной сети, как правило, требует больших объемов вычислительных ресурсов и памяти. В связи с этим самостоятельное исполнение модели глубокой нейронной сети оконечными устройствами представляется сложной задачей. Эффективным способом реализации совместного исполнения глубокой нейронной сети посредством оконечных и периферийных устройств является разделение модели глубокой нейронной сети, которое может снизить задержку исполнения и одновременно улучшить использование ресурсов. Целью настоящего стандарта является определение технической структуры разделения и совместного исполнения модели глубокой нейронной сети. Во-первых, необходимо заранее спрогнозировать общую задержку логического вывода, учитывая текущее состояние системы в соответствии с различными стратегиями разделения глубокой нейронной сети. Затем, опираясь на вычислительные возможности оборудования, состояние сети и свойства модели глубокой нейронной сети, необходимо выбрать подходящие места для разделения и стратегию совместного исполнения. На последнем этапе реализуется совместное исполнение модели и оптимизируется распределение ресурсов.