TNN：由腾讯优图实验室打造，移动端高性能、轻量级推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化，同时也借鉴了业界主流开源框架高性能和良好拓展性的优点。目前TNN已经在手Q、微视、P图等应用中落地，欢迎大家参与协同共建，促进TNN推理框架进一步完善。

腾讯推理引擎TNN

本系列文章为对腾讯TNN的深度源码级别解读，希望通过对一个推理框架的完整描述，来增强读者对于神经网络设计、实现到优化的方方面面。

本节将对TNN中的优化策略管理执行过程做详细的分析介绍。

在神经网络优化管理器中主要定义了NetOptimizerManager和NetOptimizerRegister两个类，分别实现管理执行和注册的功能，接下来将对这两个类的具体功能做详细分析。

网络优化策略管理器(NetOptimizerManager)

这里先来看看优化策略（网络优化器net_optimizer）的定义。TNN中定义了多种神经网络优化器（优化策略），比如fuse_conv_relu可以将conv层合并达到减少内存/显存拷贝，减少计算和调用开销的目的。NetOptimizer是所有这些优化器基类定义了优化器需要具备的基础功能。具体的每种优化器优化方法后续文章依次说明。

class NetOptimizer {
    public:
        virtual ~NetOptimizer() {}

        //定义策略
        virtual std::string Strategy() = 0;
        //确认设备是否支持优化
        virtual bool SupportDevice(DeviceType device) = 0;
        //基于网络结构进行优化
        virtual Status Optimize(NetStructure *structure, NetResource *resource) = 0;
    };

优化策略方法说明

• Strategy方法：返回对应优化器的字符串名称。

当前内部定义的一些名称如下：

static const std::string kNetOptimizerFuseConvRelu = "net_optimizer_fuse_conv_relu";

static const std::string kNetOptimizerInsertReformat = "net_optimizer_Insert_reformat";

static const std::string kNetOptimizerRemoveLayers = "net_optimizer_remove_layers";

• SupportDevice方法：返回该优化器是否在设备上可用。

• Optimize方法:定义了具体的优化方法。

接下来看一下本文的重点NetOptimizerManager的实现。

NetOptimizerManager定义了优化管理器的执行方法。通过map和vector来存储优化策略。其中map结构维护了strategy名称到优化器实现的映射。vector结构维护了优先级信息和strategy名称的映射。

    //@brief net optimize: fuse relu and relu6 to convolution
    class NetOptimizerManager {
    public:
        //执行优化
        static Status Optimize(NetStructure *structure, NetResource *resource, DeviceType device);
        //静态方法：注册优化策略并指定优先级
        static void RegisterNetOptimizer(NetOptimizer *ptimizer, OptPriority prior);

    private:
  
        static std::map<std::string, std::shared_ptr<NetOptimizer>> &GetNetOptimizerMap();
        static std::vector<std::pair<OptPriority, std::string>> &GetNetOptimizerSeq();
    };

Optimize方法：

Optimize方法：定义了优化的执行逻辑框架（具体的优化由每个optimizer来执行）。

管理器需要依次执行每个优化器，这里是基于优先级来执行优化策略的。具体方法是通过对vector序列按优先级排序，然后遍历map这样可以按优先级从高到低依次执行优化。

支持的优先级，目前为P0到PLAST可以根据自己的需求进行扩展。

  typedef enum {
        // TOP
        P0 = 0,
        // MIDDLE
        P1 = 1,
        //
        P2 = 2,
        // LAST
        PLAST = 1000
    } OptPriority;

//基于优先级排序依次执行优化器。
    Status NetOptimizerManager::Optimize(NetStructure *structure, NetResource *resource, DeviceType device) {
        //获取当前优化器的map结构
        auto &optimizer_map = NetOptimizerManager::GetNetOptimizerMap();
        //按照strategy字符串对优化器进行排序
        std::sort(NetOptimizerManager::GetNetOptimizerSeq().begin(), NetOptimizerManager::GetNetOptimizerSeq().end());
        //循环优化器
        for (auto iter : NetOptimizerManager::GetNetOptimizerSeq()) {
            //
            auto optimizer = optimizer_map[iter.second];
            //确认当前设备是否支持该优化
            if (optimizer->SupportDevice(device)) {
                //执行优化逻辑
                auto status = optimizer->Optimize(structure, resource);
                if (status != TNN_OK) {  //执行出错会导致优化中断，返回对应状态值
                    return status;
                }
            }
        }

        return TNN_OK;
    }

RegisterNetOptimizer方法：

RegisterNetOptimizer方法定义了每个优化器optimizer的注册过程，其实就是map和vector插入对应数据就OK了。

  //参数：优化器和优先级
    void NetOptimizerManager::RegisterNetOptimizer(NetOptimizer *optimizer, OptPriority prior) {
        //优化器不为空
        if (optimizer && optimizer->Strategy().length() > 0) {
            auto &optimizer_map = NetOptimizerManager::GetNetOptimizerMap();
            //往map和vector中将消息注册进去
            optimizer_map[optimizer->Strategy()] = std::shared_ptr<NetOptimizer>(optimizer);
            NetOptimizerManager::GetNetOptimizerSeq().push_back(std::make_pair(prior, optimizer->Strategy()));
        }
    }

NetOptimizerRegister

在net_optimizer_manageer.h头文件中，通过模板类将RegisterNetOptimizer方法封装到NetOptimizerRegister类中，这样就可以做到定义即注册。

//通过模板指定具体的优化器。实现了定义即注册的功能。
    template <typename T>
    class NetOptimizerRegister {
    public:
        explicit NetOptimizerRegister(OptPriority p) {
            NetOptimizerManager::RegisterNetOptimizer(new T(), p);
        }
    };