機器學習 · Tommy Cheese

實用分享：如何將 PyTorch 模型參數載入 MindSpore 模型？

Fri, 01 Sep 2023 22:53:58 +0530

問題簡述

在日常的模型開發、訓練過程中我們經常會遇到這樣的現象：在現有的開源專案或者論文復現中，多數模型使用Pytorch設計、開發和訓練推理，當我們需要使用MindSpore框架進行模型開發時，會遇到以下兩個問題：

模型使用Pytorch編碼；
Pytorch模型訓練後儲存的引數無法被MindSpore模型直接載入。

對於第一個問題，我們可以根據昇思官方提供的文件：與Pytorch典型區別和PyTorch與MindSpore API對映表來完成模型的遷移；

對於模型引數的轉換，在最新的MindSpore版本中MindConverter不再支援，因此可以考慮針對模型引數，我們進行手動的轉換，將Pytorch模型引數轉換為MindSpore能識別的格式後，再進行載入。

解決方案

模型的編碼轉換不再贅述。

引數轉換主要思路如下：

使用Pytorch載入Pytorch模型，並取得模型引數prams_torch；
使用MindSpore載入MindSpore模型，並取得模型引數prams_ms；
將Pytorch模型的引數名和MindSpore模型引數名一一對應（有的話）；
建立torch_2_ms鍵名對映表，使用鍵名對映表將Pytorch模型引數值載入到MindSpore引數名對應的位置上；
使用MindSpore載入引數。

案例分析

不同模型的模組不相同，引數型別也不盡相同，此處我們以一個網路舉例，說明轉換的基本思路，不同的模型其轉換思路是類似的。

EfficientNet是谷歌於2019年發表的文章，詳細網路架構可檢視文章描述，此處我們以EfficientNet+FC全連線層的模型為例，探討如何進行網路模型引數的轉換。

使用Pytorch載入Pytorch模型，並取得模型引數prams_torch

import torch
from test.efficientnet_pytorch.model import EfficientNet as EN_pytorch
import pandas as pd

pytorch_model = EN_pytorch.from_name(cfg['model'], override_params={'num_classes': 3})
pytorch_model.cuda()
pytorch_weights_dict = pytorch_model.state_dict()
param_torch = pytorch_weights_dict.keys()
param_torch_lst = pd.DataFrame(param_torch)
param_torch_lst.to_csv('param_torch.csv')

步驟結束後，我們就將pytorch的模型引數存到了param_torch.csv下，觀察資料：

	keys
0	_conv_stem.weight
1	_bn0.weight
2	_bn0.bias
3	_bn0.running_mean
4	_bn0.running_var
5	_bn0.num_batches_tracked
6	_blocks.0._depthwise_conv.weight
7	_blocks.0._bn1.weight
8	_blocks.0._bn1.bias
9	_blocks.0._bn1.running_mean
10	_blocks.0._bn1.running_var

使用MindSpore載入MindSpore模型，並取得模型引數prams_ms

import mindspore as ms
from test.efficientnet_mindspore.model import EfficientNet as EN_ms
import pandas as pd

mindspore_model = EN_ms.from_name(cfg['model'], override_params={'num_classes': 3})
prams_ms = mindspore_model.parameters_dict().keys()
prams_ms_lst = pd.DataFrame(prams_ms)
prams_ms_lst.to_csv('prams_ms.csv')

步驟結束後，我們就將MindSpore的模型引數存到了prams_ms.csv下，觀察資料：

	keys
0	_conv_stem.weight
1	_bn0.moving_mean
2	_bn0.moving_variance
3	_bn0.gamma
4	_bn0.beta
5	0._depthwise_conv.weight
6	0._bn1.moving_mean
7	0._bn1.moving_variance
8	0._bn1.gamma
9	0._bn1.beta
10	0._se_reduce.weight

將Pytorch模型的引數名和MindSpore模型引數名一一對應

自此我們就得到了MindSpore和Pytorch各自的引數鍵名錶（附在附件區域），隨後觀察二者引數命名上的差異，可以發現固定的規律，以下述幾個方面為例：

Batch Normalization：
- 權重：weight|bias——gamma|beta；
- 移動加權和方差：running_mean|running_var——moving_mean|moving_variance；
自定義blocks：pytorch帶前置的_blocks.；
其他

鍵名對映表

這樣就可以根據規律寫出一個Python指令碼來完成鍵名的轉化，並生成鍵名對映表：

Pytorch	mindspore
_conv_stem.weight	_conv_stem.weight
_bn0.weight	_bn0.gamma
_bn0.bias	_bn0.beta
_bn0.running_mean	_bn0.moving_mean
_bn0.running_var	_bn0.moving_variance
_blocks.0._depthwise_conv.weight	0._depthwise_conv.weight
_blocks.0._bn1.weight	0._bn1.gamma
_blocks.0._bn1.bias	0._bn1.beta
_blocks.0._bn1.running_mean	0._bn1.moving_mean
_blocks.0._bn1.running_var	0._bn1.moving_variance
_blocks.0._se_reduce.weight	0._se_reduce.weight

隨後在Pytorch的權重字典中，按照對應檔案的Pytorch_key取出權重值，隨後使用mindspore.Parameter進行封裝，新增到mindspore.key對應的權值中去：

for i in ms_param_lst.values:
    ms_key = i
    pt_key = param_mapping[ms_key]
    pt_val = pt_values_dict[pt_key]
    if not isinstance(pt_val, np.ndarray):
        pt_val = pt_val.cpu().numpy()
    ms_val = Parameter(pt_val, ms_key)
    print(ms_val)
    ms_values_dict[ms_key] = ms_val

使用MindSpore載入引數

load_param_into_net(mindspore_model, ms_values_dict)

此時，引數應該就可以被MindSpore接受了。

What’s more

在引數值的儲存過程中，要注意Pytorch和MindSpore引數精度的差異；

（完）

梯度之上：Hessian 矩陣

Fri, 01 Sep 2023 22:53:58 +0530

本文討論研究梯度下降法的一個有力的數學工具：海森矩陣。在討論海森矩陣之前，需要首先了解梯度和雅克比矩陣的基本概念。

⭐本文假設讀者已經熟悉梯度下降法和簡單的數值分析、線性代數知識原文連結

梯度、雅克比矩陣

梯度下降演算法需要當前函式點的導數資訊，當此函式點包含多個方向時，梯度是包含所有方向的（偏）導數向量。

上述情況對應於輸出為一個的情況，當函式的輸出也為一個向量時，我們需要把輸出向量的每一個元素對於多個輸入的梯度羅列在一起，羅列形成的矩陣就是雅克比矩陣（Jacobian Matrix）。

舉例說明：

若函式$f$接受三個輸入$x1、x2、x3$，產生一個輸出$y$，則其梯度為：

$$ \begin{equation} Grad = [\frac{\partial y}{\partial x_1}, \frac{\partial y}{\partial x_2}, \frac{\partial y}{\partial x_3}] \end{equation} $$

若函式$f2$接受三個輸入$x1、x2、x3$，產生三個輸出$y1、y2、y3$，則其雅克比矩陣為：

$$ \begin{equation} Jacobian = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2}&\frac{\partial y_1}{\partial x_3} \ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2}&\frac{\partial y_2}{\partial x_3} \ \frac{\partial y_3}{\partial x_1} & \frac{\partial y_3}{\partial x_2}&\frac{\partial y_3}{\partial x_3} \end{bmatrix} \end{equation} $$

利用二階導數，我們可以知道關於函式在特定方向 $d$ 上的凹凸資訊，利用凹凸資訊可以在一定程度上預判梯度下降法的表現效果。如果在特定方向 $d$ 上：

二階導數為正，則函式在方向$d$上一階導數增加，函式值下降更慢；
二階導數為負，則函式在方向$d$上一階導數減少，函式值下降更快；
二階導數為零，則函式在方向$d$上一階導數不變，函式值勻速下降；

⭐注意在梯度下降法中是對損失函式進行下降，因此需要使用減函式來分析函式中某一小段（經常使用二次函式的減半部近似：二階泰勒展開、牛頓法）中的導數變化情況；

海森矩陣

和雅克比矩陣類似，海森矩陣（Hessian 矩陣）可以包含函式中二階導的資訊： $$ Hessian = \begin{bmatrix} \frac{\partial^2y}{\partial x_1\partial x_1} & \frac{\partial^2y}{\partial x_1\partial x_2}&\frac{\partial^2y}{\partial x_1\partial x_3} \ \frac{\partial^2y}{\partial x_2\partial x_1} & \frac{\partial^2y}{\partial x_2\partial x_2}&\frac{\partial^2y}{\partial x_2\partial x_3} \ \frac{\partial^2y}{\partial x_3\partial x_1} & \frac{\partial^2y}{\partial x_3\partial x_2}&\frac{\partial^2y}{\partial x_3\partial x_3} \end{bmatrix} $$ 同時由於二階導數計算順序的可交換性，即 $\frac{\partial^2y}{\partial x_1\partial x_2}=\frac{\partial^2y}{\partial x_2\partial x_1}$，因此海森矩陣是一個對稱矩陣，對於對稱矩陣我們可以使用特徵分解來研究特徵值和二階導數的關係，便於我們快速獲得某個方向的二階導數。

針對於特定方向d，已知此方向的二階導數可以寫成 $d^THd$ ，則：

🔗 基於Hessian矩陣的二階方向導數與性質_Hi 喀什噶爾的胡楊的部落格-CSDN部落格_二階方向導數

若d是H對應特徵值λ的特徵向量：

因為d為對應λ的特徵向量（以下簡稱特徵向量），則據定義有： $$ Hd = \lambda d\ \Rightarrow d^THd=d^T\lambda d = \lambda d^Td=\lambda \ \ \ 对称矩阵d^T = d^- $$

因此特徵向量對應的特徵值λ即為此方向的二階導數；
若d為其他方向：設$e_i$為$H$對應特徵值$\lambda_i$的特徵向量，由上可知， $$ \lambda_i=e_i^THe_i $$ 可知任何一個方向$d=\sum_i^mt_ie_i$為特徵向量的線性組合，其中m為特徵值個數，$t_i$為第$i$個特徵向量的加權數，則： $$ d^THd=(\sum_i^mt_ie_i)^TH(\sum_i^mt_ie_i)=\sum_i^mt_ie_i^THt_ie_i=\sum_i^mt_i^2\lambda_i $$ 因此任意非特徵向量方向的二階導數是所有特徵值的加權和，特別的，此時的加權和是一個橢球體，在二維的特徵值情況下，二階導數是一個橢圓，橢圓方程為： $$ y=\frac{\lambda_1}{\frac{1}{t_1^2}}+\frac{\lambda_2}{\frac{1}{t_2^2}} $$

由圖可知，最大二階導數由最大特徵值決定（長半軸），而最小二階導數由最小特徵值決定（短半軸）。

海森矩陣應用

在弄清海森矩陣的基本定義後，就可以使用海森矩陣的一些性質來分析最佳化方法中的一些問題了。如確定區域性最大點、區域性最小點和鞍點、確定學習率、以及使用病態條件來確定梯度下降的表現等，同時我們還可以利用Hessian矩陣來實現牛頓法這種最佳化演算法，。

（本節完）