機械学習 · Tommy Cheese

PyTorch のモデルパラメーターを MindSpore に読み込む方法

Fri, 01 Sep 2023 22:53:58 +0530

問題の概要

日々のモデル開発や学習では、既存のオープンソースプロジェクトや論文の再実装の多くが、Pytorchでモデルを設計、開発し、学習や推論を行っているという状況によく出会います。MindSporeフレームワークを使ってモデルを開発したい場合、次の二つの問題があります：

モデルのコードがPytorchで書かれていること。
Pytorchの学習後に保存されたパラメータを、MindSporeのモデルで直接読み込めないこと。

一つ目の問題は、MindSporeの公式ドキュメントであるPytorchとの主な違いとPyTorchとMindSporeのAPI対応表を参考に、モデルを移植できます。

モデルパラメータの変換については、最新のMindSporeではMindConverterが対応していないため、パラメータを手動で変換する方法を検討できます。PytorchのパラメータをMindSporeが認識できる形式に変換してから、読み込みます。

解決方法

モデルのコードの変換方法は、ここでは繰り返しません。

パラメータ変換の基本的な流れは、次のとおりです：

PytorchでPytorchモデルを読み込み、モデルパラメータprams_torchを取得する。
MindSporeでMindSporeモデルを読み込み、モデルパラメータprams_msを取得する。
PytorchとMindSporeのパラメータ名を、対応するもの同士で一対一に結び付ける。
torch_2_msというキー名の対応表を作り、その表を使ってPytorchのパラメータ値を、対応するMindSporeのパラメータ名へ割り当てる。
MindSporeでパラメータを読み込む。

具体例

モデルによってモジュールやパラメータの型は異なります。ここでは一つのネットワークを例に、変換の基本的な考え方を説明します。他のモデルでも、考え方は同様です。

EfficientNetは、Googleが2019年に発表した論文です。ネットワーク構造の詳細は論文をご覧ください。ここでは、EfficientNet＋FC全結合層のモデルを例に、ネットワークのパラメータの変換方法を考えます。

PytorchでPytorchモデルを読み込み、モデルパラメータprams_torchを取得する

import torch
from test.efficientnet_pytorch.model import EfficientNet as EN_pytorch
import pandas as pd

pytorch_model = EN_pytorch.from_name(cfg['model'], override_params={'num_classes': 3})
pytorch_model.cuda()
pytorch_weights_dict = pytorch_model.state_dict()
param_torch = pytorch_weights_dict.keys()
param_torch_lst = pd.DataFrame(param_torch)
param_torch_lst.to_csv('param_torch.csv')

この手順を終えると、pytorchのモデルパラメータがparam_torch.csvに保存されます。データを確認しましょう：

	keys
0	_conv_stem.weight
1	_bn0.weight
2	_bn0.bias
3	_bn0.running_mean
4	_bn0.running_var
5	_bn0.num_batches_tracked
6	_blocks.0._depthwise_conv.weight
7	_blocks.0._bn1.weight
8	_blocks.0._bn1.bias
9	_blocks.0._bn1.running_mean
10	_blocks.0._bn1.running_var

MindSporeでMindSporeモデルを読み込み、モデルパラメータprams_msを取得する

import mindspore as ms
from test.efficientnet_mindspore.model import EfficientNet as EN_ms
import pandas as pd

mindspore_model = EN_ms.from_name(cfg['model'], override_params={'num_classes': 3})
prams_ms = mindspore_model.parameters_dict().keys()
prams_ms_lst = pd.DataFrame(prams_ms)
prams_ms_lst.to_csv('prams_ms.csv')

この手順を終えると、MindSporeのモデルパラメータがprams_ms.csvに保存されます。データを確認しましょう：

	keys
0	_conv_stem.weight
1	_bn0.moving_mean
2	_bn0.moving_variance
3	_bn0.gamma
4	_bn0.beta
5	0._depthwise_conv.weight
6	0._bn1.moving_mean
7	0._bn1.moving_variance
8	0._bn1.gamma
9	0._bn1.beta
10	0._se_reduce.weight

PytorchとMindSporeのパラメータ名を一対一に対応付ける

これでMindSporeとPytorchそれぞれのパラメータのキー名一覧が得られました。添付ファイル欄にも掲載しています。両者の命名の違いを観察すると、一定の規則が見つかります。たとえば次のとおりです：

Batch Normalization：
- 重み：weight|bias——gamma|beta。
- 移動平均と分散：running_mean|running_var——moving_mean|moving_variance。
独自のblocks：pytorchには_blocks.という接頭辞が付いています。
その他

キー名の対応表

この規則に従ってPythonスクリプトを書けば、キー名を変換し、対応表を生成できます：

Pytorch	mindspore
_conv_stem.weight	_conv_stem.weight
_bn0.weight	_bn0.gamma
_bn0.bias	_bn0.beta
_bn0.running_mean	_bn0.moving_mean
_bn0.running_var	_bn0.moving_variance
_blocks.0._depthwise_conv.weight	0._depthwise_conv.weight
_blocks.0._bn1.weight	0._bn1.gamma
_blocks.0._bn1.bias	0._bn1.beta
_blocks.0._bn1.running_mean	0._bn1.moving_mean
_blocks.0._bn1.running_var	0._bn1.moving_variance
_blocks.0._se_reduce.weight	0._se_reduce.weight

続いて、Pytorchの重み辞書から、対応ファイルのPytorch_keyに従って重みを取り出します。その値をmindspore.Parameterで包み、mindspore.keyに対応する重みとして追加します：

for i in ms_param_lst.values:
    ms_key = i
    pt_key = param_mapping[ms_key]
    pt_val = pt_values_dict[pt_key]
    if not isinstance(pt_val, np.ndarray):
        pt_val = pt_val.cpu().numpy()
    ms_val = Parameter(pt_val, ms_key)
    print(ms_val)
    ms_values_dict[ms_key] = ms_val

MindSporeでパラメータを読み込む

load_param_into_net(mindspore_model, ms_values_dict)

これで、MindSporeがパラメータを読み込めるはずです。

補足

パラメータ値を保存するときは、PytorchとMindSporeの数値精度の違いに注意してください。

（完）

勾配の先へ：ヘッセ行列

Fri, 01 Sep 2023 22:53:58 +0530

この記事では、勾配降下法を研究するための強力な数学的道具であるヘッセ行列を取り上げます。その前に、勾配とヤコビ行列の基本概念を理解する必要があります。

⭐この記事は、読者が勾配降下法と、初歩的な数値解析・線形代数を理解していることを前提とします。元の記事へのリンク

勾配とヤコビ行列

勾配降下法では、現在の点における関数の微分の情報が必要です。その点で複数の方向を扱う場合、勾配はすべての方向の偏微分をまとめたベクトルです。

これは、出力が一つの場合です。関数の出力もベクトルである場合は、出力ベクトルの各要素について、複数の入力に対する勾配を並べてまとめる必要があります。こうしてできる行列が、ヤコビ行列（Jacobian Matrix）です。

例を見てみましょう：

関数$f$が三つの入力$x1、x2、x3$を受け取り、一つの出力$y$を返す場合、その勾配は次のようになります：

$$ \begin{equation} Grad = [\frac{\partial y}{\partial x_1}, \frac{\partial y}{\partial x_2}, \frac{\partial y}{\partial x_3}] \end{equation} $$

関数$f2$が三つの入力$x1、x2、x3$を受け取り、三つの出力$y1、y2、y3$を返す場合、そのヤコビ行列は次のようになります：

$$ \begin{equation} Jacobian = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2}&\frac{\partial y_1}{\partial x_3} \ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2}&\frac{\partial y_2}{\partial x_3} \ \frac{\partial y_3}{\partial x_1} & \frac{\partial y_3}{\partial x_2}&\frac{\partial y_3}{\partial x_3} \end{bmatrix} \end{equation} $$

二階微分を使うと、特定の方向 $d$ における関数の凹凸を知ることができます。その情報から、勾配降下法の振る舞いをある程度予測できます。特定の方向 $d$ について：

二階微分が正なら、方向$d$の一階微分は増加し、関数値の減少は遅くなります。
二階微分が負なら、方向$d$の一階微分は減少し、関数値の減少は速くなります。
二階微分が0なら、方向$d$の一階微分は変わらず、関数値は一定の速さで減少します。

⭐勾配降下法では損失関数を減少させるので、減少している関数を使い、その中のごく小さな区間における微分の変化を分析する必要があります。二次関数の減少側で近似することが多く、二次のテイラー展開やニュートン法がその例です。

ヘッセ行列

ヤコビ行列と同様に、ヘッセ行列（Hessian行列）は、関数の二階微分の情報をまとめます： $$ Hessian = \begin{bmatrix} \frac{\partial^2y}{\partial x_1\partial x_1} & \frac{\partial^2y}{\partial x_1\partial x_2}&\frac{\partial^2y}{\partial x_1\partial x_3} \ \frac{\partial^2y}{\partial x_2\partial x_1} & \frac{\partial^2y}{\partial x_2\partial x_2}&\frac{\partial^2y}{\partial x_2\partial x_3} \ \frac{\partial^2y}{\partial x_3\partial x_1} & \frac{\partial^2y}{\partial x_3\partial x_2}&\frac{\partial^2y}{\partial x_3\partial x_3} \end{bmatrix} $$ 二階偏微分では微分の順序を交換でき、$\frac{\partial^2y}{\partial x_1\partial x_2}=\frac{\partial^2y}{\partial x_2\partial x_1}$となるため、ヘッセ行列は対称行列です。対称行列には、固有値分解を使って固有値と二階微分の関係を調べられるので、ある方向の二階微分を素早く求めるのに役立ちます。

特定の方向dについて、二階方向微分が $d^THd$ と書けるとわかっているとき、次のようになります：

🔗 Hessian行列に基づく二階方向微分とその性質—CSDNブログ

dがHの固有値λに対応する固有ベクトルである場合：

dはλに対応する固有ベクトルなので、定義より次が成り立ちます： $$ Hd = \lambda d\ \Rightarrow d^THd=d^T\lambda d = \lambda d^Td=\lambda \ \ \ 对称矩阵d^T = d^- $$

したがって、その固有ベクトルに対応する固有値λが、その方向の二階微分です。
dがそれ以外の方向である場合：$e_i$を$H$の固有値$\lambda_i$に対応する固有ベクトルとすると、前述のとおり、 $$ \lambda_i=e_i^THe_i $$ となります。任意の方向$d=\sum_i^mt_ie_i$は固有ベクトルの線形結合で表せます。mは固有値の数、$t_i$は第$i$固有ベクトルの重みです。したがって、 $$ d^THd=(\sum_i^mt_ie_i)^TH(\sum_i^mt_ie_i)=\sum_i^mt_ie_i^THt_ie_i=\sum_i^mt_i^2\lambda_i $$ となり、固有ベクトル以外の任意の方向の二階微分は、すべての固有値の加重和になります。特に、この加重和は楕円体を表し、固有値が二次元の場合には二階微分は楕円になり、その式は次のとおりです： $$ y=\frac{\lambda_1}{\frac{1}{t_1^2}}+\frac{\lambda_2}{\frac{1}{t_2^2}} $$

図から、最大の二階微分は最大固有値（長半軸）で決まり、最小の二階微分は最小固有値（短半軸）で決まることがわかります。

ヘッセ行列の応用

基本的な定義がわかれば、ヘッセ行列の性質を使って、最適化における問題を分析できます。たとえば、局所最大点、局所最小点、鞍点の判定、学習率の決定、悪条件に基づく勾配降下法の挙動の評価などです。また、Hessian行列を使って、ニュートン法という最適化アルゴリズムも実現できます。

（本節・完）