ベクトルと行列に関する微分公式

$$
\newcommand{\bs}{\boldsymbol}
\newcommand{\der}{\partial}
\newcommand{\defeq}{\overset{\text{def}}{=}}
$$

この記事では「回帰分析(新装版) (統計ライブラリー)」という本に載っていた、ベクトルと行列に関する微分公式のうち使用頻度の高いものを解説を付けて紹介する。

※適宜追加していく予定

佐和隆光朝倉書店 2020年02月17日頃

内積をベクトルで微分する

$ x, a $を同じ次元の縦ベクトルとする。

また、$ x’ $をベクトル$ x $の転置とする。このとき

$$
\frac{\der \bs{x}’\bs{a}}{\der \bs{x}}
= \frac{\der \bs{a}’\bs{x}}{\der \bs{x}}
= \bs{a}
$$

$ x $をn次元ベクトル、$ A $をn×n対称行列とする。

このとき、二次形式$ x’Ax $について以下が成り立つ。

$$
\frac{\der \bs{x’Ax}}{\der \bs{x}} = 2A\bs{x}
$$