Reference:

1. 金谷 健一. これなら分かる応用数学教室―最小二乗法からウェーブレットまで― . 共立出版, 2003.↩

はじめに

この章は応用数学教室を読みすすめる上で必要な線形代数をさらうことを目的に作られた章です。そのため、

  • 連立方程式の行列表示
  • 連立方程式が解けることと行列が正則で有ることの関係
  • 行列式
  • 行列式の余因子展開とクラメルの公式
  • 逆行列と転置行列
  • 線形独立、線形従属
  • 線形空間、部分線形空間、元の集合によって貼られる空間、次元、ランク

といった、いわゆる線形空間の基礎について前半10ページくらいを使って触れています。 （ここまでやって基底について触れないあたり、応用数学教室で必要ないことは省くの精神が垣間見えますね）

以前線形代数はTPTで取り扱った（し、一応教養部でやったので）割愛しています。勉強会では触れるかも。固有値と固有ベクトルに関しては後半に絡むので、かんたんな解説入れています。

Plot

応用数学教室本書の順番を後ろから解いていく。

  • この章の最終目的地であるところの2次形式の標準化を雰囲気だけ説明する
  • そのために係数行列を対角化する必要があることを確認する
  • 行列を対角化するための手段として、固有値分解について説明する
  • 最後に応用数学教室と同じ順番でまとめる

この章を読むのに必要な復習

線形代数。行列の積と行列式と内積がわかれば一応大丈夫

雰囲気だけわかる最終目的地

応用数学教室の6章が主成分分析(TPT内部生は過去の勉強会の録画があります)になります。 主成分分析の雰囲気を知るなら主成分分析の考え方などを見てください。

この章を理解するためだけにざっくりとした理解をすると斜めのいい感じの軸で座標を取り直すようなことをしているという理解をしてください。

少し強引ですが、離散的なデータ点に対して軸を取り直す前にきれいな形に対して軸を取り直すことを考えます。、、、例えば「楕円」とか

二次形式について

次数が2でのみ構成された式を考えます。例えば、

$$ ax^2 + 2bxy + cy^2 ~~~ 式(1.1) $$

などです。これを軸を回転させることで、$x^2$と$y^2$のみにできると数Ⅲでやったx軸かy軸に沿った二次曲線（放物線、楕円、双曲線）になり、うまく回転できたと評価できる。

斜めの楕円を治す、(images/ouyo_ch05.png)

式(1.1)を行列と内積を用いて表すと、

$$ \\ \left( \left( \begin{array}{c} x \\ y \end{array} \right), \left( \begin{array}{cc} a & b \\ b & c \end{array} \right) \left( \begin{array}{c} x \\ y \end{array} \right) \right) $$

となる。この係数を表した行列を係数行列という。

今、対角成分以外を0にできれば変数の2乗だけが残ることになる。

例えば

$$ \left( \begin{array}{c} x \\ y \end{array} \right) := B \left( \begin{array}{c} x' \\ y' \end{array} \right) $$

と変換すると、 $$ \left( \left( \begin{array}{c} x \\ y \end{array} \right), \left( \begin{array}{cc} a & b \\ b & c \end{array} \right) \left( \begin{array}{c} x \\ y \end{array} \right) \right) = \left( B \left( \begin{array}{c} x' \\ y' \end{array} \right), \left( \begin{array}{cc} a & b \\ b & c \end{array} \right) B \left( \begin{array}{c} x' \\ y' \end{array} \right)

\right) \

\left( \left( \begin{array}{c} x' \\ y' \end{array} \right), B^{\mathrm{T}} \left( \begin{array}{cc} a & b \\ b & c \end{array} \right) B\left( \begin{array}{c} x' \\ y' \end{array} \right) \right) $$

となる。この３つの行列の積が対角成分以外が0の行列となればよい。そのために固有値分解を用いることになる。

固有値分解

今行列Aに対して、 $$ Au = \lambda u $$ となる定数$\lambda$と(ゼロではない)ベクトル$u$が存在するとき、$\lambda$を固有値、$u$を固有ベクトルという。 これを整理して$u\neq0$を仮定して、 $$ Au = \lambda u \Leftrightarrow |A-\lambda I|u = 0 \Leftrightarrow |A-\lambda I| = 0 $$ これを解けば固有値と固有ベクトルを得る。

互いに直行したベクトルを列にして並べたものを直交行列という。直交というのは内積と0で無いベクトルu, vを用いて、 $$ (u, v) = 0 $$ で定義する。

証明は省くが、今、固有ベクトルは互いに直行しているから、 固有ベクトルを列として並べた行列は直交行列となる。

これをUとおくと、 $$ U^{\mathrm{T}}AU = \left( \begin{array}{c} \lambda_1~~ 0~~ 0~~ \cdots~~ 0 \\ 0~~ \lambda_2 ~~0 ~~\cdots~~ 0 \\ \vdots \\ 0 ~~0 ~~0~~ \cdots ~~\lambda_n \\ \end{array} \right) $$ として対角化が成功する。

※行列式

この章は行列式がわからないというときのための補足です。飛ばしてもいいよ。 n*n正方行列Aに対して行列式を定義する。n個の置換すべてを元として持った集合をSとして行列式$|A|$を定義すると、

$$ \begin{eqnarray} sgn(\sigma):&=& (置換 \sigma を恒等置換から有限回の互換で表したときの互換の個数が偶数なら1, 奇数なら-1を返す関数) \\ a_{ij}:&=& Aのi行目j列目の要素 \\ \sigma_i :&=& 添字iが置換された先 \\ |A| &=& \sum_{\sigma \in S} sgn(\sigma) \Pi_{i=1}^n a_{i \sigma_i} \end{eqnarray} $$

ちょっと複雑なので、具体例

${1, 2}$の置換は$(1, 2), (2, 1)$の2種類$(=2!)$存在する。よって $$S = \{(1, 2), (2, 1)\}$$

置換(1,2)は恒等置換なので、表すのに必要な互換の個数は0.よって $$sgn((1,2))=1$$ 同様にして $$ sgn((2,1)) = -1 $$ また、置換$\sigma = (2,1)$に対して$\sigma_i$は、 $$\sigma_1 = 2, \sigma_2 = 1$$ ということを表している。

$$ \begin{eqnarray} |A| &=& \left| \begin{array}{cc} a_{11} & a_{12} \\ a_{21} & a_{22} \end{array} \right| \\ &=& sgn((1,2)) a_{11} a_{22} + sgn((2,1)) a_{12} a_{21} \\ &=& a_{11} a_{22} - a_{12} a_{21} \end{eqnarray} $$

行列式の説明終わり。まとめとしては、行列式の計算の仕方をたすき掛けやサラスの公式で対応しているとAの列数(=行数)が4以上のときに対応できなくなるので、上の定義で覚えましょう