Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

データサイエンスのために最低限必要な数学

データサイエンスで必要な数学はどのあたりになるだろうか？を考えてみる

基礎・共通

どの分野でも使うであろう基礎的な知識

  • 数の種類：実数、整数

  • 基礎的な関数：指数関数、対数関数、三角関数

  • 記号：総和記号 ∑\sum、総積記号 ∏\prod、∈\inとかの集合論の記号、指示関数など

  • 集合の基礎：内包 {x∣x∈X}\{x \mid x \in \mathcal{X}\} ・ 外延 {0,1}\{0, 1\} など

  • 微分・簡単な制約なし凸最適化

  • 積分（期待値や確率分布の定義が読める程度の最低限の理解でいい）

  • 線形代数：行列とベクトルの定義や演算、内積とコサイン類似度、逆行列

分野別・基礎知識

分野によって必要になる知識が違いそうなので、分野別に基礎知識をわけるならこうかな？という一覧

機械学習

決定木、勾配ブースティング、サポートベクターマシンなど、標準的・伝統的な機械学習を学ぶときに必要になるもの

数学の概念関連する手法・応用例概要
テイラー展開（近似）勾配ブースティング関数を多項式で近似する考え方。勾配方向の更新やロス近似に使われる。
制約付き最適化・ラグランジュの未定乗数法正則化（L1/L2）、SVM、Lasso、Ridge目的関数に制約条件を課す最適化。汎化性能を高めるための正則化項などで用いられる。
固有値分解主成分分析行列の性質を特徴付ける。データの主成分や構造を抽出するのに使う。

深層学習

数学の概念関連する手法・モデル概要
線形代数（ベクトル・行列・テンソル）Attention, Transformer, MLP, Embedding 層入力を高次元ベクトル空間に射影し、線形変換によって情報を結合・変換する。
内積・類似度（Cosine / Dot）Self-Attention, Cross-Attentionクエリとキーの類似度を内積で測定し、重み付け平均を形成する。
変分法VAE、Diffusion Probabilistic Models潜在変数モデルを近似するための期待下限（ELBO）を最大化。
確率微分方程式（SDE）Continuous Diffusion Models, Score-based Models拡散（ノイズ付加）と逆拡散（ノイズ除去）を連続時間で記述。

統計的因果推論

数学の概念関連する手法・モデル概要
テイラー展開（近似）変数を対数変換したときの回帰係数の解釈対数変換したときの回帰係数は変化率の近似になる
確率極限漸近理論、一致性など推定量の性質についての議論など

画像処理

少なくともディープラーニング登場前のパラダイムの画像処理ではフーリエ変換や線形代数の技法が色々使われていた。

モダンな画像処理ではどこまで必要かは不明。

射影変換など線形代数的な考え方やフーリエ変換の話に遭遇してもなんとなくわかる程度になっておけば良さそう？

数学の概念関連する手法・応用例概要
フーリエ変換周波数フィルタリング、エッジ検出、DCT（JPEG圧縮）、CNNの畳み込み理解画像を周波数成分に分解。低周波・高周波成分の分離でノイズ除去や圧縮を実現。
テンソル解析畳み込みニューラルネットワーク、光流解析、3D画像処理高次元データ（RGB画像・動画・医用画像）を表現・操作する数学的枠組み。
射影変換・アフィン変換幾何補正、画像位置合わせ（registration）座標系の線形変換。回転・拡大縮小・平行移動などを行う。
特異値分解・テンソル分解動画分離、背景抽出、圧縮センシング高次元データを低次元の基底に分解して構造を抽出。
微分幾何（曲率・法線）3D再構成、物体認識、陰影解析曲面の形状や法線方向を数学的に記述。

自然言語処理

数学の概念関連する手法・応用例概要
確率分布・尤度言語モデル（n-gram, HMM）、生成モデル（Naive Bayes）単語列の出現確率を定義し、系列の生成や分類を行う。
線形代数（行列・ベクトル）Word2Vec, GloVe, BERT埋め込み単語や文をベクトル空間に埋め込み、意味的類似度を計算。
確率過程・マルコフ連鎖HMM、言語モデル（n-gram）過去の単語系列に基づいて次単語の確率を予測。
変分推論・ELBOVAE（Variational Autoencoder for Text）、LDA潜在変数モデルを近似的に学習。確率的表現を獲得。
グラフ理論・グラフ埋め込み知識グラフ（TransE, RotatE）、意味ネットワーク単語や概念をノードとし、関係をエッジとして表現。

推薦システム

数学の概念関連する手法・応用例概要
線形代数（行列分解・Tensor分解）行列分解型推薦（Matrix Factorization）、SVD++、ALS、NMFユーザー×アイテム行列を低次元に分解し、潜在因子を抽出。評価値の欠損を補完する。
確率モデル（ベイズ推定）ベイズ行列分解（BPMF）、変分ベイズ推薦、確率的潜在意味解析（PLSA）評価や嗜好を確率変数として扱い、事後分布に基づいて予測する。
グラフ理論Graph-based CF、Graph Neural Networks (GNN)、Node2Vecユーザーとアイテムをノードとして扱い、関係構造から嗜好を推定する。
確率過程／マルコフ連鎖シーケンス推薦、Markov Chain Recommender、Next-item prediction過去の行動系列から次の行動を確率的に予測する。

強化学習

数学の概念関連する手法・応用例概要
マルコフ過程隠れマルコフモデル（HMM）、強化学習状態遷移を確率で表す動的モデル。系列データ解析に重要。
確率微分方程式強化学習（探索過程）、ランジュバン力学、SGD with noise確率的な動きのモデル化。学習のノイズや拡散過程の理解に。

その他

数学の概念関連する手法・応用例概要
特異値分解（SVD）PCA、行列分解推薦システムデータの構造を低次元に分解。潜在因子モデルにも応用。

もっと深ぼる場合

抽象的・理論的な議論が理解でき、機械学習の理論系の論文が読めるようになるには

例えば「確率測度」「概収束」とか出てきても動じなくなるには

例えば「〇〇空間」とか出てきても躓かずに「ああ、そういう演算が定義された集合なのね」と読み進められる状態になるには

  • 確率論：測度論、漸近理論、etc.

  • 線形代数：内積空間、etc.

  • 解析学：可測関数、再生核ヒルベルト空間、ルベーグ積分、etc.

無限にありそう

数学
データサイエンスでよく使う数学記号一覧
数学
集合論