データサイエンス関連+αのメモ

統計学・機械学習（+その他の気になった分野）の教科書や論文を読み、自分で理解した範囲の理論と実装をメモしていく場所

数学

• 数学の初歩
• 集合論
• 微分積分学
  • 数列
  • 関数
    • 関数
    • 三角関数
    • 指数関数と対数関数
    • 極限
  • 微分法
    • 微分法
    • 極値
    • 微分学の基礎的な定理
    • テイラー近似
  • 積分法
    • 不定積分
    • 定積分
  • 練習問題メモ
    • 練習問題メモ 01
    • 練習問題メモ 02
• 線形代数学
  • ベクトル
    • ベクトルとベクトル空間
    • 内積
    • クロス積（ベクトル積）
    • 直積
    • ベクトル空間
  • 行列
  • 行列式
    • 行列式の定義
    • 行列式の性質
    • 行列式の幾何的な解釈：体積拡大率
    • 余因子
    • 置換
  • 逆行列
  • 線形写像
  • 行列の階数（rank）
  • 連立1次方程式
    • 概要
    • Gauss-Jordanの消去法
    • LU分解
    • 共役勾配法
  • 固有値
    • 固有値と固有ベクトル
    • 固有値と共分散
  • 2次元と3次元の簡単な幾何学
  • 計算量や数値計算について
    • 逆行列の計算量
    • numpyやscipyの逆行列の実装について
  • 練習問題
    • 練習問題 メモ 1
    • 練習問題 メモ 2
    • 練習問題 メモ 3
    • 練習問題 メモ 4
    • 練習問題メモ 5（連立1次方程式）
    • 練習問題メモ 6（正則行列）
    • 練習問題メモ 7（置換）
    • 練習問題メモ 8（行列式）
    • 練習問題メモ 9（余因子展開）
    • 練習問題メモ 10（特別な形をした行列式）
    • 練習問題メモ 11（行列式の幾何学的意味）
    • 練習問題メモ 12（行列の指数関数）
    • 練習問題メモ 13（ベクトル空間）
• 数理最適化
  • 最適性条件
  • 勾配法
  • ラグランジュの未定乗数法
  • ナップサック問題
  • 最適輸送

統計学

• 確率
  • 確率
  • 確率変数と期待値・分散
  • 離散確率分布
  • 連続確率分布
  • 確率分布の性質
• 統計的推測
  • 標本分布
  • 母関数
  • 中心極限定理
  • 点推定
  • 区間推定
  • 検定
  • 信頼区間と検定の関係性
  • 尤度関数と確率関数の違いは何なのか？
• ダイバージェンス
• 最適輸送
• Bootstrap
• ノンパラメトリック密度推定
• 順序尺度の相関係数
• Sandwich Estimator
• 漸近理論
  • 漸近理論
  • 漸近オーダーの表記法
• ベイズ統計学
  • ベイズ推定
  • マルコフ連鎖モンテカルロ（MCMC）法
• 統計学の誤用や望ましい作法

統計モデリング

• 因子分析
• ガウス過程回帰
• 分位点回帰
• 生存分析
• 構造方程式モデリング
  • Structural Equation Modeling（SEM）
  • 統計量
  • 回帰分析
  • パス解析
  • MIMICモデル & PLSモデル
  • 因子分析モデル
  • モデルの評価
  • Lavaanの独立モデル
• ベイズ統計モデリング
• 時系列分析
  • 時系列データの特徴
  • 時系列データの変換
  • ARIMAモデル
  • 状態空間モデル
• Symbolic Data Analysis

計量経済学・因果推論

• ルービンの因果モデル
• Selection Bias
• 実験デザイン
• 因果ダイアグラム
• 回帰分析
  • 概要
  • OLSの仮定
  • 線形回帰モデルの種類
  • 最尤推定法に基づく正規方程式の導出
  • 誤差項と残差の違い
  • 条件付き期待値関数（CEF）
  • OLS推定量の性質
  • OLSの検定・区間推定
  • OLSのロバスト標準誤差
  • 対数変換
  • 欠落変数バイアス
  • FWL定理
• 傾向スコア
• 操作変数法
  • 操作変数法
  • 一般化モーメント法と操作変数法
  • 操作変数法の歴史
  • 同時方程式モデル
• RDD
• 固定効果モデル
• Difference In Differences
• Synthetic Control
• Causal Impact
• 一般化モーメント法
• Causal Machine Learning
  • Meta Learner
  • Casual Tree/Forest
  • Double/Debiased Machine Learning
  • モデルの評価
• 統計的因果探索
• Uplift Modeling
• よさそうな文献・サイト

機械学習

• 線形モデル
  • 線形回帰
  • Ridge回帰
  • LASSO
  • Heterogeneous effect
  • 欠損対応
  • 線形判別モデル
  • ロジスティック回帰
• Support Vector Machine
• Tree-based Algorithms
  • 決定木
  • 勾配ブースティング決定木
  • GBDTの勾配の量子化
  • LightGBM
  • Quantized Training of LightGBM
  • NGBoost
  • CatBoost
  • Mondrian Forests
  • Generalized Random Forest (GRF)
  • Distributional Random Forest
  • なぜTree-based modelはDeep Learningよりテーブルデータに強いのか
• ナイーブベイズ
• ベイジアンネットワーク
• 次元削減
• 不均衡データ
• 確率予測
• 予測モデルの評価
  • 交差検証
  • 汎化誤差
  • AICとCross Validation
  • Metrics
  • 予測の不確実性の評価
• MLOps
  • ML Design Patterns
  • ML System Design Pattern
• 過学習と良性の過学習（Double Descent, Grokking）
• Feature Engineering
• 説明可能性

深層学習

• 深層学習の歴史
• Deep Learning and Tabular data
• Deep Neural Network
  • 多層パーセプトロン
• CNN
  • CNN
• RNN
  • RNN
  • LSTM
  • GRU
• Transformer
  • Transformerのアルゴリズム
  • Transformerの理論的解析
  • numpyでGPTを再現する

生成モデル

• 生成モデル
• Autoencoder
• GAN
• Diffusion Models

自然言語処理

• テキストデータの前処理：表記揺れ、正規化
• 表記ゆれと正規化
• 文字列の距離
• トークン化
• 言語モデル
• 単語の埋め込み
• 言語モデルとRNN
• Document Understanding

画像処理

• 画像認識
• 画像の傾きを補正する

推薦システム

• 概要
• 協調フィルタリング
• 行列分解に基づく推薦システム
• Factorization Machines

ビジネス関連知識

• 売上構造やKPI
• 会計
• プロダクトマネジメント
  • PRD（Product Requirements Document）
  • Machine Learning Product Management（MLPdM）
• プロジェクトマネジメント
  • システム開発手法
  • ロードマップ
• 経営学
  • 概要
  • 経営学史
  • 因果過程追跡

データマネジメント

• データマネジメント

ソフトウェア工学

• ソフトウェア開発の基礎
  • プログラミング
  • データ構造
  • 探索アルゴリズム
  • ソートのアルゴリズム
  • 数学的なアルゴリズム
  • その他のアルゴリズム
• ソフトウェア開発
  • フロントエンド開発
  • バックエンド開発
  • ネットワーク・通信
  • ドメイン駆動設計
  • Serverless

経済学

• ミクロ経済学
  • 需要の弾力性
• マクロ経済学
  • 国民経済計算
  • 経済成長
  • ミクロ的基礎付け
• Quantitative Economics

金融経済学

• 概要
• 最適ポートフォリオ
• CAPM
• ファイナンスの指標たち
• Feature Neutralization
• 統計的裁定
• Asset Pricing
• 論文メモ
  • ABCD Forcast
• 金融時系列解析
  • 時系列予測の性能検証
  • Data Augmentation
• 金融系ライブラリ