Distillation

Knowledge Distillation

知識蒸留（knowledge distillation） は、あるモデルが学んだことを別のモデルに移すこと。 教師モデルを模倣するように生徒モデルが学習していく。

Data Distillation

教師ラベルのないデータの複数の変換を用いた予測をアンサンブルして新しい訓練用の教師ラベル（疑似ラベル）を自動的に生成する方法

[1712.04440] Data Distillation: Towards Omni-Supervised Learning

data distillation, a method that ensembles predictions from multiple transformations of unlabeled data, using a single model, to automatically generate new training annotations.

疑似ラベルについての言及はなく単にデータを小さくするだけという定義もある

Sachdeva, N., & McAuley, J. (2023). Data Distillation: A Survey.

(Loose) Definition 1. (Data distillation) Approaches that aim to synthesize tiny and high-fidelity data summaries which distill the most important knowledge from a given target dataset. Such distilled summaries are optimized to serve as effective drop-in replacements of the original dataset for efficient and accurate data-usage applications like model training, inference, architecture search, etc.