ちな蒸留はかなり昔からあるテクニックだけどtransformers以降精度が劇的に上がったので
蒸留の技術も必然的に有用になったというわけ
後もう一つ最近流行ってるモデル最適化は量子化
量子化は分野によって結構意味が違うが深層学習においては
パラメータの32ビットの浮動小数点数を8ビットの整数に置き換える技術
こうすることでモデルのサイズを劇的に減らすことができる
さらに個人のマシンでも実行可能なようにできる