>>500
回帰問題に限るし決定木理解してる事前提で、雑に
+ random forestはそれぞれの木の平均を最終出力
+ 単純なboosting treesはそれぞれの木を足し合わせたのを最終出力
+ gradient boosting treesはそれぞれの木に重み付で足し合わせたのが最終出力

学習時は
+ bagging系(random forest)は、とにかく適当にサンプリングして並列して学習
+ boosting系は2個目以降は一個前までの出力と正答との差分に近づく様に学習