上りは重量差分、つまり位置エネルギー分だけ軽いほうが有利。これは登っている間は何があろうと確実に効いて来る。

下りはブレーキを使わなければ位置エネルギーの話としては重いほうが有利。
上りで溜めた位置エネルギーを生かしてノーブレーキで下って下り終わった後も慣性で進み続けるなら位置エネルギー的と運動エネルギー的には重いほうが有利だが
普通の人はブレーキかけながら同じようなスピードで下って平地に降りたらまずブレーキするだろうから、下りは重いほうが有利というのはあてはまらない。

だから確実に上り下りでは軽量化したほうが有利なのはほぼまちがいないと思う。
でもたとえば1kg軽量化したとしても実際は2%未満の差。それを大きいと思うか思わないかは個人次第。

さらに下りは空気抵抗が速度の２乗できいてくるから、下りで速度が高いほうが空気抵抗的に不利になるからやはり多少重いほうが不利。
とはいえ1kgの軽量化で速度差がそんなでないからまあそのへんはほぼ誤差だと思ってるけど。