高山も相賀も先生のオリジナルだからなんとでもできる。

信長の逆鱗に触れて追放
子孫が絶えて領土没収
戦場で戦死して領土没収
信長に乗っ取られ

実際、信長の家臣でその後の消息不明な人いるよ。