本当に存在を消したかったのであれば写真のサスケの部分だけ切り取って他は捨てるでしょ
それをしなかったのは産婆をしてくれた香燐へ感謝の意を込めてるんじゃないの
そこに関しては原作で明確に語られてないから憶測でしかないけど

でもまぁ、自分もサスケ以外の部分は捨てるべきだとは思ったけどな