それはムチャなスケジュールだから疲れて当然。
前日に現地入りするか現地で泊まって朝の新幹線で帰るか、とにかく日帰りは選ばない。