派遣会社が、派遣先の旅館ホテルが承諾しなくても、派遣の帰宅を認めることは普通にあります
まず、派遣会社は雇用者として、労働者に対して適切な労働環境を提供する労働契約上の義務があります
一方で、派遣会社と旅館ホテルは派遣契約を締結しており、これには、旅館ホテルの派遣者に対する適切な労働環境を提供する義務も含まれます
これを前提として、旅館ホテルが適切な労働環境を提供しない場合、派遣会社との関係で契約違反となります
そうすると、派遣会社は旅館ホテルの意思と無関係に、派遣契約を解除することができます　
派遣契約が解除されれば、派遣者も旅館ホテルの意思と関係なく、派遣会社の命令に従って帰宅することになります

派遣会社にとって「派遣」は大事な商品です。そして人手不足の現状を考えると、その確保は派遣会社の経営にとって最大の課題です
一方で、派遣先である顧客の旅館ホテルは、外国人観光客の急増から慢性的な人手不足になっています
ゆえに、派遣会社は「派遣」の頭数をそろえれば、いくらでも利益が上がる一方で、派遣先の旅館ホテルはいくらでも余ってます　という状況です
ですから、派遣会社としては、顧客の旅館ホテルの事情よりも、「派遣」の事情を優先することになります
よって、派遣会社は「派遣」に評判の悪い顧客の旅館ホテルを切り捨てて、「派遣」の保護を図ることは普通にありえることです。
つまりは、「派遣」の退職を防ぎ、悪い噂が広がって他の派遣会社に「派遣」が転職しないように防止することが、派遣会社にとって最も重視すべき課題となっています