普通に他人は責任持てないから乗せたくない、でいいのでは？
あとは帰る時間指定してくるんなら、自分は好きな時間に帰りたいからその時間は約束できないって言っておく