「その日」は、相手の方が里帰りか何かから帰ってきたばかりということですか?四時間は正直びっくりですが、相手の方もたくさんに会いたかったのかもしれないですね。大丈夫だと思いますよ。あとは相手方の表情や様子を伺いながら「今日は少し疲れてるのかな?」とか「今日はいつもよりテンションが高いから何かいいことあったのかな?」みたいな感じで気遣って差し上げればいい関係が続くのではないでしょうか?