さすがにその情報だけではなんとも…。
Home AssistantのログレベルをDEBUGに落としてログを確認するところからかな。

というかあなたは結局どうやってサーバ公開することにしたの？
MAP-Eで443以外のポートを開放したんだとすれば、GoogleはHTTPSでは
443以外のポートを叩きに来ないらしいので、だめなんじゃないかな。

https://community.home-assistant.io/t/can-someone-help-me-with-google-home/37437
"Google will try and connect on port 443, so if your home assitant interface is running on 8123 you will need to forward 443 to 8123"