それは GoogleHome としてじゃなく Cast Device として命令通りの仕事をしてるだけなんで
しょうがないんじゃないかな
GooleHome が喋ってるんじゃなくて TTS で生成された Web上の mp3 を Cast してるだけだから