なんか色々と勘違いで普通にできた。

ラズパイとHomeをbluetoothでつないでアシスタントSDKを使うといい感じだ。
「◯◯繰り返して」を送るとnotifierみたいにHomeから話してくれる。notifierと違って完全にhomeと同じ声になるのがいい。

この形なら「今日の天気は？」とか「今日の予定は？」を定期起動させたりできるし、ルーチン的なものを組むことができる。

あとライブラリの中身を少し書き換えたら普通に日本語のクエリも送れるようになった。
需要あるかはわからんけど、あとでdiffを投稿しときます。