お金のことで揉める？のってどうしたらいいでしょうか？

お互い精神の夫婦子なし犬が一匹の暮らし。
生活費（食費と日用品等の雑費のみ）について。
嫁である私に生活費は託すと言われたものの、お金の使い方が悪いと言われたので家計簿をつけるようにしました。
簡単な家計簿ではえりますが。
それで無駄遣いは減ったはずなんですが「もうそれしかお金ないの？」と言われてしまいました。
旦那は基本的に食料の買い出しは全て私任せ。
自分は私個人の本当に個人的な趣味のお金については相談してから買うか決めます。ほとんどのものがそうです。旦那はホイホイ買いますしかも後払い決済とかで。

その旦那が生活費に文句言います。
そもそもスーパー行っても何もかも値上げされてて、こちらもどうにか安く買えるよう工夫しています。なのに何に使ったの？何でそんなに使ったの？といいます。
こちらが反論しようものならじゃあ俺が管理するです。
お米買ってきてってお願いしたのに趣味のもの買ってお米買わずに帰ってきた人間に生活費任せるのは怖いです。

私のやりくりが下手？
どこか無駄遣いしている？
旦那が正しい？
旦那が間違え？

なお、貯金ができる程度（月数万くらいではあるが）には生活には困ってないです。

たしかに私はお金の計算が苦手です。
たまに食材でも衝動買いするときもあります。
そもそも旦那は酒が飲みたいとかお金のかかる夕食の自炊を求めてくるときもあります。

どうすれば丸く収まるんでしょうか。

ちなみに私と買い物に付き添うことは余程じゃないとないです。
体調不良時か自分も買いたいものがあるときかお米などを買うときにお願いして付き添ってもらうくらいです。