gitにタイムスタンプを入れるな派はソースファイルを考えていて
入れろ派はdiffで差分確認出来ないファイルを考えているんだよね?
Git LFSだけファイルのタイムスタンプを保存するようにして、
ファイル種別でGit LFSに入れる運用にすれば両方満足するのでは?