圧縮について理論的な裏付けを探しているなら、
次のキーワードについて調べてみるとよいでしょう。
初等的な情報理論の参考書に出ているものです。

情報源（符号化）
エントロピー
ユニバーサル
エルゴード性
エントロピーレート