基本的なことを整理すると、

光出力や、コンポジットからは、小さな信号しか出てない。（テレビ側音声出力端子）
小さな信号だけでは、スピーカーのマグネットを駆動できない。
アンプによって、入ってきた小さな信号をスピーカーのマグネットを駆動できるまで、増幅する。（アンプ）
マグネットで動かされたコーン紙が空気を振動させて、音を出している。（スピーカー）



昔のテレビでは、外部スピーカーに繋ぐための＋−の端子自体が付いてたこともあった。
この場合、アンプ自体は、テレビ内蔵のものを使って、スピーカーは、手持ちにあるものを使えた。
>>286さんのやってることも、このようなことをしている。
テレビの裏蓋を開けたりしない人であれば、テレビの音声出力から出ている信号を外部アンプに
繋ぐしかない。