そもそも、HTTP には接続するという概念がない。
1回限りの通信

それを、同じユーザーがアクセスしているように、
前回の通信と、つながりがあるように見せているのは、
ブラウザ内のクッキーを使った、session。
サーバーへクッキーを送ることで、サーバーは前回と同じユーザーだと判断する

他には、Websocket とか

Elixir の小プロセスは、10万個も起動できる