１、原点（0,0,0）でカメラの向き（角度X,角度Y,0)の回転行列を作る
２、１のマトリックスから　カメラから原点までの距離（0,0, - 距離）をトランスフォーム
３、マウスでのミドルボタン平行移動は(移動量X ,移動量 Y , 移動量Z（0）)で1のマトリックスからトランスフォーム
４、２と３を足す
５、カメラに各要素をセット（４のposition、角度X,角度Y,0）

３、の　移動量Zの部分はメタセコアではズーム代わりになってると思う。
多分メタセコアのはこんな感じだと思(・ｘ・｀)
色々違ってたらｺﾞﾒﾝﾅｻｲ、と･･･。