起動時に出てくるタブのことなら消せない
イマドキのサイトを開くと勝手にEdgeに飛ばされるのはEdgeの設定で切れる

あとそもそも論だけど、必要があってIEを使うなら、IEじゃなくてEdgeのIEモードを使うべきだぞ
一応これが正式な対処法
グループポリシーだか使えば特定サイトのみIEモードとかにもできるらしいし