本当にそう...
WriteableBitmapExも一応純正じゃないからあれだしいまさらC+めんどーでねー

というわけで1日半かけてInMemoryRandomAccessStreamリークは解決しました
VS2015のデバッガがアホでした、デバッガ使わないとリークしないことが判明orz