違っているかもしれませんが、マスクライブラリのマスクは
画像全体にしか適用できないようですね。

個別オブジェクトにマスクを掛けたい場合は、そのオブジェクトを
作業エリアにドラッグして別画像にし、
オブジェクトと背景をマージ、
マスクライブラリから好みのマスクをダブルクリック、
（必要に応じてマスクモードで調整、ノーマルモードに戻す）
Ctrl+Cでコピー

もとの画像に戻って、Ctrl+Vで貼り付け、
オブジェクトとして張り付くので、あとは変形とか
いろいろ加工できます。

それが面倒という場合は、ライブラリのマスクは使わずに、元画像の
オブジェクトをオブジェクトペイント消しゴムのサイズ・透明度・ソフ
トエッジの数値を調整してオブジェクトの淵を消していっても、望みの
結果は得られるのではないでしょうか？

バージョン8で試したやり方です。