結論を書くと
ContactsContract.CommonDataKinds.Phone.CONTACT_ID + " = ?" ではなく
ContactsContract.CommonDataKinds.Phone._ID + " = ?" が正解でした。
これで選択した番号を拾ってこれました。