И с нее, и на нее - это хорошо. Когда она вместе с ним - это предложение. В еще одной идиоме, кроме ЕГО, ЕЕ и связывающего их предлога, встречается не совсем стандартная форма деепричастия. Какая именно?