Mi pareja quiere que nuestro hijo visite a su ex pareja

Buenas tardes, tengo la cabeza echa un lío y necesito una opinión desde fuera...os expongo el tema...resulta que mi ex tiene un hijo de 16 años con su anterior pareja de la que lleva 12 separado, nosotros llevamos 8 años y tenemos un niño de 5 años el caso es que jamás ha nombrado a su ex en mi casa era como un tema tabú, relación 0 hasta el punto de cruzarnos y ni saludarnos,y a raíz de que está persona se separase hace unos meses quiere que mi hijo vaya a su casa como si tal cosa y esté allí con ella y con el hijo q tiene en común con esta persona, el hermanastro de mi hijo. Yo me niego a que mi hijo tenga relación con esa mujer y el alega que soy mala persona que es para que sus hermanos tengan relación y le dicho que a eso no me niego al contrario estoy a favor pero que lo hagan en mi casa que pasen tiempo aquí con nosotros que él es su padre y esa mujer no le toca nada a mi hijo y de no querer verla y relación cero, a pasar a esto de la noche a la mañana la verdad que no me gusta. ¿Que opináis? ¿Y que me recomendáis? Gracias a todas por vuestra ayuda.