Terminé con mi novio. Necesito consejos

Quisiera saber qué opinan, tengo 4 años con mi novio y me decía que yo al terminar la universidad(ya me falta 1 año) hablaríamos de convivir o casarnos. Su papá y hermanas viven en otra provincia y tiene una hermana mayor que siempre se mete en problemas y anda en malos pasos y es como su mamá, la cuál ha tenido 4 hijos y ninguno tiene papá, la mayor de 16 ya se perdió en el mundo de la delincuencia pero queda uno de 12 años y otros dos más pequeños. Mi novio me dijo que a este pequeño ha pensado en traerlo a vivir con él a su minidepartamento para poder cambiar su camino y hacerlo estudiar, lo cual comprendo y entiendo que quiera ayudarlos. Sin embargo en ningún momento pidió mi opinión al respecto lo cual ya ha sucedido una anterior oportunidad cuando me dijo que se iría a vivir a su provincia porque sus sobrinos necesitan una figura paterna, pero luego habló con su hermana y le dijo que iba a cambiar, pero no ha sido así. Hablando con él seriamente le mencioné que sentía que no me considera en sus decisiones pese a que estas me van a afectar porque yo tengo 29 años y pensaba en tener hijos en unos 3 o 4 años cuando ya nos hayamos establecido económicamente y tengamos algo propio porque yo vivo en casa de mis papás, le comenté que de todas formas la relación cambia porque es un compromiso muy grande el que estaría asumiendo sería como un hijo para él y también mío y yo ahora no quiero tener hijos tampoco que quería reservar esa etapa para cuando ya tengamos una estabilidad como pareja, que yo jamás me atrevería a decirle que no ayude a su familia, a lo que él me dijo que su familia es su prioridad y están primero que soy egoísta, la verdad me dolió eso porque pensé que yo también era su familia como yo lo consideraba a él. Creo que si bien es cierto él está en su derecho de apoyar a su familia como desee así como también yo de seguir mi camino que es distinto al de él, que no deseaba asumir una responsabilidad tan grande por ahora y que nuestros planes a futuro se retrasarían. ¿Ustedes creen que estoy haciendo mal? 😣 Cabe precisar que en ningún momento le puse a elegir o algo, además él es un buen hombre sé que me quiere y me respeta, solo decidí terminar con la relación porque siento que esa será una constante si llegáramos a formar una familia y por opiniones de amigas casadas me dicen que esa forma de ser nunca cambiará, ya que él se siente responsable y en obligación de velar por ellos.