Claro que haces bien, y si dices que él se a dado cuenta de lo que pasa debería de saber entender. Cuando le digas lo que ves y sientes de su familia para contigo trata que nunca sea a gritos o reclamándole eso sólo lo pondrá a la defensiva y trata de no repetirlo siempre.
Si él quiere ver a su familia pues perfecto, que lo haga, pero no puede obligarte a ti a ir para que lo pases mal. Jamás le niegues el contacto con ellos.
En las ocasiones que él salga a verlos no te quedes en casa amargada, sal a ver las tiendas, a comprar algo bonito para ti, visita a alguna amiga o familiar, la idea es que él cuando regrese te vea relajada y puedan hablar de forma tranquila de lo que han hecho ambos por cuenta separada, así el podrá notar que no desapruebas el hecho de ir solo a casa de sus padres y que puedes estar bien así.
Si lo conversas, como dije antes, que sea tranquila y sin reproches, ojala él pueda entender que algunos cambios son necesarios para tener una armonía en el hogar.
Si quieres puedes ir una que otra vez a ver a su familia, pero no te fuerces a ello.
Ojala las cosas sigan mejorando en tu relación.

Voy a dejar esto por aquí y me iré lentamente...