Lo mejor para ti sería terminarlo, es difícil esa parte pero no puedes estar toda tu vida desconfiado, una relación no se basa en eso el no te ama porque si lo hiciera no te hubiera dicho eso, en cualquier momento el te será infiel y eso sí ya será tu culpa por no querer alejarte de el, al final vas a encontrar a alguien más quien si sepa valorarte.
Así que muchos ánimos y espero eligas lo mejor para ti, recuerda amarte y respetarte a ti primero.