A mi me parece que tu molestia debe tener una raiz, no se si te interese ir a alguna terapia para saber, eso si te molesta mucho.
En lo personal mi esposo no me deja en paz, me saluda a mí y luego a mis nalgas :/ o me da llegues, siempre hace eso. A mi también me molesta cuando estoy ocupada, pero yo siento esa molestia como algo normal, no se tu.
Otra cosa, si para ti es insoportable no tienes porque permitirlo, eso no justificaria que tu esposo se vaya con otra, si te ama lo va a dejar de hacer y no buscar a nadie mas, asi de sencillo.