不倫相手と結婚し子供を生んだ女性、批判の声に「言われる筋合いはない」が物議