不倫相手が「君が本気で俺と一緒になってくれるなら、俺は嫁と別れる離婚をする」と言ってくれたのですが 一緒になってもいいのでしょうか?