言葉って難しい
同じ日本語を使っていても、話す方と聞く方が必ずしも同じ意味に捉えるわけではありません。特に言外の意味が伝わらないと、まったく違う捉えられ方をしてしまいます。
例えば
「君だけだよ、僕のことをわかってくれるのは。」と軽い気持ちで言ったのに、
相手は
「私だけが彼のことを本当にわかっているただ一人の人なのだ。」と真剣に思うとか、
「いつか結婚できたらいいね。」(現実には無理なんだけど、と思いながら)
というのが、
「いつかこの人と結婚できるんだわ。」と確信を持つとか。
こういうことの積み重ねが、いざ、不倫関係を終わらせようとする時に揉める元になります。
「あの時ああ言ったじゃない。」
という「ああ」が、上記のようなことだったり、言った本人が忘れているような昔に言った軽い気持ちの言葉だったり、更にはその場を取り繕うだけの言葉である場合もあります。
話す言葉には、責任を持つ必要がもちろんありますが、話した方が考えていた意味と聞いた方が理解した意味が違うのではどうにもしようがありません。
何を信じれば良いの?というのでしたら、不倫関係というものが既に裏の関係である以上、自分にとって響きが良いどの言葉も信じない、と考えるべきではないでしょうか。