人気やイメージが商売のタネの芸能人の不倫であれば、その芸能人は仕事に影響が出ざるを得ないでしょうし、事実上の制裁が科されてしまうのが現状です。

芸能人ではない一般人の場合は、人気芸能人のようなダメージがあるわけではないです。

ただ、勤め人の方の不倫の場合は、事案によっては勤務先から懲戒されるおそれがあります。

私企業の場合、従業員を懲戒するには就業規則での懲戒処分の根拠規定が必要になるとされています。
懲戒に該当する規定の中で不倫の事案に適用できるものがあれば、その規定に基づき懲戒処分をすることは可能です。
もちろん、懲戒処分の規定や処分が不合理に重いとか過度に私生活に干渉するものであれば、裁判で規定自体が無効とされたり処分が無効となることもあり得ます。

基本的に不倫は私生活上の問題ですから、単に不倫の事実があったというだけで懲戒するというのはできないのが原則だと考えます。
不倫に限らず、従業員の私生活上の事柄で会社が懲戒をすることが許されるのかは裁判所で厳格に判断されますから、安易に懲戒処分に及んだ場合は懲戒された従業員から訴訟を起こされて、当該企業の方が責任を負うことがあり得ます。

不倫の事案でも解雇が有効になった裁判例もあったり、また解雇が無効になった事案もあります。
事案の具体的な事情によるところが大きいですし、数十年前の裁判例の判断が現在でも同様の結論になるわけではないので類似の事案でも判断が異なる可能性があります。

不倫による懲戒処分を検討する企業や、懲戒処分を受けた（受けそう）な従業員は、弁護士に相談をした上での対応をすることをお勧めします。

なお、不倫ということに止まらず、ハラスメント事案であったり職場規律違反の事案になる場合もありますから、不倫で懲戒処分を受けないなどと単純化して都合良く判断するのは安易な考えです。