秘密鍵(p,q)が合成数だった場合に実際にどうなるかはRSA鍵の生成時に確率的素数判定法を使って問題ないのか - hnwの日記に事例があります。
SSHの公開鍵認証で試した結果が記載されていますが、opensslで普通に暗号化・復号した場合は復号時に
RSA operation error
139806236009728:error:0407109F:rsa routines:RSA_padding_check_PKCS1_type_2:pkcs decoding error:crypto/rsa/rsa_pk1.c:251:
139806236009728:error:04065072:rsa routines:rsa_ossl_private_decrypt:padding check failed:crypto/rsa/rsa_ossl.c:491:
こんなエラーで失敗します。(正確に言うとごく希に「エラーは出ないが誤った平文」になるときがあるはず)
そもそも暗号化が上手く動作しない?
それとも、暗号化はできるが、その通信は実は容易に傍受できてしまったりする?
RSAは3素数以上でも成り立つ(multi-prime RSA)ので、p,qのいずれかが合成数だったとしてもアルゴリズム的に破綻するわけではありません。
暗号化はそのまま走ります。(いずれにしても公開鍵は合成数なので)
復号はそのままでは動かないので手直しが必要です。(鍵の計算だけやり直せばよいのかロジックも直す必要があるのかまではわかりません。Broken RSA - バランスを取りたいによると鍵の計算だけでよい?)
誤った鍵で暗号化された暗号文がどれだけ危険かは、Miller-Rabin 素数判定法が「数値の質」まで判定してくれるのか、と言い換えることもできます。まともな実装で「たまたますり抜けた」が起きたぐらいなら多分大丈夫なんじゃないかな、と思いますが、突っ込んで考えてないのでよくわかりません。
そもそも「たまたますり抜けた」が現実に起きる可能性はほとんどない上、起きたとしても復号処理の結果でエラーになるか化けてるかで気づけるので、あまり気にすることでもない気がします。