qiita.com/Almond_0707/items/8453bc014e61b719c47cを参考にして、
podfileの設定をシュミレータービルドの際にrealmだけでなく本体のプロジェクトごとarm64から除外する設定に変更すると動作しました。

この記事も大変参考になりました。
https://zenn.dev/yimajo/articles/7e275bc23999fe7d8b87