自己解決しました。
直接
AudioClip clip = await Addressables.LoadAssetAsync<AudioClip>(clipAddress.Get());
と待ち受けていましたが、handle を取り出して別途Taskを待ち受ける必要があったようです。お騒がせしました。
以下コードで正常動作しました。
AsyncOperationHandle<T> handle = Addressables.LoadAssetAsync<T>(key);
await handle.Task;
if (handle.Status ==
AsyncOperationStatus=AsyncOperationStatus.Succeeded) result = handle.Result;