回転を適用する順番の問題です。この階層構造ですとローカルの回転で制御するのは難しいので、ワールドでの回転として管理したほうが良いと思います。
/// <summary>
/// 接地面での回転を設定する
/// </summary>
/// <param name="rotateTarget">このオブジェクト回転を設定する</param>
/// <param name="referenceTarget">このオブジェクトのy軸回転を使用する</param>
/// <param name="normal">接地面の法線</param>
private void SetGroundRotate(GameObject rotateTarget, GameObject referenceTarget, Vector3 normal)
{
// リファレンスのY軸回転のみを取得
var defaultRotation = Quaternion.Euler(0.0f, referenceTarget.transform.eulerAngles.y, 0.0f);
// 接地の傾き回転を取得
var groundRotation = Quaternion.FromToRotation(Vector3.up, normal); // 常に真上を基準
// ワールドでの回転として設定
rotateTarget.transform.rotation = groundRotation * defaultRotation;
}
実際に使用する際は、常にプレイヤーの回転の影響を受けるため、スケートボードの FixedUpdateUpdate() 等で回転を管理することになると思います。