回転を適用する順番の問題です。この階層構造ですとローカルの回転で制御するのは難しいので、ワールドでの回転として管理したほうが良いと思います。

``` cs
/// <summary>
/// 接地面での回転を設定する
/// </summary>
/// <param name="rotateTarget">このオブジェクト回転を設定する</param>
/// <param name="referenceTarget">このオブジェクトのy軸回転を使用する</param>
/// <param name="normal">接地面の法線</param>
private void SetGroundRotate(GameObject rotateTarget, GameObject referenceTarget, Vector3 normal)
{
    // リファレンスのY軸回転のみを取得
    var defaultRotation = Quaternion.Euler(0.0f, referenceTarget.transform.eulerAngles.y, 0.0f);
    // 接地の傾き回転を取得
    var groundRotation = Quaternion.FromToRotation(Vector3.up, normal); // 常に真上を基準
    // ワールドでの回転として設定
    rotateTarget.transform.rotation = groundRotation * defaultRotation;
}
```

実際に使用する際は、常にプレイヤーの回転の影響を受けるため、スケートボードの FixedUpdate() 等で回転を管理することになると思います。