同じ `{stringr}`パッケージの`str_replace()`関数を使った抽出パターンをかんがえてみました。今回の場合、文字列のはじめにX、最後にYということでしたので、それらを空白で置換するという方法です。

    library(stringr)
    str_replace_all("XhogehogeY", "^X|Y$", "")
    # [1] "hogehoge"

コメントのパターンに関しては、つぎのようにすることで対象の文字列を抽出出来ました。

    str_replace_all("STARThogehogeENDpogepogeEND", "^START|END.*", "")
    # 文字列の始めのSTART、最初のEND以降を空白で置換
    # [1] "hogehoge"

外部パッケージを利用しないパターンは、`grep()`を使って同様につぎのようにします。

    gsub("^X|Y$", "", "XhogeY")
    gsub("^START|END.*", "", "STARThogehogeENDpogepogeEND")