`Fragment`にも`Activity`にも出来ます。
`ActionBar`を使う場合、`ActionBarActivity`のままにして、`PagerSlidingTabStrip`の部分を`Fragment`にすればいいと思います。
`ActionBar`も含めて`Fragment`にしたい場合、`ActionBar`は`Fragment`には置けないため、`ToolBar`を利用すればいいと思います。
ただ、`ToolBar`を利用する場合、`Activity`に`ToolBar`を配置し、その下に`Fragment`などを配置するのが一般的だと思います。
なぜ`Fragment`にしたいかなどを教えてもらえれば、もうすこし具体的な回答が来ると思います。

追記
コメントに対する回答です。

それであれば、`ActionBarActivity`のままでいいと思います(クラス名は変えたほうがいいと思いますが)。

こんな構成ではどうでしょう?
* MainActivity
`ActionBarActivity`を継承。`ActionBar`および`Drawer`の処理を行う。
`Drawer`のメニュー選択により`Fragment`を切り替えする。
* TabFragment
`Fragment`を継承。`PagerSlidingTabStrip`を配置。

「FragmentでPagerSlidingTabStripの例」の件は特に`Fragment`だから特殊なことは必要なく、`Activity`で使っていた方法がそのまま使えると思います。