jQueryの問題かと思いきや実はjavascriptの文字列連結の問題のようですね。
まずは質問に記載されているセレクタの部分「$(ここの部分)」だけわかりやすいように抜き出します。
"ul.panel li:not("+$("ul.tab li a.selected").attr("href")+")"
ここの文字列だけを解析する必要があります。
この中で+で連結されているので3つの状態に別れるのは理解できますでしょうか?
"ul.panel li:not(" //文字列1
+ //連結修飾子
$("ul.tab li a.selected").attr("href") //jQueryのメソッド
+ //連結修飾子
")" //文字列2
つまり文字列1と文字列2の間にjQueryのメソッドが入っていることになります。
実際はjQueryのメソッドは結果として "#tab1"という文字列を返すことになるので、
"ul.panel li:not(" //文字列1
+ //連結修飾子
"#tab1" //jQueryのメソッド結果
+ //連結修飾子
")" //文字列2
一度コンソールログ等で確認するといいかもしれません。
console.log("ul.panel li:not("+$("ul.tab li a.selected").attr("href")+")")
例えばスニペット等を利用して見ることができます。
console.log("ul.panel li:not("+$("ul.tab li a.selected").attr("href")+")");
<script src="https://ajax.googleapis.com/ajax/libs/jquery/1.11.1/jquery.min.js"></script>
<ul class="tab">
<li><a href="#tab1" class="selected">aa</li>
<li><a href="#tab2">aa</li>
</ul>
参考サイト 文字列連結
https://www.ajaxtower.jp/js/ope/index16.html