HTMLの上位規格であるSGMLでの注釈宣言と呼ばれるものです。
<! ... >
をマーク宣言と言って、この中で2つハイフンで始まり2つのハイフンで終わる部分が注釈として解釈され無視されます。
<!--<script>
は、コメントが始まっているがコメントの終わりのハイフン2つがないので、以降の部分がコメントとして無視されてしまっています。(なのでscript
でなくても何でも良い)(なのでscript
でなくても何でも良い)
だから、
例えば、
//var s = "<!--<script-->";
のようにすれば正しく解釈されて<h1>hello</h1>
の部分が表示されるようになるはずです。