`count`などの集計関数には初心者に分かりにくい特徴がありまして、**集計対象外のカラム**をselectしたい場合には`group by`が必要になります。
ただし今回の設問では`UNION`の使用を意図しているので、コメントのリンク先を書き換えた下記の回答を企図しているのかもしれません。

```
SELECT '1991' AS '誕生年', COUNT(id)
FROM celebrities
WHERE SUBSTRING(birth, 1, 4) = '1991'
UNION
SELECT '1981', COUNT(id)
FROM celebrities
WHERE SUBSTRING(birth, 1, 4) = '1981'
```

ご質問のように、`substring`で誕生年を取得する素直な対応方法として下記のSQLも`group by`を使用して同様の結果を導けます。
(習っていないであろうwith句を使っている時点で若干素直ではないですが)

```
with bys
as  (select  id,  substring(birth, 1, 4) '誕生年'
     from    celebrities)
select 誕生年,
       count(1)
from   bys
where  誕生年 = 1991
group by 誕生年
union all
select 誕生年,
       count(1)
from   bys
where  誕生年 = 1981
group by 誕生年
order by 誕生年
```