ニューラルネットワークがある入力から出力を計算し、その出力から入力がどのカテゴリに分類されるかという問題に適用できるのは理解したのですが、入力を画像とし、出力もまた画像とするなど、入力と出力が同じ形式になるような問題にも適用できるのでしょうか?
できます。 waifu2x (その解説記事) や Deep Dream (その解説記事) 等から調べると良いのではないでしょうか。
可能です。入力が数値で、出力も数値、というような回帰分析にも使えます。株価予測などの時系列予測も、入力が数値で出力も数値ですが、同様に可能です。