回答ではありません。趣旨としてはコメントでするべきですが、commentは「説明する」「補足する」の意味なので、信用がないと説明を加えられないようです。
ご要望のことは、TensorFlowではなく、Numpyなどの行列演算でできそうです。[20, 64, 64, 3]は、バッチ数、縦、横、カラー数なので、データ[n,h,w,c]のcでRGBにアクセスできます。[n,h:h+4,w:w+4,::].min()で、範囲内の最小が出ます。ただ、画像データの取得方法によって、RGBじゃかBGRか変わりますので。色の違いに意味があるなら、注意してください。
ここまで、TensorFlowの出番はありません。どう関係してくるのでしょうか。