GoでHTTP Requestを投げてResponseを受け取る時、 ResponseBodyが巨大(1GB以上等)である場合を考えてstreamingしながらレスポンスを受け取りたいです。
req, err := http.Client.Do(res)
このままだとbodyが巨大な場合、Headerも読めずResponseの状態がわかりません。
何か解決法はあるでしょうか
このままだとbodyが巨大な場合、Headerも読めずResponseの状態がわかりません。
レスポンス全てをストリーミングしなくても、レスポンスの中身が読めるようになれば問題解決につながると考えて回答します。
単純にレスポンスを出力するだけであれば httputil.DumpResponse
が利用できます。
https://golang.org/pkg/net/http/httputil/#DumpResponse
// 注意: エラー処理は簡略化してます
req, _ := http.NewRequest("GET", "https://example.com/", nil)
resp, _ := (&http.Client{}).Do(req)
defer resp.Body.Close()
dump, _ := httputil.DumpResponse(resp, false)
fmt.Printf("%q\n", dump)
一応 io.TeeReader(resp.Body, os.Stderr)
みたいな方法で中身を別途 stderr 等に吐き出して pipe viewer コマンドで進行状況を見るなどすれば、ストリーミングに似たやり方はできます。ただ、コレを Go だけで実装しようとすると結構大変な作業になりそうなので割愛します。