約24KBのTCPのデータを送信するとき、
相手のウィンドウサイズが最大49640Byte(Wiresharkで確認)であるにも関わらず、
8KB送信→8KB送信→3KB応答確認→+4KB応答確認→+5KB応答確認→8KB送信
のようになっていました。
この間他の通信は行われていませんでした。
約24KBを一度に送信しないのはどのような理由が考えられますでしょうか?
TCPでは通信帯域の輻輳を回避するためにTCP Slow Startという制御をおこなっています。最初はゆっくりと送信を行い、通信相手からの応答確認が正常に届く間は一度に送信するデータを増やしていき、応答確認が届かなくなったら送信を減らすと言う制御をおこないます。
データサイズがもっと大きく数百KBあれば、16KB送信にたいする応答確認受信後は倍の32KB、次はさらに倍の64KBと一度に送信するサイズが増えていきます。
8KB送信→8KB送信→3KB応答確認→+4KB応答確認→+5KB応答確認→8KB送信
この動きを見る限り、Nagleアルゴリズムが効いているのではないでしょうか。
Nagleアルゴリズムは以下の様に挙動します。
■Nagleアルゴリズムで送信が発生するケース(Wikiから抜粋)
ケース1.未送信データが最大セグメントサイズ以上になる
ケース2.過去の送信パケットで ACK が未受信の物がなくなる(TCP遅延ACKに注意)
ケース3.タイムアウトになる
最初の8KB送信が2回続いているのは、最大セグメントサイズが8KBで設定されていて
それを越えているからではないかと考えます。
その後、送信しなくなるのは未送信データが最大セグメントサイズ以上では無いからだと思います。(ACK応答を待っている)
送信バッファに関してですが、24KBをsend()してその戻り値が24KBだった場合は
TCP送信としては受け付けられています。(送信バッファ不足ではない)
即座に送るべきデータを実行したい場合はTCP_NODELAYを使用することをオススメします。
補足ですがNagleアルゴリズムは遅延ACKと相性が非常に悪いので通信が途切れるなど遅延するなどで問題が出る事がよくあります。