ローカルホストでTCP接続と切断を繰り返すC++のクライアント/サーバーコードを書いて、実験していたところ、listen引数のbacklogを超えるリクエストの処理において、クライアントもサーバーも動いていない謎の1秒が挟まる現象が発生しました。この現象をご説明頂いた上で、対応方法を教えてください。
環境
Lubuntu 20.04 x86_64
gcc 9.4.0
C++17
コード
#include <iostream>
#include <cstring>
#include <chrono>
#include <sstream>
#include <iomanip>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <unistd.h>
using namespace std;
const string& appname(const string& s = string()) {
static string _appname;
if (! s.empty()) _appname = s;
return _appname;
}
using namespace std::chrono;
string timestr() {
system_clock::time_point scp = system_clock::now();
time_t t = system_clock::to_time_t(scp);
tm lt;
stringstream ss;
ss << put_time(localtime_r(&t, <), "%Y/%m/%e %H:%M:%S") << "," << setw(3) << setfill('0') << duration_cast<milliseconds>(scp - system_clock::from_time_t(t)).count();
return ss.str();
}
void log(ostream& out, const string& s) {out << timestr() << " " << appname() << ": " << s << endl;}
void log(const string& s) {log(cout, s);}
void log_error(const string& s) {log(cerr, s + ":" + strerror(errno));}
#define LOG_ERROR() log_error(string(__FILE__) + ":" + to_string(__LINE__))
struct Sock {
Sock(int sock): _sock{sock} {}
~Sock() {if (_sock >= 0) ::close(_sock);}
operator int() {return _sock;}
void close() {if (_sock >= 0) ::close(_sock); _sock = -1;}
private:
int _sock;
Sock(){} Sock(const Sock&){} Sock& operator=(const Sock&){return *this;}
};
#define IF_ERROR_RETURN(cond) if (cond) {LOG_ERROR(); return;}
int client(const int PORT = 8000, const size_t N = 0x100000) {
auto func = [](auto id, int port) {
string idhead{to_string(id) + ": "};
auto log_with_id = [&](auto s){log(idhead + s);};
Sock sock = socket(AF_INET, SOCK_STREAM, 0);
IF_ERROR_RETURN(sock < 0);
struct sockaddr_in addr;
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
IF_ERROR_RETURN(inet_pton(AF_INET, "127.0.0.1", &addr.sin_addr) <= 0);
IF_ERROR_RETURN(connect(sock, (struct sockaddr*)&addr, sizeof(addr)) < 0);
log_with_id("connection established");
struct sockaddr_in local_address;
socklen_t addr_size = sizeof(local_address);
IF_ERROR_RETURN(getsockname(sock, (sockaddr*)(void*)&local_address, &addr_size) != 0);
log_with_id("localport: " + to_string(ntohs(local_address.sin_port)));
shutdown(sock, SHUT_WR);
log_with_id("write shutdowned");
shutdown(sock, SHUT_RD);
log_with_id("recv shutdowned");
sock.close();
};
for (int i = 0; i < N; ++i) {
string s{to_string(i)};
log(s + ": started");
func(i, PORT);
log(s + ": finished");
}
return 0;
}
#define IF_ERROR_BREAK(cond) if (cond) {LOG_ERROR(); break;}
void server(const int PORT = 8000) {
auto log_server = [](const string s) {log(string("server: ") + s);};
struct sockaddr_in addr;
struct sockaddr_in client;
int sock;
Sock serverSock = socket(AF_INET, SOCK_STREAM, 0);
IF_ERROR_RETURN(serverSock < 0);
addr.sin_family = AF_INET;
addr.sin_port = htons(PORT);
addr.sin_addr.s_addr = INADDR_ANY;
IF_ERROR_RETURN(bind(serverSock, (struct sockaddr *)&addr, sizeof(addr)) < 0);
IF_ERROR_RETURN(listen(serverSock, 5) < 0);
while (true) {
socklen_t len = sizeof(client);
Sock sock = accept(serverSock, (struct sockaddr *)&client, &len);
IF_ERROR_BREAK(sock < 0);
log_server("remoteport: " + to_string(ntohs(client.sin_port)));
char buff[4096];
ssize_t readlen = read(sock, buff, sizeof(buff));
IF_ERROR_BREAK(readlen < 0);
if (readlen != 0) log_server("read!!! not empty!!!");
sock.close();
log_server("closed");
}
serverSock.close();
}
int main(int argc, char* argv[], char* envp[]) {
appname(argv[0]);
if (argc > 1 && string(argv[1]) == "--server") {server(); return 0;}
else {return client();}
}
確認方法
以下のスクリプトを実行してログを取る
trap 'pkill -P $$' INT
./maxbacklog_time --server&
server=$!
./maxbacklog_time
kill $server
ログ
以下のように、クライアント(225)が何故か1秒ほど待たされている。
...
2022/10/27 18:44:31,859 ./maxbacklog_time: server: remoteport: 35178
...
2022/10/27 18:44:31,859 ./maxbacklog_time: 221: localport: 35200
...
2022/10/27 18:44:31,865 ./maxbacklog_time: 222: localport: 35206
...
2022/10/27 18:44:31,865 ./maxbacklog_time: 223: localport: 35222
...
2022/10/27 18:44:31,865 ./maxbacklog_time: 224: localport: 35232
...
2022/10/27 18:44:31,865 ./maxbacklog_time: 224: finished
2022/10/27 18:44:31,865 ./maxbacklog_time: 225: started
2022/10/27 18:44:31,867 ./maxbacklog_time: server: closed
2022/10/27 18:44:31,867 ./maxbacklog_time: server: remoteport: 35186
2022/10/27 18:44:31,867 ./maxbacklog_time: server: closed
2022/10/27 18:44:31,867 ./maxbacklog_time: server: remoteport: 35196
2022/10/27 18:44:31,867 ./maxbacklog_time: server: closed
2022/10/27 18:44:31,867 ./maxbacklog_time: server: remoteport: 35200
2022/10/27 18:44:31,867 ./maxbacklog_time: server: closed
2022/10/27 18:44:31,867 ./maxbacklog_time: server: remoteport: 35206
2022/10/27 18:44:31,867 ./maxbacklog_time: server: closed
2022/10/27 18:44:31,867 ./maxbacklog_time: server: remoteport: 35222
2022/10/27 18:44:31,867 ./maxbacklog_time: server: closed
2022/10/27 18:44:31,867 ./maxbacklog_time: server: remoteport: 35232
2022/10/27 18:44:31,867 ./maxbacklog_time: server: closed
2022/10/27 18:44:32,879 ./maxbacklog_time: 225: connection established
...
質問
現象をご説明頂き、同期I/O&シングルスレッド&(アプリケーション層での)送受信データの変更なしに、謎の1秒を挟まない方法があれば教えてください。
cygwin64
onwindows10 Pro 21H2 x64
で実行してみたところそういう現象は確認されなかったので処理系固有な挙動なのかも。まあ普通はそういうポート枯渇させるようなコードを書く必然はないはずなので XY 問題なんでしょう。/proc/sys/net/ipv4/tcp_abort_on_overflow
を 1にするのはどうですか?