12
票
Accepted
ソケットの通信の効率化をネットワークカードレベルで考える
レイヤーの上から順に
socket関係のシステムコール(アプリ)
TCP
IP
Ethernet
NICハードウェア
となりますが、書き込み読み込みの作法ということなので、アプリによる読み書きが関係ありそうな範囲に絞って書きます。
socket読み書きの工夫
ここで工夫できるのは、システムコールを呼ぶ回数を減らすことです。シンプルに無駄なsend/recv呼び出しを減らすことの他に、...
11
票
Accepted
1回のソケットのsend()やssl_write()で送るバイト数の適切サイズ
TCPの場合、大きなデータを適切な小断片(MSS:最大セグメントサイズ)へ分割する仕事は、TCP層が行ってくれます。もし20MB送りたければ、20MB渡してしまってよいです。アプリケーションレベルで小分けに送信呼び出しをすると、システムコール呼び出しがそこそこに時間を要するために、性能上のデメリットだけがあります。
UDPの場合は分割機能を持ちませんので、...
9
票
Accepted
ソケットのsend()の使い方とオーバーヘッドについて
ソケットの通信の効率化をネットワークカードレベルで考える の回答にある、
scatter/gather I/Oまたはvectored I/Oと呼ばれる機構
これがまさにその、まとめて実行するものです。
Linuxのstruct iovec や、Winsockの WSABuf は 簡単に言えば (*buf, len) の構造体で、...
8
票
ソケットの通信の効率化をネットワークカードレベルで考える
存在しないと思います……ネットワークのデバイスレベルの仕組みに詳しくなくて恐縮ですが、以下に理由を挙げます。
基本的にプログラマに出来ることは、可能な限り大きなデータをRecv や Send 関数に渡し、OSが用意したプロトコルスタックが判断した送受信可能なバイト数(Recv/Sendの返り値)に従って処理を続けるプログラムを書く事だけです。
通信に使用するバッファの取り方も、...
8
票
Accepted
Linux で疎通確認のためポートに応答するサーバーをたてるコマンド
簡易 TCP サーバーとして使える nc コマンドで待ち受けておくのはいかがでしょうか。
nc -l 〈ポート番号〉
改造例: nc コマンドで簡易HTTPサーバ
あるいは Python のワンライナーで HTTP サーバーを立ててしまうのも OK そうです。
# Python 3
python -m http.server 〈ポート番号〉
...
7
票
ソケットの通信の効率化をネットワークカードレベルで考える
その際にソケットで単純にRecv()してSend()していますが、ネットワークカードに対して効率の良い書き込みや読み込みの作法はあるのでしょうか?
@Lightenさんの回答にもありますが、「可能な限りデータを一括してRecv/Sendする」が原則です。アプリ側で確保するユーザランドのメモリ領域と、ネットワークドライバ側のメモリ領域との間でのメモリ転送は、...
7
票
Accepted
docker でホストへ bind した port が、 tcp6 に bind されているのに tcp4 で接続できている理由がわからない
OSの仕様上、デフォルトではIPv6のソケットはIPv4の接続も受け付けることができます。
IPv4のアドレスは自動的にIPv6の「IPv4射影アドレス」に変換されます。
http://man7.org/linux/man-pages/man7/ipv6.7.html
IPv4 and IPv6 share the local port space. When you get an ...
7
票
MACアドレスとIPアドレスの違い
世界中で固有のMACアドレスが振られているのだから、IPアドレスの必要性が疑問になるというのは確かにそのとおりですね。ただ、それは「ものを識別する」という観点では正しいものの、情報を届けるということを実現するために、そうはなっていません。
IPアドレスは送信元/最終的な宛先、MACアドレスは次に転送する隣の機械を識別するため、というのがよくある説明です。
L2(データリンク層)とL3(...
6
票
Linux で疎通確認のためポートに応答するサーバーをたてるコマンド
nekketsuuuさんが提案されているようにnc -lがベストだと思います。その上で参考までに…
歴史的にはinetdがその機能を提供しています。inetd.confにポート番号に対して応答を行う実行ファイル名を記述すれば、inetdが通信処理を引き受けます。更に受信したデータをオウム返しするechoプロトコル程度であればinetdが組み込み提供してくれる場合もあります。
...
5
票
Accepted
Java Socket通信サーバーがcloseした場合クライアントは正常に受信できるのか
socketはOSで管理されていて、正常完了 または 失敗(タイムアウト) まで裏で頑張ります。仮に一時的電波不良があっても、再送の繰り返すうちに成功すれば、データは無事届くことでしょう。繋がらない状態が続き、再送がタイムアウト設定時間以内に成功しなければ、失敗です。
そのため、「電波不良や地理的に遠い通信相手を考慮して、○秒待ってからcloseしよう」...
5
票
ソケットの通信の効率化をネットワークカードレベルで考える
低レイヤでの操作の話が出ていますが、それとは逆の話を。
最近のネットワークカードはオフロード処理に対応しています。IPヘッダのチェックサムだけでなく、TCPのセグメント化までしてくれるものも普及しています。
ですので、あまり低レイヤのことは意識せず、ユーザーランドからは可能な限り書き込んでおいて、OS及びNICに任せるのもひとつの手かと思います。
他に出てきていない話題として、Windows ...
5
票
バイナリからデータをフォーマットを推測する
推測するにはサンプルデータや手がかりとなる情報が少なすぎると思います。
"投資用"とは株価(国内のみor国外含め)?指数のみor個別銘柄?為替?仮想通貨?etc
データを複数回(時間をおいて)取得して「変化がある箇所」「変化のない箇所」などからアタリを付ける。
アプリから正規の手段で見える値がダンプに表れないか調べてみる。
5
票
Accepted
TCPソケット(INETドメインソケット)について
参照先のサイトの記事ですが、OSI参照モデルの「セッション層」に「Socket」が入っている珍しい図ですね。
「ソケット」という言葉が何を指すのかは文脈により変わりますが、参照先サイトではUNIXドメインソケットの話が出ているため、UNIX系OSで標準的に実装されている socket という通信ライブラリ、および、このライブラリで作成された通信用のインターフェースのことを示していると思われます。
...
4
票
Accepted
C#でTCP、SSL通信を行いたいです。暗号化されていない。
コメントで指摘されていますが、sslStreamへ書き込み / 読み込みを行わなければSSL通信されません。コードにすると次のようになります。
サーバー部分
var listener = TcpListener.Create(1300);
listener.Start();
using (var client = listener.AcceptTcpClient())
using (var ...
4
票
1回のソケットのsend()やssl_write()で送るバイト数の適切サイズ
TCP/IPの通信の効率化を考える場合には、
送信データサイズについて
1.「遅延(Delayed)ACK (RFC1122)」
2.「Nagleアルゴリズム (RFC896)」
を考慮すべきだと考えられます。
おおざっぱにいうと、どちらも小さなサイズのパケットが
多数発生することを抑えるための仕組みといえます。
従って、...
4
票
ソケットの通信の効率化をネットワークカードレベルで考える
高レイヤから低レイヤでの効率を左右できるのか、と限定された質問ですので、それに沿って回答します
L5以上の立場からL1の効率性をどうこうすることはできません。レイヤ構造である以上、直接干渉できるのは自分の一つ下のレイヤまでです。(間接的にはもう一つ下のレイヤにも影響しますが)
「大きな単位でSend/Recv」するというのが効果を及ぼすのはL4の効率性のことであり、L1にはほぼ無関係な話です。...
4
票
MACアドレスとIPアドレスの違い
いわゆる The Internet においては Internet Protocol が採用されている関係で、機器の識別は IP アドレスで行います。 Mac アドレスは必要ありません。現に、今では完全に廃れていますが電話回線を使ったモデム/音響カプラによる PPP による接続においては、パソコン側はシリアルポートを使うので Mac アドレスなど存在しません。
ということで質問に対する回答としては
...
4
票
Accepted
UDPで書かれたコードをTCPに書き直したい
公式ドキュメントにTCPでの送信側と受信側のコード例があります。
https://docs.python.org/ja/3/library/socket.html#example
3
票
TCPサーバーはLISTEN状態のソケット一つでどうやって複数の接続を捌くのでしょうか?
ざっくり言うと、仕様と矛盾しない範囲で工夫して実装されているということですよね。
しかしその後もサーバーは他のエンドポイントからの接続を待ち受けています。
そもそも、RFC 793 で言及されている TCP のユーザインタフェースは、BSD Socket API を想定したものではなく、以下のような単純なものです。
OPEN
SEND
RECEIVE
CLOSE
RFC ...
3
票
LANカード2枚差し時に、同一IPアドレスのサーバーと通信する方法に関して
本家SOでも同じような質問がありますね。
.net - Best way to specify the local endpoint for HTTP request? - Stack Overflow
HttpClientでは難しいということで、HttpWebRequestクラスを使った方法が回答されています。
例えばサーバーAにアクセスするならこのようになるでしょうか。
var req ...
3
票
Accepted
TcpClientでTCP接続がうまくできない
自己解決しました。
Wiresharkで調べたところ送信元のポート番号が毎回異なることに気づきました。
今回の場合、送信先のポート番号のみ指定しており、送信元のポート番号を指定していなかった為、起きていました。
TcpClientのインスタンス作成時にIPEndpointを指定することで解決できました。
IPEndPoint ep = new IPEndPoint(ip, nPort);
tcp ...
3
票
Accepted
無線 LAN 使用時の TCP データの順番の相違?
Transmission Control Protocol - データ転送で
TCP には以下のように User Datagram Protocol とは異なる重要な特徴がある。
データ転送時の順序を保証 - 受信側でシーケンス番号を使って並べ替えを行う。
喪失パケットの再送 - 確認応答のないセグメントは再送する。
誤りのないデータ転送
...
3
票
Accepted
TCPの接続終了フェーズの流れをWireSharkで確認したいです。
TCP connection調べる目的に, HTTPは(そのままでは)向いていない気がします
3ウェイ・ハンドシェイク, FIN-WAIT/CLOSE-WAIT など, TCP connectionを閉じて再度開くにはコストがかかるので, HTTPでは一つの connectionで複数のやり取り行うのが普通
(プロトコルとして古いけど) FTPとか telnet使うのがよいかも
いつ HTTP ...
2
票
Accepted
HTTP2のフロー制御について次の理解で正しいか教えてください
例1は正しいです。例2の最後はコネクション全体のみが増えて、ストリーム1は増えません。
正しくは以下のようになります。
ストリーム1残り 0K
コネクション全体残り 74K
2
票
1回のソケットのsend()やssl_write()で送るバイト数の適切サイズ
適切なサイズというのは環境に依存するので回答は難しいと思います。
一般的に言って、バッファサイズに余裕があるなら、まとまった量のデータをわざわざ小分けにして送るメリットはありません。適切なセグメントサイズへの分割は自動で行われますし、Nagleアルゴリズムが有効な場合は小分けにしてもまとめて送信されます。
2
票
Accepted
TCPサーバーはLISTEN状態のソケット一つでどうやって複数の接続を捌くのでしょうか?
この流れは「 LISTEN 状態のソケットが1つあり、接続を受けると ESTABLISHED
に遷移する」では説明がつかないように思うのですが、どのように考えるとよいのでしょうか?
「コネクション」と「ソケット」の区別をしてください。
その状態遷移図は「コネクション」の状態を示しているもので、「ソケット」の状態ではありません。
§1.5. Operation
Concatenated ...
2
票
Accepted
TCPWrapperで、Host名を使ってwrappingする
TCPラッパーは アクセスしてきたクライアントのソースIPアドレスを逆引きして、そのホスト名がhosts.allowにあるかチェックしますので、逆引きの結果が「aserver.com」にならない限り許可されないと思います。
また、逆引きして得たホスト名を正引きした結果のIPが、ソースIPと一致しない場合も弾かれます。
Aサーバーからアクセスしたとき、...
2
票
Accepted
C#で作成したアプリ同士の通信
一般的かどうかは分かりませんが、私ならWCF (Windows Communication Foundation)を使用します。
バインディングに名前付きパイプを使用し、コールバックコントラクトを定義すれば簡単に型付きで双方向通信が実装可能です。
まず関係プロジェクトにSystem.ServiceModel.dllの参照を追加してから、通信に使用するインターフェイスを定義します。...
2
票
Accepted
クライアント側のSO_REUSEADDRについて
TCP/IPではlocal address / local port / remote address / remote portの4つのパラメーターでコネクションを識別します。SO_REUSEADDRとは、local address / local portが重複していてもremote address / remote portが異なれば識別できることを前提にbind()...
2
票
TCP/IP通信によるブロードキャストの挙動
ブロードキャストIPアドレス宛のパケットは、LAN(Ethernet)であればブロードキャストMACアドレス宛に送信されます。MACアドレス解決の必要はないのでARPのやりとりは行われません。
wiresharkなどパケットキャプチャソフトを使って実際の通信を観察してみるとよいでしょう。
Only top scored, non community-wiki answers of a minimum length are eligible