-2

forkそのものを説明しているサイトでは求められている前提の条件やサンプルとプログラムの量からわかりやすいものがなく難しいです。

例えば、私が行いたい。htmlに含まれる画像リンクを保存するプログラムだとしたらどのように記述したらいいですか?

自分が知っている画像の保存方法はcurlコマンドを使った

system("curl -o ~/download/ex001.jpg http://ex001.jpg");

のようなものです。
ここで、exは999まであり一枚あたり1MBほどでサイトによって1URLに対して50kbpsに制限されているとしたらとても時間がかかるように思います。
5件以上同時にダウンロードした場合攻撃として検出されるサイトだとします。その場合、適切な制御が必要になります。

私はforkを使うことで問題が解決できると思ったのですが、効率的でネットワークをフルに使えるような方法はありませんか?

9
  • 2
    fork を使うことによって、何の問題を解決しようとしているのでしょうか。文面を読む限り、画像の保存は例にすぎないと理解していますが、だとすると何が問題なのか分かりませんでした。
    – Yuki Inoue
    2015年12月19日 13:43
  • それが例ですし抱えている問題ですよ
    – user13656
    2015年12月19日 13:44
  • 2
    system 関数は内部で fork するはずです。 なので、単純に fork が分かれば問題が解決するとは思えません。 どうして、 fork を使うと(理解すると)現状の問題が解決すると考えているのでしょう?
    – Yuki Inoue
    2015年12月19日 13:47
  • ダウンロードが並列化できると考えたからです。system関数が自動的に並列化するのですね。ならこの質問は解決しました削除したいです。
    – user13656
    2015年12月19日 13:48
  • 2
    「fork = 並列化」ではなくって、「fork = プロセスの作成」です。 system 関数は、 内部でコマンドを実行するプロセスを fork して wait しています。 何が起こるかというと、system 関数は、内部で fork を利用しますが、並列化は行われません。
    – Yuki Inoue
    2015年12月19日 14:00

2 件の回答 2

5

system(3)

The system() library function uses fork(2) to create a child process that executes the shell command specified in command using execl(3) as follows:

execl("/bin/sh", "sh", "-c", command, (char *) 0);

つまり system(3) 関数の使用はシェルスクリプトを実行する事と同等ですので、C でプログラムを作成する事が制約条件ではないのであれば、例えば以下の様なシェルスクリプトでも良いのではないでしょうか。

$ seq -f 'ex%03g.jpg' 999 | xargs -P4 -I@ -n1 curl -s -o ~/download/@ http://hogehoge/@ &

xargs コマンドの -P オプションで同時に実行される(最大)プロセス数を指定しています。

1
  • 1
    xargs -Pオプション知らなかった。これは使える...! 2015年12月20日 4:47
1

サンプルを作ってみました。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>

#define PARA 4

static void child(void)
{
    char buf[1024];
    while (fgets(buf, sizeof buf, stdin) != NULL) {
        char cmd[1024], *p;
        if ((p = strchr(buf, '\n')) != NULL)
            *p = '\0';
        sprintf(cmd, "wget '%s'", buf);
        system(cmd);
    }
}

int main(void)
{
    int i;
    int fd[PARA];

    for (i = 0; i < PARA; i++) {
        int fds[2];
        if (pipe(fds) == -1) {
            perror("pipe");
            exit(1);
        }

        switch (fork()) {
        case -1:
            /* エラー */
            perror("fork");
            exit(1);

        case 0:
            /* 子プロセス */
            close(fds[1]);
            dup2(fds[0], 0);
            child();
            exit(0);

        default:
            /* 親プロセス */
            close(fds[0]);
            fd[i] = fds[1];
        }
    }

    char buf[1024];
    int to_child = 0;
    while (fgets(buf, sizeof buf, stdin) != NULL) {
        write(fd[to_child], buf, strlen(buf));

        if (++to_child >= PARA)
            to_child = 0;
    }

    return 0;
}

実行すると、子プロセスを4つ作り、親プロセスは子プロセスにパイプ経由で URL を送り、子プロセスはそれを受け取り、処理します。当初、子プロセス 1つにつき 1つの URL を処理して、どんどんプロセスを作ってどんどん終了して、という感じで考えていましたが、質問内容を改めて読み、一定個数のプロセスだけで処理した方が簡単なのでは、と思い直しました。

あと、このサンプルでは URL は親プロセスが標準入力からもらいます。ダウンロードは私が wget の方が慣れているため wget を使いました。

2

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。