Skip to main content
編集済みのタイトル
リンク
user7165
user7165

CasperJSでクロール中に、メモリ使用が 97% 程度まで上がり、 Killed と表示され終了していしまうしまう

CaperJS CasperJSでクロール中に、メモリ使用が 97% 程度まで上がり、 Killed と表示され終了していしまう

Formatting a little bit.
ソース リンク
Hiroshi Yamamoto
  • 6,349
  • 14
  • 32

CaperJSでクロール中に、メモリ使用が9 97%程度 程度まで上がり、Killedと Killed と表示され終了していしまう

CasperJS  であるサイトをクロールし、クロールした情報をデータベースに格納する処理を作成しましたが、クロール中にメモリが97%程度まで上がり、Killed Killed と表示され終了してしまいます。

  1. クロールした情報を格納している配列が大きすぎる
  2. eachThenをeachThen使用しクロールするページが多すぎる

1.が原因の場合、ある程度の数になったら配列情報をデータベースに格納し、その後、配列の中身をクリア。その後、クロールを継続する方法、または、参考になるサイト教えて頂けますでしょうか。

また、 2.が原因の場合を想定してcasper.pageオブジェクト casper.page オブジェクトclose()を close()使用したのですが、

Error: cannot access member `customHeaders' of deleted QObject                  
Error: cannot access member `customHeaders' of deleted QObject                  

また、上記上記のいずれでもない場合は、原因、または参考になるサイトを教えて頂けますでしょうか。

CaperJSでクロール中に、メモリ使用が97%程度まで上がり、Killedと表示され終了していしまう

CasperJSであるサイトをクロールし、クロールした情報をデータベースに格納する処理を作成しましたが、クロール中にメモリが97%程度まで上がり、Killedと表示され終了してしまいます。

  1. クロールした情報を格納している配列が大きすぎる
  2. eachThenを使用しクロールするページが多すぎる

1.が原因の場合、ある程度の数になったら配列情報をデータベースに格納し、その後、配列の中身をクリア。その後、クロールを継続する方法、または、参考になるサイト教えて頂けますでしょうか。

2.が原因の場合、casper.pageオブジェクトclose()を使用したのですが、

Error: cannot access member `customHeaders' of deleted QObject                  

また、上記のいずれでもない場合は、原因、または参考になるサイトを教えて頂けますでしょうか。

CaperJSでクロール中に、メモリ使用が 97% 程度まで上がり、 Killed と表示され終了していしまう

CasperJS  であるサイトをクロールし、クロールした情報をデータベースに格納する処理を作成しましたが、クロール中にメモリが97%程度まで上がり、 Killed と表示され終了してしまいます。

  1. クロールした情報を格納している配列が大きすぎる
  2. eachThen使用しクロールするページが多すぎる

1.が原因の場合、ある程度の数になったら配列情報をデータベースに格納し、配列の中身をクリア。その後、クロールを継続する方法、または、参考になるサイト教えて頂けますでしょうか。

また、 2.が原因の場合を想定して casper.page オブジェクト close()使用したのですが、

Error: cannot access member `customHeaders' of deleted QObject                  

上記のいずれでもない場合は、原因、または参考になるサイトを教えて頂けますでしょうか。

ソース リンク
user7165
user7165
読み込んでいます