CasperJS であるサイトをクロールし、クロールした情報をデータベースに格納する処理を作成しましたが、クロール中にメモリが97%程度まで上がり、Killed Killed
と表示され終了してしまいます。
- クロールした情報を格納している配列が大きすぎる
- eachThenを
eachThen
を使用しクロールするページが多すぎる
1.が原因の場合、ある程度の数になったら配列情報をデータベースに格納し、その後、配列の中身をクリア。その後、クロールを継続する方法、または、参考になるサイト教えて頂けますでしょうか。
また、 2.が原因の場合を想定して、casper.pageオブジェクト casper.page
オブジェクトのclose()を close()
を使用したのですが、
Error: cannot access member `customHeaders' of deleted QObject
Error: cannot access member `customHeaders' of deleted QObject
また、上記上記のいずれでもない場合は、原因、または参考になるサイトを教えて頂けますでしょうか。