それまで正常に終了していたスクリプトで処理対象のデータ件数を多くしたところ、以下のようなエラーが発生し、スクリプトの実行が失敗するようになりました

Avatar
dstn

Question

それまで正常に終了していたスクリプトで処理対象のデータ件数を多くしたところ、以下のようなエラーが発生し、スクリプトの実行が失敗するようになりました。
原因と対応策を教えてください。
・java.lang.OutOfMemoryError: Java heap space

・java.lang.OutOfMemoryError: GC overhead limit exceeded
 

Answer

■エラーの発生条件

DataSpider Servista で読み込んだデータの容量が、設定しているヒープメモリを超えた場合に、
同一のエラーが発生します。

想定される原因

以下のいずれかの原因に該当している可能性があります。

1. 処理対象のデータ件数が増加したことで、メモリが不足しているエラーが発生している
2. ファイルシステムに関する既知の問題に該当している

以下の対応策をご検討ください。

■対応策

1. 処理対象のデータ件数が増加したことで、メモリが不足しているエラーが発生している

※ヒープ領域を拡張した場合、DataSpiderServer のプロセスが使用するメモリ容量が
 増加します。このため、まずシステムへの影響が少ない(1)からのご検討をおすすめします。

(1) 大容量データ処理、パラレルストリーミング処理(PSP)の使用
 大容量データ処理は、読み取ったデータを一時ファイルに保存し、メモリ上に保持する
 データ量を抑えます。また、パラレルストリーミング処理(PSP)は、処理対象のデータを
 ブロックに分割して、読み込み処理、変換、書き込み処理をそれぞれ別スレッドで
 処理することで、メモリ上に保持するデータ量を抑えます。

 このため、上記のいずれかを使用することで、メモリ使用量を抑えることができます。
 大容量データ処理、パラレルストリーミング処理の詳細に関しては、「参考情報」の
 ヘルプをご参照ください。
 
(2) ヒープ領域の拡張
 データを読み込むメモリのヒープ領域を拡張することでより多くのメモリを保持できる
 ようになります。
 
 ヒープ領域は DataSpider の設定ファイル(DataSpiderServer.lax)のメモリ設定に
 関するキーから拡張することができます。詳細は「参考情報」のヘルプをご参照ください。


2. ファイルシステムに関する既知の問題に該当している

 以下の既知の問題に該当するかご確認いただき、該当する場合には「対処方法」にて
 事象が解消するかご確認ください。
 以下は、バージョン 3.1 の既知の問題に記載しておりますが、3.0 以前のバージョンでも
 発生いたします。

・DSS-19380
 ・リポジトリ DB 有り環境で、データベースファイルシステム上にあるファイルに
  大容量データを書き込んだ際に、「OutOfMemoryError」エラーが発生する場合があります。

 本事象は、PSP、または大容量データ処理を有効にしても発生します。

  対処方法:ローカルファイルシステム、または拡張ローカルファイルシステムの
  ファイルに書き込みを行なってください。

上記にてエラーが解消されない場合は、サポートセンターまでお問い合わせをお願いいたします。

参考情報

・大容量データ処理
 http://patch.appresso.com/DataSpider/help/latest/doc/help/ja/servista/xml_framework.html#large_data
・パラレルストリーミング処理
 http://patch.appresso.com/DataSpider/help/latest/doc/help/ja/designer/parallel_streaming_processing.html

・プロパティリファレンス
 http://patch.appresso.com/DataSpider/help/latest/doc/help/ja/servista/properties_reference.html



[注意事項]
  • このFAQの内容は2017年3月時点のものです。内容は予告なく変更されることがありますので、ご注意ください。
  • 一部にDataSpider Servistaサポートサイトへのリンクを含むことがあります。サポートサイトにアクセスするには、DataSpiderのサポート契約が必要です。


ID:Q134

コメント

記事コメントは受け付けていません。

Powered by Zendesk