ニフティクラウドストレージでファイルアップロードに失敗したファイルの情報を取得したい
キーワード:ニフティクラウドストレージ,クラウドストレージ,エラー情報,エラー抽出,拡張子
概要
ニフティクラウドストレージアダプタでアップロードに失敗したファイルの情報を取得したい場合、ファイル/フォルダ書き込み処理の出力データを使用します。サンプルプロジェクトの説明
ニフティクラウドストレージ内に本日の日付のフォルダを作成し、ファイルをアップロードします。アップロードに失敗した場合、エラーメッセージとアップロードに失敗したファイルの情報をCSVファイルに出力します。
本スクリプトを同日中に2回実行すると、ニフティクラウドストレージ上に同名のファイルが存在することでエラーとなり、アップロードに失敗した場合の結果を確認することができます。
処理の流れ
サンプルプロジェクトの処理の流れは以下の通りです。- 「変数代入処理」で日付フォルダ名を作成します。
- 「ファイル/フォルダ書き込み処理」で日付フォルダの作成および拡張子「.zip」ファイルを書き込みます。
- 「マッピング処理」でアップロードに失敗したファイル情報を抽出します。
- 「繰り返し(データ件数)処理」で以下の処理を繰り返します。
- 「マッピング処理」でアップロードに失敗したファイル情報を抽出します。
- 「CSVファイル書き込み処理」で、CSVファイルに出力します。
実行結果のイメージについては、サンプルプロジェクトのサンプルデータ「error.csv」を参照してください。
ポイントとなる機能
| 名前 | 説明 | ツールパレット上の場所 |
|---|---|---|
| ファイル/フォルダ書き込み処理 | DataSpiderファイルシステム上にあるファイル/フォルダを、ニフティクラウドストレージ上に書き込みます。 | 「クラウド」-「ニフティクラウドストレージ」-「ファイル/フォルダ書き込み」 |
処理のポイント
アップロードの成否はファイル/フォルダ書き込み処理の出力データから取得できます。繰り返し処理内のCSVファイル書き込み処理をメール送信処理に変更することで、ファイルアップロードエラー情報をメールで通知することも可能です。
サンプルプロジェクトの使用方法
上記処理を実装したサンプルプロジェクトを用意しています。サンプルプロジェクトを使用する場合の手順は、以下の通りです。| サンプルプロジェクトのダウンロード | 逆引きリファレンス シナリオ087のサンプルプロジェクト |
|---|
- サンプルプロジェクトの展開
サンプルプロジェクトファイル「rl_reference_087.zip」を展開します。 - プロジェクトのアップロード
「rl_reference_087.zip」を展開後に作成される「rl_reference_087プロジェクト」ディレクトリがプロジェクトファイルとなります。
DataSpider Studioを起動し、マイプロジェクトの画面から[ファイル]-[ローカルからアップロード]で展開したディレクトリ「rl_reference_087プロジェクト」をアップロードしてください。 - サンプルデータの準備
「rl_reference_087.zip」を展開後に作成される「samples」ディレクトリがサンプルデータとなります。
$DATASPIDER_HOME/server/samplesディレクトリに上書きしてください。 - グローバルリソースの設定
コントロールパネルの[グローバルリソースの設定]から、[新しいグローバルリソースの追加]を選択し、ニフティクラウドストレージのグローバルリソースを追加します。
グローバルリソースの設定方法については、DataSpider Servistaヘルプの「グローバルリソースのプロパティ」を参照してください。
スクリプトの作成手順
プロセスフローおよびデータフローは、「
サンプルプロジェクトの説明」のスクリプト画像を参照して適宜設定してください。
- 日付フォルダ名として使用するスクリプト変数を作成します。
- スクリプト変数のプロパティは、以下のように設定します。
スクリプト変数のプロパティ
変数名 変数型 初期値 本日の日付 文字列型
- スクリプト変数のプロパティは、以下のように設定します。
- デザイナのツールパレット「基本」-「処理」-「変数代入」から、変数代入処理をスクリプトキャンバスに配置します。
- 変数代入処理のMapperエディタを開き、本日の日付を作成し、スクリプト変数に代入します。
- マッピングキャンバスは、以下のように設定します。
マッピングキャンバス
番号 ロジック名 説明 ツールパレット上の場所 (1) 現在日時 現在日時を出力します。 「日付」-「基本」-「現在日時」 (2) 日時フォーマッティング 入力日時を指定したフォーマットで出力します。
[必須設定]タブの[フォーマット]には「yyyy-MM-dd」と入力します。「文字列」-「日付」-「日時フォーマッティング」
- マッピングキャンバスは、以下のように設定します。
- デザイナのツールパレット「クラウド」-「ニフティクラウドストレージ」-「ファイル/フォルダ書き込み」から、ファイル/フォルダ書き込み処理をスクリプトキャンバスに配置します。
- ファイル/フォルダ書き込み処理の設定は、以下のように行います。
[必須設定]タブ
処理のポイント
- [ローカルファイル/ディレクトリ名]にはワイルドカードを使用できます。
拡張子以前をワイルドカードとすることで拡張子ZIP形式のファイルを指定します。 - [ファイルが存在する場合は上書きする]は同名のファイルが存在した場合にエラーを発生させるため、チェックを外します。
- [フォルダパス]にスクリプト変数を使用することで、スクリプトを改修せずに動的に設定値を変更することができます。
スクリプト変数は、以下の方法で素早く入力できます。- 入力フィールドにフォーカスをあてて表示させる変数入力アシスタント機能から選択します。
- 入力フィールドの右クリックメニューで[スクリプト変数]を選択します。
- [ローカルファイル/ディレクトリ名]にはワイルドカードを使用できます。
- ファイル/フォルダ書き込み処理の設定は、以下のように行います。
- デザイナのツールパレット「変換」-「基本」-「マッピング」から、マッピング処理(「mapping」)をスクリプトキャンバスに配置します。
- デザイナのツールパレット「基本」-「フロー」-「繰り返し(データ件数)」から、繰り返し(データ件数)処理をスクリプトキャンバスに配置します。
- 繰り返し(データ件数)処理の設定は、以下のように行います。
[必須設定]タブ
[XMLデータ処理]タブ
処理のポイント
- ファイル/フォルダ書き込み処理の出力スキーマはXML型となります。
file要素で繰り返しを行うため、[分割パス]を設定してください。
- ファイル/フォルダ書き込み処理の出力スキーマはXML型となります。
- 繰り返し(データ件数)処理の設定は、以下のように行います。
- マッピング処理(「mapping」)のMapperエディタを開き、アップロードに失敗したファイル情報を抽出し、繰り返し(データ件数)処理の入力スキーマにマッピングする処理を作成します。
- マッピングキャンバスは、以下のように設定します。
マッピングキャンバス
番号 ロジック名 説明 ツールパレット上の場所 (1) 条件による抽出 条件にマッチしたもののみ繰り返して出力します。 「繰り返し」-「条件指定」-「条件による抽出」 (2) 条件による抽出 条件にマッチしたもののみ繰り返して出力します。 「繰り返し」-「条件指定」-「条件による抽出」 (3) 同じでない 二つの入力文字列が異なるかどうか判定します。 「条件」-「文字列」-「同じでない」 (4) 単一行文字列定数 単一行の文字列定数を出力します。
[必須設定]タブの[一行文字列]には「Exist」と入力します。「文字列」-「基本」-「単一行文字列定数」
処理のポイント
- ファイル/フォルダ書き込み処理は書き込みでエラーが発生した場合、status要素には「Exist」以外が格納されます。
「Exist」以外の場合はエラーと判断し、抽出します。
- ファイル/フォルダ書き込み処理は書き込みでエラーが発生した場合、status要素には「Exist」以外が格納されます。
- マッピングキャンバスは、以下のように設定します。
- デザイナのツールパレット「変換」-「基本」-「マッピング」から、マッピング処理(「mapping(1)」)をスクリプトキャンバスに配置します。
- デザイナのツールパレット「ファイル」-「CSV」-「CSVファイル書き込み」から、CSVファイル書き込み処理をスクリプトキャンバスに配置します。
- CSVファイル書き込み処理の設定は、以下のように行います。
[必須設定]タブ
[書き込み設定]タブ
処理のポイント
- 繰り返し処理内でファイルに書き込むため、[追加書き込み]にチェックを入れます。
- CSVファイル書き込み処理の設定は、以下のように行います。
- マッピング処理(「mapping(1)」)のMapperエディタを開き、アップロードに失敗したファイル情報をCSV書き込み処理の入力スキーマにマッピングする処理を作成します。
- マッピングキャンバスは、以下のように設定します。
マッピングキャンバス
番号 ロジック名 説明 ツールパレット上の場所 (1) 単純な繰り返し 指定したノードを繰り返します。 「繰り返し」-「基本」-「単純な繰り返し」
- マッピングキャンバスは、以下のように設定します。
- スクリプトを実行し、正常終了すれば成功です。
同日中に再度実行するとファイルのアップロードに失敗し、「error.csv」が出力されます。