複数のファイルから特定のファイルを抽出して、ローダでデータベースに書き込みたい

概要

ローダを使用してデータベースにデータを書き込みたい場合、ローダによる書き込み処理を使用します。

サンプルプロジェクトの説明

ディレクトリに存在する複数のファイルから処理対象のファイルを名前で抽出し、ローダによる書き込み処理を使用してデータベースに書き込みを行います。

処理の流れ

サンプルプロジェクトの処理の流れは以下の通りです。

1. 「ファイル名一覧取得処理」でディレクトリ内のファイル名一覧を取得します。
2. 「マッピング処理」で以下の条件のいずれかに合致するファイルを抽出します。
   • ファイル名が「ORA_」から始まる
   • ファイル名が「.CSV」で終わる
3. 「繰り返し(データ件数)処理」でファイル件数分、以下の処理を繰り返します。
1. 「変数代入処理」でファイル名をスクリプト変数に代入します。
2. 「ローダによる書き込み処理」でファイルをデータベースに書き込みます。
3. 「ファイル/ディレクトリ削除処理」で処理済みのファイルを削除します。

実行結果のイメージは以下の通りです。

• 入力ファイルの内容がデータベースのテーブルに書き込まれます。
  
  

ポイントとなる機能

名前	説明	ツールパレット上の場所
マッピング処理	入力データの変換を行います。	「変換」-「基本」-「マッピング」
繰り返し(データ件数)処理	入力データの件数分、処理を繰り返します。	「基本」-「フロー」-「繰り返し(データ件数)」
ローダによる書き込み処理	ローダを用いてファイルの内容をテーブルに書き込みます。	「データベース」-「Oracle」-「ローダによる書き込み」

処理のポイント

ローダによる書き込み処理では、データベースベンダより提供されているSQLローダを使用するため、高速に処理を行うことができます。
ローダによる書き込み処理を使用できるアダプタについては、各アダプタのヘルプを参照してください。

サンプルプロジェクトの使用方法

上記処理を実装したサンプルプロジェクトを用意しています。サンプルプロジェクトを使用する場合の手順は、以下の通りです。

サンプルプロジェクトのダウンロード	逆引きリファレンス シナリオ062のサンプルプロジェクト

1. サンプルプロジェクトの展開
   サンプルプロジェクトファイル「rl_reference_062.zip」を展開します。


2. プロジェクトのアップロード
   「rl_reference_062.zip」を展開後に作成される「rl_reference_062プロジェクト」ディレクトリがプロジェクトファイルとなります。
   DataSpider Studioを起動し、マイプロジェクトの画面から[ファイル]-[ローカルからアップロード]で展開したディレクトリ「rl_reference_062プロジェクト」をアップロードしてください。


3. サンプルデータの準備
   「rl_reference_062.zip」を展開後に作成される「samples」ディレクトリがサンプルデータとなります。
   $DATASPIDER_HOME/server/samplesディレクトリに上書きしてください。


4. グローバルリソースの設定
   コントロールパネルの[グローバルリソースの設定]から、[新しいグローバルリソースの追加]を選択し、Oracle接続設定のグローバルリソースを追加します。
   グローバルリソースの設定方法については、DataSpider Servistaヘルプの「グローバルリソースのプロパティ」を参照してください。

スクリプトの作成手順

プロセスフローおよびデータフローは、「 サンプルプロジェクトの説明」のスクリプト画像を参照して適宜設定してください。

1. ローダ実行用の情報として使用するスクリプト変数を作成します。
   
   • スクリプト変数のプロパティは、以下のように設定します。

     スクリプト変数のプロパティ

     変数名	変数型	初期値
     ファイル名	文字列
     インストールディレクトリ	文字列



2. デザイナのツールパレット「ファイル」-「ファイル操作」-「ファイル名一覧取得」から、ファイル名一覧取得処理をスクリプトキャンバスに配置します。
   
   • ファイル名一覧取得処理の設定は、以下のように行います。

     [必須設定]タブ

     


3. デザイナのツールパレット「変換」-「基本」-「マッピング」から、マッピング処理をスクリプトキャンバスに配置します。
   


4. デザイナのツールパレット「基本」-「フロー」-「繰り返し(データ件数)」から、繰り返し(データ件数)処理をスクリプトキャンバスに配置します。
   
   • 繰り返し(データ件数)処理の設定は、以下のように行います。

     [必須設定]タブ

     


5. マッピング処理のMapperエディタを開き、ファイル名によって抽出する処理を作成します。
   • マッピングキャンバスは、以下のように設定します。

     マッピングキャンバス

     
     
     

     番号	ロジック名	説明	ツールパレット上の場所
     (1)	条件による抽出	条件にマッチしたもののみ繰り返して出力します。	「繰り返し」-「条件指定」-「条件による抽出」
     (2)	大文字に変換	入力文字列を大文字に変換して返します。	「文字列」-「変換」-「大文字に変換」
     (3)	始まりが同じ	入力文字列が指定文字列で始まるかどうか判定します。 [必須設定]タブの[判定文字列]は「ORA_」を入力します。	「条件」-「文字列」-「始まりが同じ」
     (4)	大文字に変換	入力文字列を大文字に変換して返します。	「文字列」-「変換」-「大文字に変換」
     (5)	終わりが同じ	入力文字列が指定文字列で終わるかどうか判定します。 [必須設定]タブの[判定文字列]は「.CSV」を入力します。	「条件」-「文字列」-「終わりが同じ」
     (6)	And演算	二つの入力真偽値の論理和(AND条件)を返します。	「条件」-「真偽」-「And演算」
     (7)	システム・プロパティ	システム・プロパティを出力します。 [必須設定]タブの[プロパティ]は「lax.root.install.dir」を入力します。	「文字列」-「基本」-「システム・プロパティ」

     
     

     処理のポイント ファイル名は大文字小文字どちらでも抽出対象とするため、大文字に変換してから比較します。



6. デザイナのツールパレット「基本」-「処理」-「変数代入」から、変数代入処理をスクリプトキャンバスに配置します。
   


7. 変数代入処理のMapperエディタを開き、ファイル名をスクリプト変数にマッピングします。
   • マッピングキャンバスは、以下のように設定します。

     マッピングキャンバス

     


8. デザイナのツールパレット「データベース」-「Oracle」-「ローダによる書き込み」から、ローダによる書き込み処理をスクリプトキャンバスに配置します。
   
   • ローダによる書き込み処理の設定は、以下のように行います。

     [必須設定]タブ

     
     
     

     処理のポイント [データファイル]にスクリプト変数を使用することで、スクリプトを改修せずに動的に設定値を変更することができます。 スクリプト変数は、以下の方法で素早く入力できます。 入力フィールドにフォーカスをあてて表示させる変数入力アシスタント機能から選択します。 入力フィールドの右クリックメニューで[スクリプト変数]を選択します。



9. デザイナのツールパレット「ファイル」-「ファイル操作」-「ファイル/ディレクトリ削除」から、ファイル/ディレクトリ削除処理をスクリプトキャンバスに配置します。
   
   • ファイル/ディレクトリ削除処理の設定は、以下のように行います。

     [必須設定]タブ

     
     
     

     処理のポイント [対象パス]にスクリプト変数を使用することで、スクリプトを改修せずに動的に設定値を変更することができます。 スクリプト変数は、以下の方法で素早く入力できます。 入力フィールドにフォーカスをあてて表示させる変数入力アシスタント機能から選択します。 入力フィールドの右クリックメニューで[スクリプト変数]を選択します。



10. スクリプトを実行し、正常終了すれば成功です。