ブログ - 最新エントリー
ご連絡が遅くなりましたが、本日5月9日から11日まで
「第21回 ソフトウェア開発環境展」にて弊社がブースを出展しています。
今回は、DataSpiderとしては参考出展として今後リリース予定の"Facebookアダプタ"や"Twitterアダプタ"などのソーシャルネットワーク系のアダプタや"Hadoopアダプタ"のデモをご用意しております。
DataSpiderBPMやPIMSYNCのデモもご用意しております。
お時間のある方は是非お越しください。
今回はSODECの入り口入って目の前で出展しています！
よろしくお願いします。
http://www.appresso.com/event/2012/04/21sodec.html
「第21回 ソフトウェア開発環境展」にて弊社がブースを出展しています。
今回は、DataSpiderとしては参考出展として今後リリース予定の"Facebookアダプタ"や"Twitterアダプタ"などのソーシャルネットワーク系のアダプタや"Hadoopアダプタ"のデモをご用意しております。
DataSpiderBPMやPIMSYNCのデモもご用意しております。
お時間のある方は是非お越しください。
今回はSODECの入り口入って目の前で出展しています！
よろしくお願いします。
http://www.appresso.com/event/2012/04/21sodec.html
皆様こんにちは。アプレッソの友松です。
2012年2月29日にSalesforceアダプタの機能強化版が新しくリリースされましたので
ご紹介したいと思います。
DataSpider Salesforceアダプタでは、Salesforce Web Services APIのバージョンアップにて
リリースされた新機能をアダプタに反映させる形で定期的にバージョンアップも行なっています。
今回は、そのバージョンアップの一環で最新のWeb Services API Version 23.0に対応した
アダプタをリリースいたしました。
また、新アダプタも追加でご提供をし、DataSpiderでSalesforce連携を行う際に
工夫をしていただいていた部分がより簡単にスマートに連携できるようになりました。
新機能の詳細を、以下にまとめました。
Salesforceアダプタの新機能を利用すると以下のようなことができるようになります。
Chatterで特定のトピックをまとめたりいいね!の数を収集することができます。
例えば、Chatterで社内のアイデアを募集し、#ideaというトレンドが付いたトピックを
収集し、いいね!の数が多い順番にソートしてExcelシートに出力することが可能です。
外部システムを更新したらSalesforce側の選択リストの内容を更新することが可能です。
例えば、製品情報を管理する外部システム上でサイズなど製品情報を更新したら
Salesforce側の選択リストも更新することが可能です。
Database.comに格納したデータを定期的にバックアップすることが可能です。
新機能たくさんあるので箇条書きで。
・最新のSalesforce Web Services API 23.0に対応しました。
接続設定でAPI 23.0を選択できるようになっています。
・Database.com、Chatterに正式対応しました。
実は従来よりDatabase.com、Chatterのオブジェクトを操作することは可能でしたが
改めて検証を行い正式対応としました。
複数オブジェクト同時更新機能を追加しました。
複数オブジェクトに対する同時更新ができる機能を追加しました。
追加されたオペレーションは以下の二つです。
- マルチデータファイル生成処理
- マルチデータ書き込み処理
使い方は以下のようなイメージです。
まず、以下のような二つのデータがあったとします。
この二つのデータを以下の図のように「マルチデータファイル生成処理」で
一つのデータに蓄積していきます。その後、「マルチデータ書き込み処理」で
まとめて書き込むことができます。
結果データとして、処理のステータスやエラーメッセージなどが取得できます。
・「検索パラメータ形成処理」を追加しました。
この機能はちょっとおもしろい機能で、動的な SOQL の条件句の生成は
今もスクリプト変数を使えばもちろん作成可能なのですが、
より作成しやすくするために一つのオペレーションとしてしまいました。
入力データを渡すと設定されたパラメータにそってSOQLを生成してくれます。
・「ログイン(セッションIDによる)処理」を追加しました。
あらかじめ取得されたセッション情報を指定して Salesforce へ接続することができる機能です。
事前に他のアプリケーションでログインが完了している場合でそのログイン状態を
引継ぎたい時に利用します。
・API の SOAP ヘッダーを指定できるようになりました。
- AllOrNoneヘッダー(allOrNone)
- Emailヘッダー(triggerAutoResponseEmail)
- Emailヘッダー(triggerOtherEmail)
- Emailヘッダー(triggerUserEmail)
- Mruヘッダー
- AssignmentRuleヘッダー(useDefaultRule)
- AssignmentRuleヘッダー(assignmentRuleId)
- DisableFeedTrackingヘッダー(disableFeedTracking)
・ファイルパスを指定してファイルをアップロードする機能を追加しました。
Base64型の項目に対してOS上のファイルパスを指定して書き込むとそのファイルをアップロードする
機能を追加しました。対応しているのは以下のオペレーションです。
- データ書き込み(INSERT)処理
- データ書き込み(UPDATE)処理
- データ書き込み(UPSERT)処理
・Salesforce Metadata アダプタを追加しました。
Salesforceの「Metadata API」を使用したオブジェクト定義情報の操作を行う
アダプタを追加しました。Salesforce側の選択リストなどをDataSpiderから
追加/更新/削除ができます。
- 読み取り(選択リスト値)処理
- 追加(選択リスト値)処理
- 更新(選択リスト値)処理
- 更新(選択リスト制御項目値)処理
- 削除(選択リスト値)処理
- 並び替え(選択リスト値)処理
- 読み取り(レコードタイプ選択リスト値)処理
- 更新(レコードタイプ選択リスト値)処理
- 結果取得(AsyncResult)処理
以上、Salesforceアダプタの新バージョンのご紹介でした。
新機能を羅列するだけになってしまいましたが、新しくなったSalesforceアダプタは
Salesforce連携でより強力なツールとなりました。
もし、ご興味のある方は試用版の貸出も行なっておりますので
是非弊社までお問い合わせいただければと思います。
4/10に名古屋、4/17に大阪で「クラウド、ソーシャル、データ連携によるシステム最適化と事例」と
題してDataSpider事例・ソリューションセミナーを開催します！
Salesforce連携で豊富な実績をお持ちの株式会社テラスカイ 竹澤様の基調講演も予定しています。
DataSpider Salesforceアダプタを利用した事例をお話いただける予定ですので是非ご参加ください！
詳しくはこちら
http://dataspider.appresso.com/201204.html
2012年2月29日にSalesforceアダプタの機能強化版が新しくリリースされましたので
ご紹介したいと思います。
DataSpider Salesforceアダプタ 新バージョンの概要
DataSpider Salesforceアダプタでは、Salesforce Web Services APIのバージョンアップにて
リリースされた新機能をアダプタに反映させる形で定期的にバージョンアップも行なっています。
今回は、そのバージョンアップの一環で最新のWeb Services API Version 23.0に対応した
アダプタをリリースいたしました。
また、新アダプタも追加でご提供をし、DataSpiderでSalesforce連携を行う際に
工夫をしていただいていた部分がより簡単にスマートに連携できるようになりました。
新機能の詳細を、以下にまとめました。
新機能利用イメージ
Salesforceアダプタの新機能を利用すると以下のようなことができるようになります。
"Chatterの特定のトピックやいいね!を収集する"
Chatterで特定のトピックをまとめたりいいね!の数を収集することができます。
例えば、Chatterで社内のアイデアを募集し、#ideaというトレンドが付いたトピックを
収集し、いいね!の数が多い順番にソートしてExcelシートに出力することが可能です。
"外部システムをトリガーにSalesforce側の選択リストを更新する"
外部システムを更新したらSalesforce側の選択リストの内容を更新することが可能です。
例えば、製品情報を管理する外部システム上でサイズなど製品情報を更新したら
Salesforce側の選択リストも更新することが可能です。
"Database.comのデータを定期的にバックアップ"
Database.comに格納したデータを定期的にバックアップすることが可能です。
Salesforce アダプタ 追加機能詳細
新機能たくさんあるので箇条書きで。
・最新のSalesforce Web Services API 23.0に対応しました。
接続設定でAPI 23.0を選択できるようになっています。
・Database.com、Chatterに正式対応しました。
実は従来よりDatabase.com、Chatterのオブジェクトを操作することは可能でしたが
改めて検証を行い正式対応としました。
複数オブジェクト同時更新機能を追加しました。
複数オブジェクトに対する同時更新ができる機能を追加しました。
追加されたオペレーションは以下の二つです。
- マルチデータファイル生成処理
- マルチデータ書き込み処理
使い方は以下のようなイメージです。
まず、以下のような二つのデータがあったとします。
この二つのデータを以下の図のように「マルチデータファイル生成処理」で
一つのデータに蓄積していきます。その後、「マルチデータ書き込み処理」で
まとめて書き込むことができます。
結果データとして、処理のステータスやエラーメッセージなどが取得できます。
・「検索パラメータ形成処理」を追加しました。
この機能はちょっとおもしろい機能で、動的な SOQL の条件句の生成は
今もスクリプト変数を使えばもちろん作成可能なのですが、
より作成しやすくするために一つのオペレーションとしてしまいました。
入力データを渡すと設定されたパラメータにそってSOQLを生成してくれます。
・「ログイン(セッションIDによる)処理」を追加しました。
あらかじめ取得されたセッション情報を指定して Salesforce へ接続することができる機能です。
事前に他のアプリケーションでログインが完了している場合でそのログイン状態を
引継ぎたい時に利用します。
・API の SOAP ヘッダーを指定できるようになりました。
- AllOrNoneヘッダー(allOrNone)
- Emailヘッダー(triggerAutoResponseEmail)
- Emailヘッダー(triggerOtherEmail)
- Emailヘッダー(triggerUserEmail)
- Mruヘッダー
- AssignmentRuleヘッダー(useDefaultRule)
- AssignmentRuleヘッダー(assignmentRuleId)
- DisableFeedTrackingヘッダー(disableFeedTracking)
・ファイルパスを指定してファイルをアップロードする機能を追加しました。
Base64型の項目に対してOS上のファイルパスを指定して書き込むとそのファイルをアップロードする
機能を追加しました。対応しているのは以下のオペレーションです。
- データ書き込み(INSERT)処理
- データ書き込み(UPDATE)処理
- データ書き込み(UPSERT)処理
・Salesforce Metadata アダプタを追加しました。
Salesforceの「Metadata API」を使用したオブジェクト定義情報の操作を行う
アダプタを追加しました。Salesforce側の選択リストなどをDataSpiderから
追加/更新/削除ができます。
- 読み取り(選択リスト値)処理
- 追加(選択リスト値)処理
- 更新(選択リスト値)処理
- 更新(選択リスト制御項目値)処理
- 削除(選択リスト値)処理
- 並び替え(選択リスト値)処理
- 読み取り(レコードタイプ選択リスト値)処理
- 更新(レコードタイプ選択リスト値)処理
- 結果取得(AsyncResult)処理
以上、Salesforceアダプタの新バージョンのご紹介でした。
新機能を羅列するだけになってしまいましたが、新しくなったSalesforceアダプタは
Salesforce連携でより強力なツールとなりました。
もし、ご興味のある方は試用版の貸出も行なっておりますので
是非弊社までお問い合わせいただければと思います。
お知らせ
4/10に名古屋、4/17に大阪で「クラウド、ソーシャル、データ連携によるシステム最適化と事例」と
題してDataSpider事例・ソリューションセミナーを開催します！
Salesforce連携で豊富な実績をお持ちの株式会社テラスカイ 竹澤様の基調講演も予定しています。
DataSpider Salesforceアダプタを利用した事例をお話いただける予定ですので是非ご参加ください！
詳しくはこちら
http://dataspider.appresso.com/201204.html
皆様こんにちは。アプレッソの友松です。
前回の記事の続きで、2011年10月26日にリリースしました
「DataSpider Amazon Web Serviceアダプタ」のフェーズ2の機能についてご紹介します。
前回「Amazon SimpleDBアダプタ」をご紹介しましたので
今回は「Amazon EC2アダプタ」をご紹介します。
Amazon EC2アダプタは、Amazon Web Servicesが提供しているIaasサービスである
Amazon EC2上に配置されているインスタンスの操作を行うことができるアダプタです。
インタンスの操作とは具体的には以下の3点の操作になります。
・インスタンスの起動
・インスタンスの停止
・インスタンスの情報取得
AWS SDK for Java APIを利用しており、Amazon EC2とはHTTPSで通信を行います。
アダプタを利用するためには、Amazon Web Services上の以下の情報が必要です。
・アクセスキーID
・シークレットアクセスキー
また、接続先設定でエンドポイントを設定することも可能ですので、リージョンを切り替えて
利用することも可能です。
アダプタが提供する機能をもう少し詳しくご紹介します。
インスタンスIDを指定してインスタンスを起動することが可能です。
同時に複数のインスタンスに機能要求を行うことができ、またインスタンスの起動が完全に
完了するまで処理を待機するオプションも持っています。
起動要求を行う際に"Elastic IP"を指定することも可能です。また、VPCにインスタンスを
起動させることも可能になっています。
注意点として、スポットインスタンスの起動には対応していません。
また、ルートデバイスタイプが「ebs」のインスタンスのみ起動が可能です。
複数インスタンスを同時起動した場合、一つでもインスタンスの起動に失敗すると
その他のインスタンスに対して起動要求はされません。
起動処理と同様にインスタンスIDを指定してインスタンスの停止を行うことが可能です。
対象のインスタンスは「running」または「pending」のインスタンスで、
停止が成功すると「stopped」のステータスになります。
また、起動と同様にインスタンスの停止が完全に完了するまで処理を待機する
オプションがあります。
注意点は、上記起動処理と同様です。
接続設定で指定したエンドポイントのリージョンに存在するインスタンスの情報を取得する
ことが可能です。VPCにあるインスタンスの情報を取得することも可能です。
取得できる情報は以下の情報です。
・AMI Launch Index
・インスタンスのアーキテクチャ
・インスタンスが存在するAZ
・AMIの名前
・インスタンスID
・Nameタグの値
・インスタンスの状態
・インスタンスタイプ
・KernelI ID
・インスタンスのキーペア名
・インスタンスの最終起動日時
・インスタンスの監視状態
・AMIのオーナーID
・インスタンスのプライベートDNS
・インスタンスのプライベートIPアドレス
・インスタンスのパブリックDNS
・インスタンスのパブリックIPアドレス
・RAM Disk ID
・Reservation ID
・ルートデバイス名
・ルートデバイスタイプ
・スポットインスタンスリクエストID
・State Transition Reason
・Subnet ID
・Tenancy
・Virtualization Type
・VPC ID
・インスタンスに設定されたタグ
・インスタンスに設定されたセキュリティグループ
Amazon SimpleDBは、外部からのアクセスも可能ですがEC2からのアクセスが高速であるため
EC2上のアプリケーションの一時的なデータ保管先として活用される場合が多いようです。
この場合、定期的にSimpleDB上のデータを取得してExcelなどへ整形をして中身を確認したり、
社内システムと連携をしたりしたいというニーズが出てくると思います。
また、定期的なオンプレミスへのバックアップを行うニーズもあると思います。
そのようなシーンでDataSpiderと組み合わせて利用いただけます。
Amazon EC2は起動時間による従量課金制であるため、必要な時に必要な時間だけインスタンスを
起動したいというニーズが出てきます。
例えば夜間バッチの処理の時だけインスタンスを起動してバッチ処理が完了したら
インスタンスを停止したいということがあると思います。
このような時にDataSpiderで作成したデータ連携処理と組み合わせてデータ連携処理開始時に
インスタンスを起動して、処理が終了したらインスタンスを停止させるという使い方が可能です。
また、インスタンスの情報が取得できますので、定期的にデータを取得してExcelなどに出力して
管理シートを作成するなどの使い方もできると思います。
以上、「DataSpider Amazon Web Serviceアダプタ」のご紹介でした。
もし、ご興味のある方は試用版の貸出も行なっておりますので是非弊社までお問い合わせいただければと思います。
前回の記事の続きで、2011年10月26日にリリースしました
「DataSpider Amazon Web Serviceアダプタ」のフェーズ2の機能についてご紹介します。
前回「Amazon SimpleDBアダプタ」をご紹介しましたので
今回は「Amazon EC2アダプタ」をご紹介します。
Amazon EC2アダプタ
Amazon EC2アダプタは、Amazon Web Servicesが提供しているIaasサービスである
Amazon EC2上に配置されているインスタンスの操作を行うことができるアダプタです。
インタンスの操作とは具体的には以下の3点の操作になります。
・インスタンスの起動
・インスタンスの停止
・インスタンスの情報取得
AWS SDK for Java APIを利用しており、Amazon EC2とはHTTPSで通信を行います。
アダプタを利用するためには、Amazon Web Services上の以下の情報が必要です。
・アクセスキーID
・シークレットアクセスキー
また、接続先設定でエンドポイントを設定することも可能ですので、リージョンを切り替えて
利用することも可能です。
アダプタが提供する機能をもう少し詳しくご紹介します。
[インスタンス起動処理]
インスタンスIDを指定してインスタンスを起動することが可能です。
同時に複数のインスタンスに機能要求を行うことができ、またインスタンスの起動が完全に
完了するまで処理を待機するオプションも持っています。
起動要求を行う際に"Elastic IP"を指定することも可能です。また、VPCにインスタンスを
起動させることも可能になっています。
注意点として、スポットインスタンスの起動には対応していません。
また、ルートデバイスタイプが「ebs」のインスタンスのみ起動が可能です。
複数インスタンスを同時起動した場合、一つでもインスタンスの起動に失敗すると
その他のインスタンスに対して起動要求はされません。
[インスタンス停止処理]
起動処理と同様にインスタンスIDを指定してインスタンスの停止を行うことが可能です。
対象のインスタンスは「running」または「pending」のインスタンスで、
停止が成功すると「stopped」のステータスになります。
また、起動と同様にインスタンスの停止が完全に完了するまで処理を待機する
オプションがあります。
注意点は、上記起動処理と同様です。
[インスタンス情報取得処理]
接続設定で指定したエンドポイントのリージョンに存在するインスタンスの情報を取得する
ことが可能です。VPCにあるインスタンスの情報を取得することも可能です。
取得できる情報は以下の情報です。
・AMI Launch Index
・インスタンスのアーキテクチャ
・インスタンスが存在するAZ
・AMIの名前
・インスタンスID
・Nameタグの値
・インスタンスの状態
・インスタンスタイプ
・KernelI ID
・インスタンスのキーペア名
・インスタンスの最終起動日時
・インスタンスの監視状態
・AMIのオーナーID
・インスタンスのプライベートDNS
・インスタンスのプライベートIPアドレス
・インスタンスのパブリックDNS
・インスタンスのパブリックIPアドレス
・RAM Disk ID
・Reservation ID
・ルートデバイス名
・ルートデバイスタイプ
・スポットインスタンスリクエストID
・State Transition Reason
・Subnet ID
・Tenancy
・Virtualization Type
・VPC ID
・インスタンスに設定されたタグ
・インスタンスに設定されたセキュリティグループ
利用イメージ
Amazon SimpleDBアダプタの場合
Amazon SimpleDBは、外部からのアクセスも可能ですがEC2からのアクセスが高速であるため
EC2上のアプリケーションの一時的なデータ保管先として活用される場合が多いようです。
この場合、定期的にSimpleDB上のデータを取得してExcelなどへ整形をして中身を確認したり、
社内システムと連携をしたりしたいというニーズが出てくると思います。
また、定期的なオンプレミスへのバックアップを行うニーズもあると思います。
そのようなシーンでDataSpiderと組み合わせて利用いただけます。
Amazon EC2アダプタの場合
Amazon EC2は起動時間による従量課金制であるため、必要な時に必要な時間だけインスタンスを
起動したいというニーズが出てきます。
例えば夜間バッチの処理の時だけインスタンスを起動してバッチ処理が完了したら
インスタンスを停止したいということがあると思います。
このような時にDataSpiderで作成したデータ連携処理と組み合わせてデータ連携処理開始時に
インスタンスを起動して、処理が終了したらインスタンスを停止させるという使い方が可能です。
また、インスタンスの情報が取得できますので、定期的にデータを取得してExcelなどに出力して
管理シートを作成するなどの使い方もできると思います。
以上、「DataSpider Amazon Web Serviceアダプタ」のご紹介でした。
もし、ご興味のある方は試用版の貸出も行なっておりますので是非弊社までお問い合わせいただければと思います。
皆様こんにちは。アプレッソの友松です。
少し前になりますが、2011年10月26日にDataSpiderでAmazon Web Servicesに対応したアダプタ
「DataSpider Amazon Web Servicesアダプタ」のフェーズ2をリリースしました。
具体的にどのような機能が追加されたのか簡単に新機能のご紹介をしたいと思います。
元々Amazon Web Servicesアダプタは、Amazon Web Servicesの各サービスに対応したアダプタが
集まったパック製品になっています。
今、現在までに提供していアダプタは以下のものになります。
・Amazon S3アダプタ
・Amazon RDSアダプタ
今回新たに追加されたアダプタは以下のものです。
・Amazon SimpleDBアダプタ
・Amazon EC2アダプタ
それでは、それぞれアダプタをご紹介します。
Amazon SimpleDBアダプタは、Amazon Web Servicesが提供している非リレーショナル型データストア
サービスである"Amazon SimpleDB"とデータ連携を可能にするアダプタです。
Amazon SimpleDBは所謂NoSQLデータベースであり、事前のスキーマ設定をすることなしにスキーマレスで
利用することができます。また、スケーリングと冗長性が自動化されており、まさにクラウド時代の
データストアと言えます。外部APIが用意されておりアダプタもそのAPIを利用しています。
アダプタを利用するには、Amazon Web Services上の以下の情報が必要です。
・アクセスキー
・シークレットアクセスキー
また、接続先設定でエンドポイントを設定することも可能ですので、リージョンを切り替えて
利用することも可能です。SimpleDBとの通信はHTTPSです。
まず、SimpleDBは他NoSQLデータベースと同じように用語が独特のものになっていますので、
その点ご説明します。一般的なRDBMSとの用語のマッピングを行うと以下のようになるかと思います。
RDBMS SimpleDB
[テーブル]→[ドメイン]
[カラム] →[属性]
[レコード]→[アイテム]
必ずしもイコールというわけではありませんが目安としてお考えください。
アダプタが提供する機能は以下の機能になります。
ドメインを指定してアイテムを読み取り、アイテム名および属性値を結果データとして
出力することが可能です。SimpleDBの一貫性保証オプションである「Consistent Read」に
対応していますので、常に最新のデータを取得するということが可能です。
スキーマレスのデータストアをどのような形で連携可能データとして取得を実現しているかというと
"取得したい属性を事前に指定してデータを取得する"という方法で実現しています。
具体的な取得の流れは以下になります。
1.取得したいアイテムのドメインを指定
2.取得したい属性を設定
→手動で設定、もしくは特定のアイテムを指定してそのアイテムが持つ属性分設定
属性を事前に指定をすると、アイテムによってはその属性の値を持っていないアイテムも存在することが
考えられますが、その場合はそのアイテムを読み込んだ時属性値は"null"として出力されます。
クエリを指定してアイテムを読み取り、アイテム名および属性を結果データとして
出力することが可能です。こちらも「Consistent Read」に対応しています。
データ取得の手順は"アイテム読み取り処理"と変わりはありません。
DataSpiderの他アダプタのイメージでお伝えするとDB系アダプタの"検索系SQL実行"のようなものです。
入力データにてアイテム名を指定し、そのアイテム名を元に指定したドメインにアイテムを書き込むことが可能です。
指定したアイテム名が既存データとして存在すれば更新、存在しなければ新規に書きこむ処理となります。
こちらも書き込みの一貫性保証オプションである「Conditional Puts」に対応しています。
データ書き込みの手順はデータ取得系の処理の反対の手順とお考えいただくとわかりやすいと思います。
事前に書きこむ属性を指定して書き込み処理を行います。
「期待値を指定した書き込み」という機能があります。
この機能はRDBMSで言うところのキーを指定したUPDATE処理に近いものです。
まず、期待値を設定する属性を指定します。この設定はプロパティ画面で行います。
次に入力データにて指定した属性に期待する値を設定します。
その状態で更新をし、指定した属性に期待する値が存在した場合は書き込みが行われます。
もし、指定した属性に期待する値が存在しなかった場合はエラーとなります。
この機能の有効性については、以下のブログで説明されている表現がわかりやすいと思います。
--------------------------------------------------------------------
用途として、ある操作対象の値をConsistent Readによって読み込んで保持
しておき、PutやDeleteのときにはその値と同値であることを条件に設定する
ことで、ある時点から操作時までそのデータがほかのプロセスによって
アップデートもデリートもされていないことを保証できます。
これはOCC（Optimistic Concurrency Control：楽観的並行性制御）による
トランザクションの実現となります。
http://www.publickey1.jp/blog/10/nosqlsimpledbbigtable.html
--------------------------------------------------------------------
また、アイテムの書き込み中にエラーとなったアイテムがあった場合、書き込みを中断せず
エラーのアイテムをスキップして書き込みを続行するというオプションがあります。
エラーとなったアイテムは書き込み処理の出力データとして別途取得可能ですので
エラーになったアイテムのみをファイルに出力しておいて後で確認するということも可能です。
入力データにてアイテム名を指定し、そのアイテム名をキーとして指定したドメインに含まれる
アイテムを削除することが可能です。
こちらも削除の一貫性保証オプションである「Conditional Deletes」に対応しています。
この削除処理も書き込み処理同様の「期待値を指定した削除」の機能があります。
また、エラーとなったアイテムがあってもスキップをして、削除を続行する機能もあります。
ドメイン名を指定してドメインを作成することが可能です。例えば毎日一つ日別のドメインを作成したいと
いった時にご利用いただける機能です。
ドメイン名を指定してドメインを削除することが可能です。ある一定期間を過ぎたドメインを削除したいと
いった時にご利用いただける機能です。
なんとSimpleDBアダプタの機能紹介だけでかなりの長文になってしまいました。。。
ということで次回へ続きます。
少し前になりますが、2011年10月26日にDataSpiderでAmazon Web Servicesに対応したアダプタ
「DataSpider Amazon Web Servicesアダプタ」のフェーズ2をリリースしました。
具体的にどのような機能が追加されたのか簡単に新機能のご紹介をしたいと思います。
Amazon Web Servicesアダプタ(フェーズ2)概要
元々Amazon Web Servicesアダプタは、Amazon Web Servicesの各サービスに対応したアダプタが
集まったパック製品になっています。
今、現在までに提供していアダプタは以下のものになります。
・Amazon S3アダプタ
・Amazon RDSアダプタ
今回新たに追加されたアダプタは以下のものです。
・Amazon SimpleDBアダプタ
・Amazon EC2アダプタ
それでは、それぞれアダプタをご紹介します。
Amazon SimpleDBアダプタ
Amazon SimpleDBアダプタは、Amazon Web Servicesが提供している非リレーショナル型データストア
サービスである"Amazon SimpleDB"とデータ連携を可能にするアダプタです。
Amazon SimpleDBは所謂NoSQLデータベースであり、事前のスキーマ設定をすることなしにスキーマレスで
利用することができます。また、スケーリングと冗長性が自動化されており、まさにクラウド時代の
データストアと言えます。外部APIが用意されておりアダプタもそのAPIを利用しています。
アダプタを利用するには、Amazon Web Services上の以下の情報が必要です。
・アクセスキー
・シークレットアクセスキー
また、接続先設定でエンドポイントを設定することも可能ですので、リージョンを切り替えて
利用することも可能です。SimpleDBとの通信はHTTPSです。
まず、SimpleDBは他NoSQLデータベースと同じように用語が独特のものになっていますので、
その点ご説明します。一般的なRDBMSとの用語のマッピングを行うと以下のようになるかと思います。
RDBMS SimpleDB
[テーブル]→[ドメイン]
[カラム] →[属性]
[レコード]→[アイテム]
必ずしもイコールというわけではありませんが目安としてお考えください。
アダプタが提供する機能は以下の機能になります。
[アイテム読み取り処理]
ドメインを指定してアイテムを読み取り、アイテム名および属性値を結果データとして
出力することが可能です。SimpleDBの一貫性保証オプションである「Consistent Read」に
対応していますので、常に最新のデータを取得するということが可能です。
スキーマレスのデータストアをどのような形で連携可能データとして取得を実現しているかというと
"取得したい属性を事前に指定してデータを取得する"という方法で実現しています。
具体的な取得の流れは以下になります。
1.取得したいアイテムのドメインを指定
2.取得したい属性を設定
→手動で設定、もしくは特定のアイテムを指定してそのアイテムが持つ属性分設定
属性を事前に指定をすると、アイテムによってはその属性の値を持っていないアイテムも存在することが
考えられますが、その場合はそのアイテムを読み込んだ時属性値は"null"として出力されます。
[クエリ実行処理]
クエリを指定してアイテムを読み取り、アイテム名および属性を結果データとして
出力することが可能です。こちらも「Consistent Read」に対応しています。
データ取得の手順は"アイテム読み取り処理"と変わりはありません。
DataSpiderの他アダプタのイメージでお伝えするとDB系アダプタの"検索系SQL実行"のようなものです。
[アイテム書き込み処理]
入力データにてアイテム名を指定し、そのアイテム名を元に指定したドメインにアイテムを書き込むことが可能です。
指定したアイテム名が既存データとして存在すれば更新、存在しなければ新規に書きこむ処理となります。
こちらも書き込みの一貫性保証オプションである「Conditional Puts」に対応しています。
データ書き込みの手順はデータ取得系の処理の反対の手順とお考えいただくとわかりやすいと思います。
事前に書きこむ属性を指定して書き込み処理を行います。
「期待値を指定した書き込み」という機能があります。
この機能はRDBMSで言うところのキーを指定したUPDATE処理に近いものです。
まず、期待値を設定する属性を指定します。この設定はプロパティ画面で行います。
次に入力データにて指定した属性に期待する値を設定します。
その状態で更新をし、指定した属性に期待する値が存在した場合は書き込みが行われます。
もし、指定した属性に期待する値が存在しなかった場合はエラーとなります。
この機能の有効性については、以下のブログで説明されている表現がわかりやすいと思います。
--------------------------------------------------------------------
用途として、ある操作対象の値をConsistent Readによって読み込んで保持
しておき、PutやDeleteのときにはその値と同値であることを条件に設定する
ことで、ある時点から操作時までそのデータがほかのプロセスによって
アップデートもデリートもされていないことを保証できます。
これはOCC（Optimistic Concurrency Control：楽観的並行性制御）による
トランザクションの実現となります。
http://www.publickey1.jp/blog/10/nosqlsimpledbbigtable.html
--------------------------------------------------------------------
また、アイテムの書き込み中にエラーとなったアイテムがあった場合、書き込みを中断せず
エラーのアイテムをスキップして書き込みを続行するというオプションがあります。
エラーとなったアイテムは書き込み処理の出力データとして別途取得可能ですので
エラーになったアイテムのみをファイルに出力しておいて後で確認するということも可能です。
[アイテム削除処理]
入力データにてアイテム名を指定し、そのアイテム名をキーとして指定したドメインに含まれる
アイテムを削除することが可能です。
こちらも削除の一貫性保証オプションである「Conditional Deletes」に対応しています。
この削除処理も書き込み処理同様の「期待値を指定した削除」の機能があります。
また、エラーとなったアイテムがあってもスキップをして、削除を続行する機能もあります。
[ドメイン作成処理]
ドメイン名を指定してドメインを作成することが可能です。例えば毎日一つ日別のドメインを作成したいと
いった時にご利用いただける機能です。
[ドメイン削除処理]
ドメイン名を指定してドメインを削除することが可能です。ある一定期間を過ぎたドメインを削除したいと
いった時にご利用いただける機能です。
なんとSimpleDBアダプタの機能紹介だけでかなりの長文になってしまいました。。。
ということで次回へ続きます。
本日、dstnのサイトをリニューアルしました！
フォーラムでは発言に対して評価を行うことができる投票機能が有効になっています。機能要望を投稿できるように設定しましたので是非ご意見をいただければと思います。
既存ユーザ様に関しては今回のリニューアルに伴いユーザ情報の変更をお願いしております。メールにてご連絡をしておりますので、大変お手数ですがご協力のほどよろしくお願いします。ご不明な点ございましたらdstn@appresso.comまでご連絡をいただければと思います。
これからも機能追加を行なってまいりますのでdstnをよろしくお願いします。
フォーラムでは発言に対して評価を行うことができる投票機能が有効になっています。機能要望を投稿できるように設定しましたので是非ご意見をいただければと思います。
既存ユーザ様に関しては今回のリニューアルに伴いユーザ情報の変更をお願いしております。メールにてご連絡をしておりますので、大変お手数ですがご協力のほどよろしくお願いします。ご不明な点ございましたらdstn@appresso.comまでご連絡をいただければと思います。
これからも機能追加を行なってまいりますのでdstnをよろしくお願いします。