DataSpiderデザインパターンβ 第11回 設計パターン 「On-Premises Data Integration On Cloud」

Avatar
dstn

On-Premises Data Integration On Cloud
~クラウド上のDataSpiderでオンプレミスのデータと連携する


近年、システムのクラウド化はますます加速し、クラウドは「成熟期」に入ったとされています。異なる複数のクラウドシステムを使用したり、オンプレミスの一部のシステムをクラウドで運用する、などさまざまな形態でのクラウド利用が進んでいます。その中で、それらのシステム間の「データ」をどのように連携していくかということが課題となっています。

アプレッソが2015年春にリリースした新製品「Thunderbus」(製品紹介ページ: http://www.thunderbus.appresso.com/)は、クラウドとオンプレミスのデータ連携における課題を解決するために開発されたソフトウェアです。今回のDataSpiderデザインパターンβでは、このThunderbusとDataSpiderとを組み合わせ、オンプレミスのデータをクラウド上のDataSpiderで連携するパターン「On-Premises Data Integration On Cloud」を紹介します。

1 課題


これまで企業内で運用するのが当たり前だった社内システムも、現在ではクラウドを利用することが一般的になってきており、そのメリットは多く挙げることができる。

一方で、オンプレミスに置かざるを得ない、また置いた方が良いシステムやデータがあり、クラウド利用の障壁となることがある。そのようなシステムやデータは例として以下のようなものが挙げられる。

●人の手で入力されるExcelファイル
●社内システムからエクスポートされるCSVファイル
●秘匿性が高くクラウド上で扱うことができない顧客データ
●クラウド上で稼働させることができない基幹システム
●クラウド上に保存するには容量が大きすぎる大規模データ

これらのシステム・データをオンプレミスに置いたままクラウドを利用するには、クラウドとオンプレミスでデータ連携することが必須となる。このようなデータ連携を行うにはさまざまな方法が考えられる。主な例としては以下の2つの方法が挙げられる。

1) オンプレミスとクラウドをVPNで接続する
2) オンプレミス環境に連携を行うプログラムやソフトウェアを稼働させる

1)のVPNを利用する方法は、クラウドとオンプレミスのデータを同じネットワーク内で扱えるため利便性は高い。しかし、以下のような課題もある。

●オンプレミス環境のネットワークインフラの変更が必要になり、導入コストが高い。特に多拠点のオンプレミスで使用する場合、各所での作業が必要となりコストはさらに高くなる

●SaaSなどを利用している場合、他社サーバーとネットワークで接続されることになり、セキュリティ面で導入が不可能な場合がある]

vpn

2)のオンプレミスに連携を行うプログラム・ソフトウェアを稼働させる場合、定期的にファイルをクラウドにHTTPやFTPなどで送信するような形態が取られることが多い。オンプレミスからクラウドへのインターネット接続ができればネットワークに変更が必要ないというメリットがあるが、以下のような課題がある。

●クラウドからオンプレミスへのリアルタイムな連携ができない

●オンプレミスで行うデータ連携処理に変更が必要になった場合、プログラムの修正やソフトウェアの変更が必要になる

software

2 解決方法


クラウド上にDataSpiderを稼働させ、Thunderbusコネクタを使用してThunderbusと接続し、オンプレミスのファイルとデータ連携を行う

3 説明


ThunderbusはThunderbus ServerとThunderbus Agentから構成されるソフトウェアである。

Thunderbus Serverをクラウド上に配置し、オンプレミス環境にThunderbus Agentをインストールすることで、Thunderbus Agent稼働環境のファイルをクラウド上からWebDAVプロトコルで操作することができる。これにより、クラウド・オンプレミス環境の差を意識することなく透過的にファイルを操作することが可能になる。

webdav

▲Thunderbusのシステム構成イメージ図。オンプレミスからクラウドへのHTTPS(WebSocket)通信で接続が行われるため、容易に導入が可能

DataSpiderのThunderbusコネクタは、これを利用してDataSpiderファイルシステム上にThunderbus Agentで指定したディレクトリをマウントすることができる機能である。マウントしたディレクトリは通常のローカルのファイルシステム上に存在するファイルと同様に処理できる。
このため、クラウドで稼働するDataSpider上で、ファイルが置かれている場所を意識することなくオンプレミスのデータとのシームレスな連携を実現することができる。

tbconnector

 

▲DataSpiderのThunderbusコネクタを使用したシステムイメージ図。DataSpiderファイルシステムとしてオンプレミスのディレクトリがマウントされるため、クラウド上に配置されたファイルであるかのようにオンプレミス環境のファイルを操作することが可能

 

 

4 メリット


●オンプレミスからクラウドへのHTTPSアウトバウンド通信(通常のインターネット接続)さえ可能であれば連携が可能。クラウドからオンプレミスへのHTTPS通信は発生しないため、VPNをひいたりオンプレミス側にグローバルIPを持ったサーバーを立てる必要がなく導入が容易である。

●多数の拠点のオンプレミス環境と連携が必要になった場合でも、オンプレミス環境でのThunderbus Agentのインストールと接続設定を行えば連携を始めることができるため、スピーディに連携対象を拡大することができる。

Agent

 

▲Thunderbus Agentの接続設定画面。インストール後、簡単な設定で使用を開始することができる

●オンプレミスのファイルはDataSpiderから参照されるのみであり、ファイルそのものをクラウド上にアップロードすることなく使用できる。そのため、オンプレミスにファイルを置いたままセキュアにデータ連携が可能である。また必要な場合はDataSpiderファイルシステム内でファイルを移動することにより、ファイルのアップロード・ダウンロードを容易に行うことができる。

●DataSpiderファイルシステムにマウントされることで、DataSpiderの多彩なファイル関連の機能がそのまま使用可能であり、柔軟な連携システムが構築可能である。
DataSpiderのファイル関連の機能としては以下が挙げられる。
- 各種ファイル連携アダプタによるExcel、CSV、XML、固定長ファイル、可変長ファイルなどの読み取り・書き込み
- ファイル操作アダプタによるファイルコピー・移動・削除・zip解凍・zip圧縮などの機能
- ファイルトリガーによるファイルの作成・更新・削除時のスクリプト実行
- エクスプローラによる手動のファイルファイルコピー・移動・削除などの機能

StudioForWeb

 

▲Studio for Webのエクスプローラ画面例。ここではエージェント「demo」で設定された「共有フォルダ」内のファイル「Excel.xlsx」を表示している。このファイルに対してデータの読み取り・書き込みなどがDataSpiderで可能となる

●連携のビジネスロジックはクラウド上のDataSpiderで管理することができるため、連携の仕様が変更された場合もオンプレミス側のプログラムの変更は不要である。そのため、クラウド上のDataSpiderで連携処理の一元管理を行うことができる。

5 注意点


●現在のver1.0ではThunderbusはファイル連携のみを対象としている。将来的にはデータベース連携やHTTP連携などに対応する予定となっている。(対応時期未定)

●現在Windows版のみリリースされている。

●Thunderbusはパッケージとして提供されているため、Thunderbus Server稼働環境はクラウド上に構築する必要がある。

●DataSpiderのThunderbusコネクタは、DataSpider Servista 3.2 SP1から使用可能である。

コメント

ログインしてコメントを残してください。

Powered by Zendesk