オープンデータとプログラミング

Tag Archive for pentaho

プログラミング・スキル不要!「無料」で使えるデータ変換ツールはこれだ!

ビジネスの現場で求められるデータ変換スキル

ビジネスの現場では、顧客や売上データの分析など、さまざまな形式のデータの変換が必要になる場面は少なくありません。しかし、EXCELやCSV、XMLなどのデータ変換をしたり、複数のデータを統合するためには、難しいプログラミング技術が必要だと思っていませんか?
プログラミングとなれば、エンジニアに頼まなければできません。「エンジニアに依頼せずに手元のPCで思い通りにデータ変換ができたらいいのに…」と思うこともあるでしょう。

今回ご紹介するデータ変換ツールは、そんなビジネスマンの方にもピッタリのツールです。

プログラミングレスのデータ変換を実現してくれるのがETLツール

これを実現するのがETLツールと呼ばれるものです。ETLとは、簡単にいってしまうと
(1)データの読み込み、(2)変換・加工、(3)データの書き出しの3つの工程を一手に引き受けてくれるツールです。
ウィキペディア(Wikipedia)では次のように説明されています。

Extract/Transform/Load(略称:ETL)とは、データウェアハウスにおける以下のような工程を指す。

Extract – 外部の情報源からデータを抽出
Transform – 抽出したデータをビジネスでの必要に応じて変換・加工
Load – 最終的ターゲット(すなわちデータウェアハウス)に変換・加工済みのデータをロード

ETLは、データウェアハウスにデータを実際にロードする方法として重要である。ETLという用語はデータウェアハウスでのデータのロードだけでなく、任意のデータベースでのロード工程を指すこともある。ETLはレガシーシステムとの統合にも使われる。通常のETL実装は、処理についての監査証跡を記録する。ほとんど全ての設計において、この監査証跡は、元のデータが利用不可能な場合にETLの結果を再現できるほどの細粒度のレベルにはなっていない。

求められるスキルは?

多少の学習時間は必要ですが、EXCELを使いこなしている方であれば、プログラミング経験がなくても習得可能です。
ETLツールの操作は、画面からマウスを使って行いますので何とかなります。

もちろんプログラミング経験のある方であれば、より短期間で習得可能です。
ETLツールを使いこなせれば、格段に生産性があがること間違いなしです。

お勧めはPentahoのETLツール

ETLツールとしてお勧めしたいのが、Pentahoの「Data Integration」です。略して「PDI」とも呼ばれています。

Pentahoは、オープンソースのBIツール(Business Intelligence Tool)として非常に有名ですが、ETLツールの存在はあまり知られていません。「Data Integration」は、PentahoのBIツール「Business Analytics Platform」とは独立して単独で利用できるETLツールです。「Business Analytics Platform」の影に隠れて地味な存在ですが、洗練されたユーザインターフェースを持ち、使いやすく仕上げられたツールです。

「Data Integration」のインストール

「Data Integration」のダウンロードサイトは、Pentaho公式サイトからたどることができます。
ただ、無料のコミュニティ版のダウンロードページへのリンクが少し分りにくい場所にあるので、直接リンクを載せておきます。

http://community.pentaho.com/

「Data Integration」のダウンロードへのリンクは、下のスクリーンショットの矢印のところです。
緑色のボタンをクリックするとダウンロードすることができます。
「Data Integration」の実行にはJavaが必要です。インストールされていない場合は、インストールしておきましょう。

screenshot-community.pentaho_201507

<Windowsの場合>
ダウンロードしたファイルは、zipで固めてあるだけなので解凍して、適当なフォルダに置きます。

data-integrationフォルダにある”spoon.bat”をクリックすると、「Data Integration」が起動します。
下の画面は、起動直後の画面です。

pdi

<Macの場合>
data-integrationフォルダごと、アプリケーションフォルダに移動してください。
すると、Launchpad上に「Data Integration」のアイコンが表示されるようになります。
このアイコンをクリックすれば起動します。

screen_shot

今回はインストールから起動までの手順を説明しました。
次回からはいよいよ使い方の説明に入ります。

Pentaho 5.3 AWS Redshift と などを含むスケールでの解析にビッグデータ分析を配信し続けます|Pentaho 5.3 Continues To Deliver On Big Data Analytics With Scale Including AWS Redshift and

オープンデータ関連のニュースです。

https://ctovision.com/2015/02/pentaho-5-3-continues-to-deliver-on-big-data-analytics-with-scale-including-aws-redshift-and-impala/

Pentaho のデータ (全規模合計!) している企業に関心の高いとなる新機能を含む、オープン データ プラットフォームのバージョン 5.3 をちょうど発表しました。アマゾンRedshift を Cloudera インパラ; Pentaho 5.3 Opens Data Refinery 限界の分析を通じてブレンド、準拠データ配信オンデマンド プッシュ-今日解析、Pentaho 株式会社の未来を提供するそのData Refinery – raw データを実用的な情報に変換 – アマゾンRedshift と Cloudera インパラ ™ に開かれていると発表しました。クラウドおよびビッグデータ生態系の最高を活かし、Pentaho の最新バージョンは、Pentaho ビジネス Analytics 5.3 スケールの大きなデータ分析する実用的なアプローチを提供しています。

続きを読む…

English

Pentaho has just announced version 5.3 of their open data platform including new features which will be of high interest to any enterprise with data (all enterprises!). Pentaho 5.3 Opens Data Refinery to Amazon Redshift and Cloudera Impala; Pushes the Limits of Analytics Through Blended, Governed Data Delivery On Demand —Delivering the future of analytics , Pentaho Corporation today announced it has opened its data refinery – which transforms raw data into actionable information – to Amazon Redshift and Cloudera Impala ™. By harnessing the best of cloud and big data ecosystems, Pentaho’s latest version, Pentaho Business Analytics 5.3 , offers a pragmatic approach to big data analytics at scale.
Read more…

日立データ システム (HDS)、 オープンデータの リーダー Pentaho を取得!|Hitachi Data Systems (HDS) Acquires Open Data Leader Pentaho

https://ctovision.com/2015/02/hitachi-data-systems-hds-acquires-open-data-leader-pentaho/

日立データシステムズは、ビッグデータとモノのインターネットそのことからより多くの価値を提供するPentahoのを取得する意図を発表
買収は、データ統合、ビジネス分析の専門知識、およびビッグデータの価値を加速させる基盤技術を提供します
2015年2月10日、カリフォルニア州サンタクララ –

日立データシステムズ(HDS)、日立製作所(TSE:6501)の完全子会社では、本日、Pentahoは(株)、多様のためのオープンソースベースのプラットフォームと主要なビッグデータ統合とビジネス分析会社を買収する意向を発表しましたビッグデータの展開。

Pentahoのの買収 – これまでの最大の民間ビッグデータ取得トランザクションは – 2015年6月によって完了することが予想され、慣例的な完了条件に従うものとされている。買収完了時に、Pentahoのは「Pentahoの、日立データシステムズ社」になり、そのブランドを保持します。Pentahoのはケビン·エグルストン、HDS上級副社長、社会イノベーションとグローバル·インダストリーズに報告するPentahoの最高経営責任者(CEO)、クエンティン·ギャリバン、のリーダーシップの下で、現在のビジネスモデルを実行していきます。

今回の買収は、ビッグデータから価値とモノのインターネットを蒸留するマシンデータ、情報技術、および分析を統合し、ビジネス革新を実現する日立の戦略を満たすのに役立ちます。今回の買収は、ビッグデータ業界のための変革イベントで、より高速なROIにつながる、より簡単に、より高速な展開を通じてビッグデータ技術とソリューションの企業の採用を加速していきます。

Pentahoのソフトウェアと専門知識は、製品やサービスの現在のHDSのポートフォリオを進め、より早く市場に投入するために追加のHDSビッグデータ·ソリューションをもたらすのに役立ちます。結果は、共有分析プラットフォームを通じて具体的な課題に対処するためのユニークな、総合的なソリューションとなります。日立共有分析プラットフォームを一緒にもたらし、日立、パートナーやオープンソースコミュニティからの異なる技術を組織化リファレンスアーキテクチャとなります。それは、開発者はビジネスニーズに迅速に対応するために既存の技術の上に新しい機能を追加することができます。

「データは多くの組織や企業のための未開発資源のまま – 挑戦を残り、そのデータの価値の実現と、「ケビン·エグルストン、上級副社長、社会イノベーションとグローバル·インダストリーズ、日立データシステムズは語った。「日立の幅広い業界専門知識、高度な情報技術、そして今Pentahoのソフトウェアと専門家の有能なチームの組み合わせは、それらのデータを管理するために、お客様に、より完全なソリューションを提供することが可能になります – 彼らはビッグデータとインターネットの力を活用することができます迅速かつ簡単な方法で物事の。」

「私たちは、日立データシステムズ·ファミリーに参加して満足していると、本当にソリューションの私たちの補集合は、ビッグデータの展開と周辺アプリケーションのインターネットの採用を加速すると信じて、「クエンティン·ギャリバン、会長兼最高経営責任者、Pentahoのは語った。「広範なリソース、専門知識とグローバル日立データシステムズの存在だけでなく、(株)日立製作所、私たちのビッグデータ分析とデータオーケストレーション機能を加速する市場に新たな技術革新をもたらし、そして拡大し続けるためにPentahoのための強固な基盤を確保する現在および将来の顧客のためのサポート。 ”

ビッグデータ、分析とモノのインターネットそのことについて

今回の買収は、両社間の既存のOEM関係の上に構築し、その社会イノベーション事業を加速したIoTのリーダーになるためのHDS戦略のコアコンポーネントです。ソーシャル·イノベーションは、健康で安全でスマートな社会を実現するソリューションを提供する日立の事業全体の統一戦略です。人や物の両端に発生し、相互接続されたデータから変革価値を創造するPentahoのビジョンは、消費電力の組み込みAnalyticsにビッグデータオーケストレーションプラットフォームによって生活にもたらしている。

日立ソーシャル·イノベーション戦略の一環として、HDSは、積極的に接続されたマシンとセンサーの実用化に従事されており、どのようIoTは、ビジネスと社会を向上させることができます-またはモノのインターネット問題では。ビッグデータのためのソリューションのシームレスな統合は、深い専門知識、分析技術、およびエンドツーエンドのプラットフォームを含む、いくつかの分野での能力を必要とします。日立は、これらの要素の全てに提供する能力が完全に独特である。

Pentahoのは、ビッグデータのための基礎的な技術を提供します。ビッグデータの基本的な約束は、キャプチャするために顧客を有効にブレンドし、新たなビジネス洞察を導き出すためのデータソースの広い配列を分析することである。Pentahoのプラットフォームは、任意のデータを用意し、ブレンドし簡素化し、簡単に、分析し可視化する、探検する、洞察を報告し、結果を予測するために、ユーザーを可能にするツールのスペクトルが含まれています。Pentahoのは、それが顧客やパートナーへのサービスとして、データと分析を提供することができ、オープンな埋め込み可能であり、拡張性プラットフォームを提供しています。開発者およびデータ科学者からビジネスユーザーに – – 簡単に競争上の優位性にデータを変換することができますプラットフォームは、組織のチームの各メンバーがいることを確実にするために設計されています。

続きを読む…

English

Editor’s note: We have tracked Pentaho for years and have observed first hand the power of their open approaches to an end to end framework for helping organizations make the most of their data holdings. Congrats to the entire team at Pentaho for this, you created something of tremendous value to the community and see this as a big signal that you will continue to change the world in very positive ways. -bg Acquisition delivers data integration, business analytics expertise, and foundational technologies that accelerate big data value Hitachi Data Systems Corporation (HDS), a wholly owned subsidiary of Hitachi, Ltd.
Read more…