オープンデータとプログラミング

オープン データ ・ イニシアティブの展開 – サンマテオ日次仕訳帳|Open data initiative expands – – San Mateo Daily Journal

オープンデータ関連のニュースです。

http://www.smdailyjournal.com/articles/lnews/2015-07-25/open-data-initiative-expands/1776425147344.html

日本語

サンマテオ郡は、いくつか良い女性と男性継続的努力で大量のデータを活用する政府を合理化し、納税者のお金を節約を探しています。郡は、すべての種類の情報を含む隠されたハイキング コースはどこの店が見つけオープンのデータ ポータルを開設しました、郡があなたにお金を負ってどのくらいのエネルギー都市使用かも。透明性を提供する郡の誓約は、その最初オープン データ コミュニティの連絡機関としてちょうど 6 月に終日ハッカソンを監督したジョン Ridener の採用につながった。ハッカソン組み立て郡の「大きな画像の問題」のいくつかを解決するため技術を使用するプログラマー開発者、エンジニア、起業家、学生、技術者、活動家、デザイナー、郡居住者は、6 月のハック-SMC に参加する招待されました。
続きを読む…

English

San Mateo County is looking for a few good women and men to tap into mounds of data in a continuing effort to streamline government and save taxpayer money. The county has launched an Open Data Portal that stores all types of information including where hidden hiking trails are located, how much energy cities use or even if the county owes you money. The county’s pledge to provide transparency led to the hiring of John Ridener as its first open data community liaison who just oversaw an all-day hackathon in June. The hackathon assembled programmers to use technology to help solve some of the county’s “big-picture problems.” Developers, engineers, entrepreneurs, students, techies, activists, designers and county residents were all invited to participate in June’s Hack-SMC.
Read more…

Huawei 社は第 3 回グローバル金融 オープン プラットフォーム アーキテクチャの開発を促進します。|Huawei Promotes Open Platform Architecture Development at 3rd Annual Global Financial

オープンデータ関連のニュースです。

http://news.sys-con.com/node/3381314

日本語

港湾労働者 Logentries コンテナー Logentries の提供とさまざまな Linux エージェント、アプリケーション プラグイン ライブラリ、Syslog などコンテナー境内からログを取得する方法をログに記録する方法。この記事で取り上げる収集と私たち港湾労働者 Logentries コンテナーを介してログを転送、港湾労働者 1.5 またはそれ以降が必要です。以下を実行する必要があります港湾労働者 Logentries コンテナーを構成する: あなたの L で宛先ログを作成.Logentries では、さまざまな Linux エージェント、アプリケーション プラグイン ライブラリ、Syslog などコンテナー境内からログを取得する方法を提供しています。この記事で取り上げる収集と私たち港湾労働者 Logentries コンテナーを介してログを転送、港湾労働者 1.5 またはそれ以降が必要です。
続きを読む…

English

How to Log with the Docker Logentries Container Logentries offers a variety of ways to get logs out of your containerized environment, including our Linux Agent, application plugin libraries, and Syslog. In this post we’ll cover collecting and forwarding logs via our Docker Logentries Container, which requires Docker 1.5 or higher. To configure the Docker Logentries Container you’ll need to do the following: Create a destination log in your L… Logentries offers a variety of ways to get logs out of your containerized environment, including our Linux Agent, application plugin libraries, and Syslog. In this post we’ll cover collecting and forwarding logs via our Docker Logentries Container, which requires Docker 1.5 or higher.
Read more…

2015 年 7 月 18-24 日のオープン ソース ニュースの総まとめ |Opensource.com|Open source news roundup for July 18 – 24, 2015 | Opensource.com

オープンデータ関連のニュースです。

http://opensource.com/life/15/7/weekly-open-source-news-july-24

日本語

当社のオープン ソースのニュースの総まとめの今週の版、Linux Foundation、リスニング、ロボットなどの新世代領域から新しいクラウド ネイティブ財団を見てを取る。 InfoWorld は、開いているコンテナー イニシアチブ (OCI)、以前オープン コンテナーのプラットフォームの上にレイヤーとしてニュースについて、新しいクラウド ネイティブ コンピューティング基盤 (CNCF) を共有します。CNCF「クラウド ネイティブ アプリケーションまたはコンテナー パッケージを、動的にスケジュール サービスに携わる企業の多くとマイクロ サービス指向を結集を目指しています」それがまた”コンテナーとそれらの周辺技術のスタックの両方を管理するなど、Google の Kubernetes。
続きを読む…

English

In this week’s edition of our open source news roundup, we take a look at the new Cloud Native Computing Foundation from the Linux Foundation, space listening, the new generation of robotics, and more. InfoWorld shares the news about the new Cloud Native Computing Foundation (CNCF) as a layer on top of the Open Container Initiative (OCI), formerly the Open Container Platform. The CNCF “aims to bring together many of the companies involved with cloud-native applications or services that are container-packaged, dynamically scheduled and micro services-oriented.” It will also “govern both containers and the stack of technologies around them e.g., Google’s Kubernetes.
Read more…

クラウド ネイティブ コンピューティング基盤と空間聞くのとより多くのオープン ソースのニュース|Cloud Native Computing Foundation, space listening, and more open source news

オープンデータ関連のニュースです。

https://opensource.com/life/15/7/weekly-open-source-news-july-24

日本語

当社のオープン ソースのニュースの総まとめの今週の版、Linux Foundation、リスニング、ロボットなどの新世代領域から新しいクラウド ネイティブ財団を見てを取る。 InfoWorld は、開いているコンテナー イニシアチブ (OCI)、以前オープン コンテナーのプラットフォームの上にレイヤーとしてニュースについて、新しいクラウド ネイティブ コンピューティング基盤 (CNCF) を共有します。CNCF「クラウド ネイティブ アプリケーションまたはコンテナー パッケージを、動的にスケジュール サービスに携わる企業の多くとマイクロ サービス指向を結集を目指しています」それがまた”コンテナーとそれらの周辺技術のスタックの両方を管理するなど、Google の Kubernetes。
続きを読む…

English

In this week’s edition of our open source news roundup, we take a look at the new Cloud Native Computing Foundation from the Linux Foundation, space listening, the new generation of robotics, and more. InfoWorld shares the news about the new Cloud Native Computing Foundation (CNCF) as a layer on top of the Open Container Initiative (OCI), formerly the Open Container Platform. The CNCF “aims to bring together many of the companies involved with cloud-native applications or services that are container-packaged, dynamically scheduled and micro services-oriented.” It will also “govern both containers and the stack of technologies around them e.g., Google’s Kubernetes.
Read more…

アリババに移動 オープン データ ・ センター外に計画の中でクラウド データを保護|Alibaba Moves to Safeguard Cloud Data Amid Plan to Open Data Centers Abroad

オープンデータ関連のニュースです。

http://en.yibada.com/articles/48163/20150724/alibaba-cloud-data-data-centers-abroad.htm

日本語

コンピューティング プラットフォームを世界的に、ウォールストリート ・ ジャーナルが報告された第 2 のデータ センターを構築する計画されている米国を中心に海外でのサービスを展開する同社の意向を強調し、クラウド上のユーザー データを保護するために計画を水曜日、7 月 22 日、アリババ グループを保持している会社を築いた。 Aliyun、Alibaba のクラウド ・ コンピューティング ・ ユニット、」データ保護協定、「顧客を与えること – 政府機関及び消費者 ― 開発者から「絶対的な所有権」アクセス権限と同様に、そのデータすべてにわたって発行も共有、交換、転送または、いつでも自分データを削除。 協定はまた、Aliyun は管理および脅威や災害でデータの回復を防ぐ機能を向上させるための内部監査体制の確立に責任があると述べた。
続きを読む…

English

Alibaba Group Holding Ltd. has laid out Wednesday, July 22, plans to protect user data on its cloud computing platforms globally, stressing the company’s intention to expand services overseas, especially in the U.S. where it plans to build a second data center, the Wall Street Journal reported. Aliyun, Alibaba’s cloud computing unit, also issued a “Data Protection Pact,” giving customers–from developers to government agencies and consumers–“absolute ownership” over all of their data, as well as the rights to access, share, exchange, transfer or delete their data at any time. The pact also stated that Aliyun is responsible for establishing management and internal audit systems for improving capabilities to protect against threats and the recovery of data in disasters.
Read more…

キャシー ・ コンラッド: 出口インタビュー – FCW|Kathy Conrad: The exit interview — FCW

オープンデータ関連のニュースです。

http://fcw.com/articles/2015/07/24/kathy-conrad-exit-interview.aspx

日本語

過去 4 年間、一見すべて政府全体のイニシアチブはそれが何らかの方法で関与キャシー ・ コンラッド、校長副管理者の一般的なサービスの管理のオフィスの市民サービスと革新的な技術を関連付けます。政府で 3 時間連邦 100 の勝者の最後の日は 7 月 24 日;彼女は 7 月 21 日の教訓を議論する FCW 編集長トロイ K. シュナイダーと座った。 このインタビューは、長さと明確に編集されています。 あなたの出発を前に、ご到着についてお話しましょう。なぜに参加しました GSA 最初の場所で 2011 年か ミッションと政府の規模は比類ありません。
続きを読む…

English

For the last four years, seemingly every government-wide IT initiative has in some way involved Kathy Conrad, the principal deputy associate administrator of the General Services Administration’s Office of Citizen Services and Innovative Technologies. The three-time Federal 100 winner’s last day in government was July 24; she sat down with FCW Editor-in-Chief Troy K. Schneider on July 21 to discuss the lessons learned. This interview has been edited for length and clarity. Before we get to your departure, let’s talk about your arrival. Why did you join GSA in the first place in 2011? The mission and the scale of government are unparalleled.
Read more…

ソノマ郡ロール データを開く ポータルと |プレス民主党|Sonoma County rolls out open data portal and | The Press Democrat

オープンデータ関連のニュースです。

http://www.pressdemocrat.com/news/4217360-181/sonoma-county-rolls-out-open

日本語

2014 年にソノマ郡に生まれたすべての赤ちゃんより多くの親を選んだエマとローガンに新生児の名前の他のどのより。 ソノマ郡の最も人気のある赤ちゃんの名前-法施行の問題点や年間出生数をレストランと醸造所の検査のようなものを追跡データベースのホストにパブリック アクセスを与える新しい郡ウェブサイトの下で利用可能情報のちょうど 1 つの一口であります。 昨年、たとえば、5,315 赤ちゃんが郡で生まれた。 吹き替え SoCo データ、新しいサイトは、この週を発表は、ルーチンの公開データの範囲を国民がより利用できるように目指しています。 監督板議長スーザン五輪サイトについて「これは市民が政府と接続を増やすことができます方法です」言った。
続きを読む…

English

Of all the babies born in Sonoma County in 2014, more parents chose Emma and Logan for their newborns’ names than any other. The most popular baby names in Sonoma County — that is just one tidbit of information made available under a new county website that gives the public access to a host of databases, tracking such things as restaurant and brewery inspections to law enforcement incidents and annual births. Last year, for example, 5,315 babies were born in the county. Dubbed SoCo Data, the new site, unveiled this week, is aimed at making a range of routine public data more available to the public. “This is a way citizens can increase their connectivity with government,” said Board of Supervisors Chairwoman Susan Gorin about the site.
Read more…

DC 企業の社会的技術ベンチャー |DC Inno|DC Social-Enterprise Tech Startups | DC Inno

オープンデータ関連のニュースです。

http://dcinno.streetwise.co/2015/07/24/dc-social-enterprise-tech-startups/

日本語

ワシントン d. c. では、すべての形およびサイズの企業の技術を使用して印象的なベンチャーが多い。しかし、それらの多くの唯一の目標ではない利益。多くのスタートアップ創業者の特定のビジョンや目標がお金を稼ぐにはまったく関係ない、事業に着手。代わりに、利益面だけ客観的か全く関係ない世界や人々 の生活を向上させる使命があります。我々 はここで強調する六つの社会企業ベンチャーを選んだ。それらのそれぞれは立派な原因または原因は、革新的なソリューションを提供しています、彼らは氷山のほんの先端です。 GoodWorld-1776年から最近起動、GoodWorld、立派な原因に寄付する人々 のため容易にするハッシュタグ寄付システムを開発しました。
続きを読む…

English

Washington, D.C., has a lot of impressive startups using technology for businesses of all shapes and sizes. But profit isn’t the only goal for many of them. Plenty of startup founders started their businesses with a particular vision or goal entirely unrelated to making money. Instead, profit may be only a side objective or entirely irrelevant to the mission of improving the world or people’s lives. We’ve picked out six social-enterprise startups to highlight here. Each of them offers an innovative solution to a worthy cause or causes, and they are just the tip of the iceberg. GoodWorld- A recently launched startup out of 1776, GoodWorld developed a hashtag donation system to make it easier for people to donate to worthy causes.
Read more…

ベルギーの連邦政府の オープン データ 戦略のための親指|Thumbs up for the Belgian federal Open Data strategy

オープンデータ関連のニュースです。

http://www.startups.be/content/thumbs-belgian-federal-open-data-strategy

日本語

オープン データ戦略の採用は、副首相兼デジタル議題通信アレクサンダー ・ デ ・曲がった大臣の提案に従えば、緑色の光を与えられています。 これは、ベルギーのデジタル生態系と無駄のないより効率的で近代的な管理に向けて進化を強化する上で重要なステップです。 具体的な行動ポイント開始現在と 2020 年までのシリーズを通じて、国の連邦政府のオープン データ戦略が採用されます。
続きを読む…

English

The adoption of an open data strategy has been given green light following the proposal of Deputy Prime Minister and Minister of the Digital Agenda and Telecoms Alexander De Croo. This is a crucial step in strengthening the Belgian digital ecosystem and the evolution towards a leaner, more efficient and modern administration. The federal open data strategy will be adopted in the country through a series of concrete action points starting now and till 2020.
Read more…

プログラミング・スキル不要!「無料」で使えるデータ変換ツールはこれだ!

ビジネスの現場で求められるデータ変換スキル

ビジネスの現場では、顧客や売上データの分析など、さまざまな形式のデータの変換が必要になる場面は少なくありません。しかし、EXCELやCSV、XMLなどのデータ変換をしたり、複数のデータを統合するためには、難しいプログラミング技術が必要だと思っていませんか?
プログラミングとなれば、エンジニアに頼まなければできません。「エンジニアに依頼せずに手元のPCで思い通りにデータ変換ができたらいいのに…」と思うこともあるでしょう。

今回ご紹介するデータ変換ツールは、そんなビジネスマンの方にもピッタリのツールです。

プログラミングレスのデータ変換を実現してくれるのがETLツール

これを実現するのがETLツールと呼ばれるものです。ETLとは、簡単にいってしまうと
(1)データの読み込み、(2)変換・加工、(3)データの書き出しの3つの工程を一手に引き受けてくれるツールです。
ウィキペディア(Wikipedia)では次のように説明されています。

Extract/Transform/Load(略称:ETL)とは、データウェアハウスにおける以下のような工程を指す。

Extract – 外部の情報源からデータを抽出
Transform – 抽出したデータをビジネスでの必要に応じて変換・加工
Load – 最終的ターゲット(すなわちデータウェアハウス)に変換・加工済みのデータをロード

ETLは、データウェアハウスにデータを実際にロードする方法として重要である。ETLという用語はデータウェアハウスでのデータのロードだけでなく、任意のデータベースでのロード工程を指すこともある。ETLはレガシーシステムとの統合にも使われる。通常のETL実装は、処理についての監査証跡を記録する。ほとんど全ての設計において、この監査証跡は、元のデータが利用不可能な場合にETLの結果を再現できるほどの細粒度のレベルにはなっていない。

求められるスキルは?

多少の学習時間は必要ですが、EXCELを使いこなしている方であれば、プログラミング経験がなくても習得可能です。
ETLツールの操作は、画面からマウスを使って行いますので何とかなります。

もちろんプログラミング経験のある方であれば、より短期間で習得可能です。
ETLツールを使いこなせれば、格段に生産性があがること間違いなしです。

お勧めはPentahoのETLツール

ETLツールとしてお勧めしたいのが、Pentahoの「Data Integration」です。略して「PDI」とも呼ばれています。

Pentahoは、オープンソースのBIツール(Business Intelligence Tool)として非常に有名ですが、ETLツールの存在はあまり知られていません。「Data Integration」は、PentahoのBIツール「Business Analytics Platform」とは独立して単独で利用できるETLツールです。「Business Analytics Platform」の影に隠れて地味な存在ですが、洗練されたユーザインターフェースを持ち、使いやすく仕上げられたツールです。

「Data Integration」のインストール

「Data Integration」のダウンロードサイトは、Pentaho公式サイトからたどることができます。
ただ、無料のコミュニティ版のダウンロードページへのリンクが少し分りにくい場所にあるので、直接リンクを載せておきます。

http://community.pentaho.com/

「Data Integration」のダウンロードへのリンクは、下のスクリーンショットの矢印のところです。
緑色のボタンをクリックするとダウンロードすることができます。
「Data Integration」の実行にはJavaが必要です。インストールされていない場合は、インストールしておきましょう。

screenshot-community.pentaho_201507

<Windowsの場合>
ダウンロードしたファイルは、zipで固めてあるだけなので解凍して、適当なフォルダに置きます。

data-integrationフォルダにある”spoon.bat”をクリックすると、「Data Integration」が起動します。
下の画面は、起動直後の画面です。

pdi

<Macの場合>
data-integrationフォルダごと、アプリケーションフォルダに移動してください。
すると、Launchpad上に「Data Integration」のアイコンが表示されるようになります。
このアイコンをクリックすれば起動します。

screen_shot

今回はインストールから起動までの手順を説明しました。
次回からはいよいよ使い方の説明に入ります。