オープンデータとプログラミング

人工知能 はあなたの信用を否定したか。|Did artificial intelligence deny you credit?

オープンデータ関連のニュースです。

http://theconversation.com/did-artificial-intelligence-deny-you-credit-73259

日本語

TranslateApiException: Cannot find an active Azure Market Place Translator Subscription associated with the request credentials. : ID=0151.V2_Json.Translate.1D4FC70F
続きを読む…

English

People who apply for a loan from a bank or credit card company, and are turned down, are owed an explanation of why that happened. It’s a good idea – because it can help teach people how to repair their damaged credit – and it’s a federal law, the Equal Credit Opportunity Act. Getting an answer wasn’t much of a problem in years past, when humans made those decisions. But today, as artificial intelligence systems increasingly assist or replace people making credit decisions, getting those explanations has become much more difficult. Traditionally, a loan officer who rejected an application could tell a would-be borrower there was a problem with their income level, or employment history, or whatever the issue was.
Read more…

心を読む ‘犯罪者’ をキャッチする科学者が 人工知能 を使用してください。|Scientists Use Artificial Intelligence to Catch ‘Criminals’ by Reading Minds

オープンデータ関連のニュースです。

http://www.newsmax.com/US/virginia-tech-artificial-intelligence-criminals-border-crossing/2017/03/13/id/778513/

日本語

TranslateApiException: Cannot find an active Azure Market Place Translator Subscription associated with the request credentials. : ID=0151.V2_Json.Translate.1D4FC191
続きを読む…

English

A Virginia Tech study using brain scans and artificial intelligence proved scientists can essentially read people’s minds. According to The Daily Mail, the study involved a simulation in which participants were given a suitcase that they would hypothetically bring across the border and were told how probable it was there were illegal drugs in it. Each person in the study then underwent brain scans. An AI program was used to analyze the brain scan results and determined which of the participants were “criminals,” meaning it was likely their suitcases contained drugs. The results were published in the journal Proceedings of the National Academy of Sciences.
Read more…

Ontotext の GraphDB 力スプリンガー自然の新しいリンクされた オープンなデータ プラットフォーム|Ontotext’s GraphDB Powers Springer Nature’s New Linked Open Data Platform

オープンデータ関連のニュースです。

http://www.prleap.com/pr/253508/ontotexts-graphdb-powers-springer-natures-new

日本語

TranslateApiException: Cannot find an active Azure Market Place Translator Subscription associated with the request credentials. : ID=0151.V2_Json.Translate.1D4FB9AF
続きを読む…

English

(PRLEAP.COM) March 13, 2017 – Sofia, Bulgaria/ New York, USA – We at Ontotext are delighted to announce that one of the world’s most renowned scientific publishers, Springer Nature ( http://www.springernature.com/gp/ ), has selected our industry-leading semantic graph database GraphDB™ ( http://ontotext.com/products/graphdb/ ) to power its new Linked Open Data platform.Springer Nature, which has an annual turnover of EUR 1.5 billion, has picked Ontotext’s GraphDB as a scalable semantic graph database to use in its new LOD platform SciGraph ( http://www.springernature.com/gp/researchers/scigraph ) that aggregates sources from Springer Nature and key partners from the scholarly domain.
Read more…

データは問題を解決しないが、それは確かに助けることができます。|Data doesn’t solve problems, but it sure can help

オープンデータ関連のニュースです。

http://crossroads.newsworks.org/keystone-crossroads/item/102134-data-doesnt-solve-problems-but-it-sure-can-help-

日本語

TranslateApiException: Cannot find an active Azure Market Place Translator Subscription associated with the request credentials. : ID=1250.V2_Json.Translate.1D85D24B
続きを読む…

English

It might seem odd that the project director of the Western Pennsylvania Regional Data Center would recoil at a data-centric phrase, but Gradeck sees data as tools and not answers. The WPRDC is the repository for more than 150 data sets from Pittsburgh and Allegheny County government, as well as organizations throughout the region. “Data can inform you, but if you’re being driven by data, you leave yourself open to a really bad algorithm or somebody’s bad assumptions or their biases,” he said. “Data is not perfect.” When it comes to tackling regional problems such as affordable housing or transportation, there’s no substitute for talking with people, but particularly people who can easily access city and county information.
Read more…

大きなデータを改行を解除|Lifting the Breaks on Big Data

オープンデータ関連のニュースです。

http://www.venturemagazine.me/2017/03/lifting-breaks-big-data/

日本語

我々 の都市でのトラフィック管理を大幅に向上させるを助けることができる利用可能なデータの豊富があります。我々 はそれを使用する必要があります。 2008 から 2010 年の間は、GAM は都市の住民の 40,000 以上の代表的なサンプルをカバーする広汎な世帯調査を実施しました。世帯、個人個人は、期間やコスト、目的、起源、宛先、使用モードを含む典型的な日に作られたそれぞれの旅の情報を集めた。 毎年、公共事業省、住宅に関するデータを収集のさまざまなノードのトラフィック ボリューム王国の道路ネットワーク経由で。彼らは自動トラフィック カウントの道路上に配置し、それらを通過する軸の数を追加デバイスを使用します。
続きを読む…

English

There’s a wealth of data available that could help vastly improve traffic management in our cities. We just need to put it to use. Between 2008 and 2010, GAM carried out an extensive household survey covering a representative sample of over 40,000 of the city’s inhabitants. Information was collected about the household, the individual, and each trip that individuals made on a typical day, including the origin, destination, mode used, duration, cost, purpose, and so on. Every year, the Ministry of Public Works and Housing collects data on traffic volumes on various nodes across the Kingdom’s road network. They do so using automatic traffic counting devices that are placed on the road and add up the number of axles passing through them.
Read more…

AI 専門家の激しい才能戦争とその原価計算の自動車メーカーの何百万があります。|There’s a raging talent war for AI experts and its costing automakers millions

オープンデータ関連のニュースです。

http://www.businessinsider.com/ai-talent-poached-universities-for-self-driving-cars-2017-3

日本語

TranslateApiException: Cannot find an active Azure Market Place Translator Subscription associated with the request credentials. : ID=0759.V2_Json.Translate.1CA0CC78
続きを読む…

English

The self-driving car space is getting increasingly more cutthroat. The sheer number of lawsuits filed recently are a testament to that. Tesla, for example, is suing its former Autopilot director Sterling Anderson. The lawsuit claims Anderson stole data for a competing venture, Aurora Innovations, that hasn’t even come out of stealth mode yet. Aurora denies the claims. Buried in that lawsuit, though, was some interesting commentary on the competitive nature of the industry and the kind of culture it has bred: “In their zeal to play catch-up, traditional automakers have created a get-rich-quick environment. Small teams of programmers with little more than demoware have been bought for as much as a billion dollars.
Read more…

AI の探求は日本のスーパー コンピューター メーカーの主要な受注をドライブします。|AI quest drives major orders for Japan’s supercomputer makers

オープンデータ関連のニュースです。

http://asia.nikkei.com/Tech-Science/Tech/AI-quest-drives-major-orders-for-Japan-s-supercomputer-makers

日本語

東京– 人工知能は、ますますコンピューター技術のセンター ステージを取ると大規模な発注に向かっている日本のスーパー コンピューター メーカー大規模な処理能力を必要としている研究機関からそれらのマシンを提供します。 富士通は、理化学研究所としてよりもっとよく知られている理化学研究所 4 月に使用を開始することを計画するための専用の AI 使用スーパー コンピューターを組み立てです。 東京工業大学東工大とも呼ばれる、日本 SGI, スーパー コンピューターの別のメーカーから AI 教育目的で大規模なシステムを命じた。研究所は、8 月に導入する予定です。
続きを読む…

English

TOKYO — As artificial intelligence increasingly takes center stage in computer technology, large-scale orders are heading to Japan’s supercomputer makers from research entities in need of the massive processing power those machines provide. Fujitsu is assembling a dedicated AI-use supercomputer for the Institute of Physical and Chemical Research, better known as Riken, which plans to start using it in April. Tokyo Institute of Technology, also known as Tokyo Tech, has ordered a large-scale system for AI-education purposes from SGI Japan, another supercomputer maker. The institute plans to introduce it in August.
Read more…

ポッド キャスト: サイバー犯罪と戦うために Gpu と AI を使用してください。|Podcast: Using GPUs and AI to Fight Cybercrime

オープンデータ関連のニュースです。

http://insidehpc.com/2017/03/podcast-using-gpus-ai-fight-cybercrime/

日本語

この AI ポッド キャスト、深い本能からイーライ デビッドについて説明します人工知能 os がサイバー犯罪と戦うために使用されている方法です。 「サイバー セキュリティは追いつ追われつのゲーム、マウス常にいる長い優勢であった察知されずに新しいマルウェアの簡単だから。デビッド イーライ、知能と深く本能 CTO の専門家たい AI を使用して、変更するサイバー セキュリティの厄介な世界に近代的な音声・画像認識を支える技術を学ぶ GPU 搭載ディープをもたらす」。 デビッド イーライは、深い学習 (ニューラル ネットワーク) と進化的計算に特化した、知能の分野で一流の専門家です。
続きを読む…

English

In this AI Podcast, Dr. Eli David from Deep Instinct discusses how AI os being used to fight cybercrime. “Cybersecurity is a cat-and-mouse game where the mouse always has long had the upper hand because it’s so easy for new malware to go undetected. Dr. Eli David, an expert in computational intelligence and CTO of Deep Instinct, wants to use AI to change that, bringing the GPU-powered deep learning techniques underpinning modern speech and image recognition to the vexing world of cybersecurity.” Dr. Eli David is a leading expert in the field of computational intelligence, specializing in deep learning (neural networks) and evolutionary computation.
Read more…

Nvidia とマイクロソフトがクラウド GPU を標準化を|Nvidia and Microsoft Look to Standardize Cloud GPU

オープンデータ関連のニュースです。

https://easterndaily.com/nvidia-microsoft-standardize-cloud-gpu/

日本語

Nvidia のハイグレード GPU 技術グローバルに知られています。サンタ クララに計算プロジェクトを開く時に週の半ば、それはマイクロソフトとクラウドの開発したアクセラレータの新しいブルー プリントを披露しました。HGX-1 と呼ばれる、この新しいアクセラレータは、テスラ P100 シリーズ、[Microsoft オリンパス プロジェクト構想に基づくオープン ソース製品です。この啓示は続いて別の発表それはその 24 DGX 1 台のサーバーを使用して人工知能のスーパー コンピューターを構築を支援する富士通と契約を結んでいた月曜日にした Nvidia です。Facebook はまた、大きな盆地、Nvidia の P100s アクセラレータを利用して新しいサーバーを紹介するこの機会を取った。
続きを読む…

English

Nvidia is known globally for their high grade GPU technology. Mid-week during the Open Compute Project in Santa Clara, it showed off the new blue prints of an accelerator it had developed with Microsoft for the cloud. This new accelerator, dubbed the HGX-1, is an open source product based on Tesla P100 series, conceived under the Microsoft Olympus project. This revelation followed another announcement Nvidia made on Monday that it had struck a deal with Fujitsu to assist in building an artificial intelligence super computer using their 24 DGX-1 servers. Facebook also took this chance to introduce Big Basin, a new server which also utilizes Nvidia’s P100s accelerator.
Read more…

urlencodeでUnicodeEncodeErrorがでるときの原因と対処方法

事象

以下のような辞書に格納されたデータ

person_j1 = {“name”: u”山田 太郎”, “gender”: “male”, “age”: 18}

を次のようにurlエンコードした場合があります。

‘gender=male&age=18&name=%E5%B1%B1%E7%94%B0+%E5%A4%AA%E9%83%8E’

このときにurllibのurlencodeを使用すると次のようなエラーが発生する場合があります。

UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 0-1: ordinal not in range(128)

原因

“name”: u”山田 太郎”のようにunicode文字列が含まれているとエラーになります。

実際の例

 
import urllib

person_e = {"name": "Taro Yamada", "gender": "male", "age": 18}
person_j1 = {"name": u"山田 太郎", "gender": "male", "age": 18}      #nameがunicode
person_j2 = {"name": "山田 太郎", "gender": "male", "age": 18}        #nameが文字列

urllib.urlencode(person_e)   #OK
urllib.urlencode(person_j1)  #NG
urllib.urlencode(person_j2)  #OK
 
 

以下のようにエラーになります。


UnicodeEncodeErrorTraceback (most recent call last)
<ipython-input-38-d6c34797cf92> in <module>()
      6 
      7 urllib.urlencode(person_e)   #OK
----> 8 urllib.urlencode(person_j1)  #NG
      9 urllib.urlencode(person_j2)  #OK
     10 

C:\Anaconda2\lib\urllib.pyc in urlencode(query, doseq)
   1341         for k, v in query:
   1342             k = quote_plus(str(k))
-> 1343             v = quote_plus(str(v))
   1344             l.append(k + '=' + v)
   1345     else:

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

対処方法

unicode文字列だけ’utf-8’だけエンコードしてやります
数字に対しては.encode(‘utf-8’)できないので、unicode文字列だけencodeしてあげるのがポイントです。

 
 
 

import urllib

person_j1 = {"name": u"山田 太郎", "gender": "male", "age": 18}

person_j1 = dict([k, v.encode('utf-8') if isinstance(v, unicode) else v] for k, v in person_j1.items())
urllib.urlencode(person_j1)  #OK



 
 
 

Pythonでディープラーニングを始めるなら以下の本がおすすめです。

アマゾンならこちら

楽天ならこちら