有一款數據處理軟件，正式版才公開1年的時間，就已經被“Uber”、“Airbnb”等備受關注的新興企業以及豐田等大型企業采用，美國IBM將其稱為“今后10年內數據領域最重要的開源軟件（OSS）”，并開始為相關項目投入3500名研發人員。這款軟件就是“Spark”。
2015年6月15～17日（美國時間），用戶大會“2015年Spark峰會 ”在舊金山市舉行，參會用戶達到了2000名（照片1）。
照片1：“2015年Spark峰會”吸引了2000人參加
在本屆大會上，出租車配車服務商Uber Technologies、將民宅作為賓館出租的Airbnb、豐田的美國法人、百度以及美國中央情報局（CIA）等紛紛介紹了Spark的應用實例。IBM也配合該大會的舉辦，宣布為Spark相關項目投入3500名研發人員。
Spark是美國加利福尼亞大學伯克利分校開始開發的OSS，目前由該校研究人員創辦的初創企業Databricks主導開發。其正式版“Spark 1.0”剛剛于1年前，也就是2014年5月公開。
盡管如此，Spark仍開始被視為繼大數據處理常用軟件“Hadoop”之后的大數據處理新主角。為何Spark會受到如此高的關注呢？下面就根據用戶在2015年Spark峰會上公開的相關內容，介紹一下Spark的現狀。
Spark是通過讓數十～數百臺PC服務器聯動來實現大數據高速處理的“分布數據處理軟件”。只需增加PC服務器數量即可提高處理性能，因此無需使用昂貴的大型服務器，就能以較低的成本進行大數據處理。
豐田利用Spark提高“機器學習”速度
照片2：豐田美國的數據科學家Brian Kursar
Spark與Hadoop同為分布數據處理軟件。Spark的不同之處在于能夠高速處理Hadoop不擅長的“機器學習”。在Spark峰會上發表演講的豐田美國公司（豐田的美國法人，Toyota USA）數據科學家Brian Kursar表示，“通過使用Spark，可以使以前需要花費36小時的機器學習處理時間縮短至9分鐘”（照片2）。
電池網微信
