錚/
巨匠電腦密技:想挖出 Big Data 的秘密,這 10 個程式語言你不能不懂。
隨著 Big Data 熱潮持續延燒,幾乎每個產業都有如洪水般傾瀉的資訊,面對上萬筆的顧客瀏覽紀錄、購買行為資料,如果要用 Excel 來進行資料處理真是太不切實際了,Excel 相較於其他統計軟體的功能已相去甚遠;但如果只會操作統計軟體而不會用邏輯分析 Data 背後的涵義與事實現況相應證的話,那也不過只能做資料處理,替代性很高的工作,而無法深入規劃策略的核心。
當然,基本功是最不可忽略的環節,想要成為資料科學家,對於這幾個程式你應該要有一定的認識:
若要列出所有程式語言,你能忘記其他的沒關係,但最不能忘的就是 R。從 1997 年悄悄地出現,最大的優勢就是它免費,為昂貴的統計軟體像是 Matlab 或 SAS 的另一種選擇。
但是在過去幾年來,它的身價大翻轉,變成了資料科學界眼中的寶。不只是木訥的統計學家熟知它,包括 Wall Street 交易員、生物學家,以及矽谷開發者,他們都相當熟悉 R。多元化的公司像是 Google、Facebook、美國銀行以及 New York Times 通通都使用 R,它的商業效用持續提高。
R 的好處在於它簡單易上手,透過 R,你可以從複雜的資料集中篩選你要的資料,從複雜的模型函數中操作資料,建立井然有序的圖表來呈現數字,這些都只需要幾行程式碼就可以了,打個比方,它就像是好動版本的 Excel。
R 最棒的資產就是活躍的動態系統,R 社群持續地增加新的軟件包,還有以內建豐富的功能集為特點。目前估計已有超過 200 萬人使用 R,最近的調查顯示,R 在資料科學界裡,到目前為止最受歡迎的語言,佔了回覆者的 61%(緊追在後的是 39% 的 Python)。
它也吸引了 Wall Street 的注目。傳統而言,證券分析師在 Excel 檔從白天看到晚上,但現在 R 在財務建模的使用率逐漸增加,特別是視覺化工具,美國銀行的副總裁 Niall O’Conno 說,「R 讓我們俗氣的表格變得突出」。
在資料建模上,它正在往逐漸成熟的專業語言邁進,雖然 R 仍受限於當公司需要製造大規模的產品時,而有的人說他被其他語言篡奪地位了。
「R 更有用的是在畫圖,而不是建模。」頂尖數據分析公司 Metamarkets 的 CEO,Michael Driscoll 表示,「你不會在 Google 的網頁排名核心或是 Facebook 的朋友們推薦演算法時看到 R 的蹤影,工程師會在 R 裡建立一個原型,然後再到 Java 或 Python 裡寫模型語法」。
舉一個使用 R 很有名的例子,在 2010 年時,Paul Butler 用 R 來建立 Facebook 的世界地圖,證明了這個語言有多豐富多強大的視覺化資料能力,雖然他現在比以前更少使用 R 了。
「R 已經逐漸過時了,在龐大的資料集底下它跑的慢又笨重」Butler 說。
所以接下來他用什麼呢?
如果說 R 是神經質又令人喜愛的 Geek,那 Python 就是隨和又好相處的女生。
Python 結合了 R 的快速、處理複雜資料採礦的能力以及更務實的語言等各個特質,迅速地成為主流,Python 比起 R,學起來更加簡單也更直觀,而且它的生態系統近幾年來不可思議地快速成長,在統計分析上比起 R 功能更強。
Butler 說,「過去兩年間,從 R 到 Python 地顯著改變,就像是一個巨人不斷地推動向前進」。
在資料處理範疇內,通常在規模與複雜之間要有個取捨,而 Python 以折衷的姿態出現。IPython Notebook(記事本軟體)和 NumPy 被用來暫時存取較低負擔的工作量,然而 Python 對於中等規模的資料處理是相當好的工具;Python 擁有豐富的資料族,提供大量的工具包和統計特徵。
美國銀行用 Python 來建立新產品和在銀行的基礎建設介面,同時也處理財務資料,「Python 是更廣泛又相當有彈性,所以大家會對它趨之若鶩。」O’Donnell 如是說。
然而,雖然它的優點能夠彌補 R 的缺點,它仍然不是最高效能的語言,偶爾才能處理龐大規模、核心的基礎建設。Driscoll 是這麼認為的。
今日大多數的資料科學都是透過 R、Python、Java、Matlab 及 SAS 為主,但仍然存在著鴻溝要去彌補,而這個時候,新進者 Julia 看到了這個痛點。
Julia 仍太過於神秘而尚未被業界廣泛的採用,但是當談到它的潛力足以搶奪 R 和 Python 的寶座時,資料駭客也難以解釋。原因在於 Julia 是個高階、不可思議的快速和善於表達的語言,比起 R 要快的許多,比起 Python 又有潛力處理更具規模的資料,也很容易上手。
「Julia 會變的日漸重要,最終,在 R 和 Python 可以做的事情在 Julia 也可以」。Butler 是這麼認為的。
就現在而言,若要說 Julia 發展會倒退的原因,大概就是它太年輕了。Julia 的資料社區還在初始階段,在它要能夠和 R 或 Python 競爭前,它還需要更多的工具包和軟件包。
Driscoll 說,它就是因為它年輕,才會有可能變成主流又有前景。
Driscoll 說,Java 和以 Java 為基礎的架構,是由矽谷裡最大的幾家科技公司的核心所建立的,如果你從 Twitter、Linkedin 或是 Facebook 裡觀察,你會發現 Java 對於所有資料工程基礎架構而言,是非常基礎的語言。
Java 沒有和 R 和 Python 一樣好的視覺化功能,它也不是統計建模的最佳工具,但是如果你需要建立一個龐大的系統、使用過去的原型,那 Java 通常會是你最基的選擇。
為了迎合大量資料處理的需求,以 Java 為基礎的工具群興起。Hadoop 為處理一批批資料處理,發展以 Java 為基礎的架構關鍵;相較於其他處理工具,Hadoop 慢許多,但是無比的準確和可被後端資料庫分析廣泛使用。和 Hive 搭配的很好,Hive 是基於查詢的架構下,運作的相當好。
又是另一個以 Java 為基礎的語言,和 Java 很像,對任何想要進行大規模的機械學習或是建立高階的演算法,Scala 會是逐漸興起的工具。它是善於呈現且擁有建立可靠系統的能力。
「Java 像是用鋼鐵建造的;Scala 則是讓你能夠把它拿進窯烤然後變成鋼的黏土」Driscoll 說。
說到當你需要快速的、實時的分析時,你會想到什麼?Kafka 將會是你的最佳夥伴。其實它已經出現五年有了,只是因為最近串流處理興起才變的越來越流行。
Kafka 是從 Linkedin 內誕生的,是一個特別快速的查詢訊息系統。Kafka 的缺點呢?就是它太快了,因此在實時操作時它會犯錯,有時候會漏掉東西。
魚與熊掌不可兼得,「必須要在準確度跟速度之間做一個選擇」,Driscoll 說。所以全部在矽谷的科技大公司都利用兩個管道:用 Kafka 或 Storm 處理實時數據,接下來打開 Hadoop 處理一批批處理資料系統,這樣聽起來有點麻煩又會有些慢,但好處是,它非常非常精準。
Storm 是另一個從 Scala 寫出來的架構,在矽谷逐漸大幅增加它在串流處理的受歡迎程度,被 Twitter 併購,這並不意外,因為 Twitter 對快速事件處理有極大的興趣。
Matlab 可以說是歷久不衰,即使它標價很高;在非常特定的利基市場它使用的相當廣泛,包括密集的研究機器學習、信號處理、圖像辨識等等。
Octave 和 Matlab 很像,除了它是免費的之外。然而,在學術信號處理的圈子,幾乎都會提到它。
GO 是另一個逐漸興起的新進者,從 Google 開發出來的,放寬點說,它是從 C 語言來的,並且在建立強大的基礎架構上,漸漸地成為 Java 和 Python 的競爭者。
這麼多的軟體可以使用,但我認為不見得每個都一定要會才行,知道你的目標和方向是什麼,就選定一個最適合的工具使用吧!可以幫助你提升效率又達到精準的結果。
巨匠電腦也設計了程式/資料庫的課程,除了教你程式設計、Big Data實務分析與應用,另外也有Java OCP JP程式設計認證等等,快來巨匠電腦輕鬆學輕鬆會!
文章與圖片出處: http://goo.gl/ZuEB9w
【程式/資料庫課程】Big Data的應用你瞭解了嗎?巨匠電腦告訴你
【程式/資料庫課程】巨匠電腦分享,「大數據分析」人才為什麼這麼搶手?
【程式/資料庫課程】巨匠電腦密技:9個必殺絕技殺進Big Data市場
【程式/資料庫課程】巨匠電腦分享,職場新寵兒!大企業爭搶「數據分析師」