錚／科技日新月異，大數據被越來越多人應用，而要在這個大數據時代中求生存，巨匠電腦分享你一定要學的關於大數據的九個必殺技。
拜網路普及與科技進步之賜，大數據（Big Data）的熱潮越燒越烈，許多處理資料分析與管理的技術因應而出，迎來了巨量資料的時代。要能在這大數據市場中殺出一條血路，以下這 9 個必殺絕技你一定要學起來。
1) Apache Hadoop 黃色小象幫手
在上一篇文章《認識大數據的黃色小象幫手 –– Hadoop》裡介紹了 Hadoop 的兩大核心功能 —— 儲存（Store）及處理（Process）資料所用到的分散式檔案系統 HDFS 跟 MapReduce 平行運算架構。
基於 Hadoop 處理巨量資料的種種優勢，像是解決了檔案存放、系統擴張、資料處理及備份等問題，因此 Hadoop 被廣泛應用於大數據儲存和大數據分析，成為大數據的主流技術。
在近幾年內，叢集運算（clusters）在商用性與非商用性的領域也越來越普遍且應用的相當廣泛，2014 年無庸置疑成為了 Hadoop 的豐收年，對於 Hadoop 生態系例如 Flume, Oozie, Hive, Pig, HBase, YARN 等技能的市場需求也逐漸提高。
2) 大數據黑馬：Apache Spark
如果 Hadoop 是大數據市場裡的老大哥，那 Spark 則是具有超凡潛力的一匹黑馬！
Spark 是一個用途廣泛的叢集運算引擎，簡單來說就是一個能讓原本使用 Hadoop 來處理及分析資料的系統快 10 到 100 倍的好工具。
由於 Hadoop 分析資料時需要將中間產生的數據存在硬碟中，因此會有讀寫資料的延遲問題；有別於 Hadoop 的 MapReduce 架構，Spark 使用了「記憶體內運算技術（In-Memory Computing）」，能在資料尚未寫入硬碟時，就在記憶體內進行分析運算，號稱比原先的 Hadoop 快 100 倍。
去年在資料排序基準競賽（Sort Benchmark Competition）中，Spark 用 23 分鐘完成 100 TB 的資料排序，刷新了原本由 Hadoop 保持的 72 分鐘世界記錄。
3) 不只是 SQL：NoSQL
最近幾年網路上的資料量開始快速大量成長、資料量與日遽增，為了解決資料庫在進行大量資料存取時，所衍生出效能、擴充、維護等問題，近年來業界紛紛捨棄了以結構化查詢語言（SQL）為基礎的關聯式資料庫管理系統（RDBMS），改以 NoSQL 資料庫來提升效能與擴充彈性。
NoSQL 最早是指「No SQL」，號稱不使用 SQL 作為查詢語言的資料庫系統。但近來則普遍將 NoSQL 視為「Not Only SQL」，也就是「不只是 SQL」的意思，希望結合 SQL 優點並混用關聯式資料庫和 NoSQL 資料庫來達成最佳的儲存效果。
在巨量資料所帶動的潮流下，各種不同形態的NoSQL資料庫如雨後春筍般竄起，其中 MongoDB 是眾多 NoSQL 資料庫軟體中較為人熟知的一種。
4) 機器學習與資料探勘超夯！
在巨量資料中如何摸索出資料所要表達的意涵、提煉出「數據精華」是非常重要的課題，於是「機器學習（Machine Learning）」與「資料探勘（Data Mining）」成為了大數據時代中的重點領域。
機器學習可以從過去收集的資料與經驗中，萃取出感興趣的部份，構造出模型（Model）和規律（Pattern）當作我們參考的基準，對未來進行預測。應用機器學習的方法處理大量資料庫的數據則稱為「資料探勘」（Data Mining），顧名思義，就好比在地球上從一堆粗糙的石頭中進行地物探勘、尋找有價值的礦脈，資料探勘就是從巨量資料中提取出未知的、有價值的潛在資訊。
機器學習跟資料探勘到底有多夯？LinkedIn 之前發表的 2014 年「最熱門工作技能」排行榜，資料探勘（Data mining）榮登排行榜第一名這樣夯。
5) 統計及量化分析
大數據時代，統計與資料分析是根本中的根本，數學跟統計學則是基礎中的基礎。數據專家（Data Scientist）或量化分析師 （Quantitative Analyst）的專業包含了統計學、電腦科學和數學，過去這些人才都搶著要進華爾街工作，但多虧了 Big Data 帶來的風潮，現在各行各業都在尋找擁有量化分析、統計學背景的工程師、數據專家。
如果數學是你的拿手強項，基本上你已經贏在起跑點了，接下來再學習市面上的一些資料分析軟體及程式語言，像是 R、SAS、Matlab、SPSS、Stata 等，具備了以上技能，相信要進大數據一行不成問題。
6) 結構化查詢語言 SQL
結構化查詢語言（Structured Query Language），簡稱 SQL，是專門用於關連式資料庫的一種查詢語言，可以用來定義資料庫結構、建立表格、指定欄位型態與長度，也能新增、異動或查詢資料。簡單來說，SQL 是一種用來從資料庫讀取與儲存資料的電腦語言。
SQL 歷經了四十多年的考驗仍然在蓬勃發展，雖然 NoSQL （上述第三點）的出現帶來了一些影響，但 SQL 仍然主導着市場，並在大數據領域贏得了很多投資與廣泛部屬。像是 Cloudera 推出了即時查詢開源工具 Impala –– 一款用來跑在 Hadoop 架構上的互動 SQL 查詢引擎，在這些工具發展下 SQL 在大數據領域中更是歷久不衰。
7) 看圖說故事：資料視覺化
大數據的重要性與日俱增，不少企業如電子商務、零售業及半導體製造業等，開始廣泛運用巨量資料為公司擬定企業策略，不過並不是人人都是數據專家、資料科學家，如果要讓主管跟客戶們清楚了解資料背後的意義，那倒不如讓他們「一目了然」。
資料視覺化（Data Visualization）是關於數據之視覺表現形式的研究，資料視覺化的技術可以幫助不同背景的工程人員溝通、理解，以達良好的設計與分析結果。市面上已經有許多工具、軟體為人們提供這方面的需求，像是Tableau、QlikView 等工具就擁有絕佳的視覺化呈現效果，可以不限資料量、資料形式或主題，透過圖像化和便捷的操作介面製作出客製化報表，無需撰寫程式就能得到分析結果。
8) 基本程式開發能力
市場分析機構 Wanted Analytics 公佈的數據中，具有數據分析背景的電腦程式開發人員職位正在逐年增加中，2014 年最後四個月就增加了 2000 個相關的新職缺，比起 2013 年同期多出了 337%！
因此，基本程式開發能力也是在這大數據市場中生存的必要條件之一，在資料科學界裡，Java、C、Python、Scala 都是十分受歡迎的程式語言。
9) 創造力和問題解決能力
巨量資料的型態及發展會不斷的演化，無論你的程式開發能力有多好、精通多少項資料分析工具，要在大數據時代中活得好、長得壯，創造力（Creativity）和解決問題能力（Problem Solving）的重要性不可忽視，更是以上提到的工具跟技術都無法取代的必殺技！
巨匠電腦掌握了大數據的趨勢，設計了程式/資料庫的課程，除了九個必殺技外，還有基本大數據的分析與操作，來巨匠電腦能讓你更快學會大數據，掌握時代趨勢！
