

說完這句萬能通用的應答之后,小編愉快的回到了家中。看著窗外的星光,想到了自己寥寥的工資。突然一個激靈想到,為什么現在到處都是大數據大數據,大數據到底是個什么東西啊?
小編順勢拿起了手機,在某直聘網站上搜了一下關鍵詞“大數據”,我勒個親娘了,這個東西為什么這么高工資啊!!!
接下來就是小編給大家總結的大數據。
可以說,大數據跟在廚房做菜是一樣一樣的。我現在給大家講一個故事,來解釋這一下。
有一天,小明的爸爸吩咐小明說,家里馬上要來客人,讓小明準備兩道拿手菜。小明得到了這個通知后開始著手籌劃,他將做菜這個任務分解為買菜、洗菜擇菜、制定菜單、炒菜。
終于,飯菜都做好了,并且得到了客人的夸贊。后來小明家開起了餐館,他們換了更大的廚房,雇了一些員工,起了很多個爐灶一起炒菜。
他們能承擔的酒席也由開始的一桌菜,到現在可以承擔10桌客人用餐。小明還說,就算之后來再多的客人,我也可以再承包一個廚房,也能夠接待的過來。后小明家餐館的生意也越來越紅火了。
看到這,想要取關的同學們趕緊回來,干貨時間來了。
上面這個故事咋一看像小學生作文在記流水賬,但實際上這個故事已經說明白了大數據所處理的大部分的問題。咱們一起來看看。
首先小明的爸爸吩咐小明說,家里要來客人,需要做幾道拿手菜。這個過程是大數據開發過程的需求立項階段,大多數的產品開發都是根據需求來細化開發過程。
現在已經有了需求,小明將需求進行了分解和細化,提出了完成這幾道拿手菜需要進行的幾個步驟,買菜、洗菜擇菜、制定菜單、炒菜。這幾個步驟在大數據開發流程中可以稱為:數據采集、數據清洗、數據分析/數據建模、數據加工/數據應用。
數據采集顧名思義,跟炒菜一樣,巧婦難為無米之炊,需要做幾道好菜,首先得有原材料。那么數據采集就是買菜的過程。
數據清洗同樣對應著洗菜擇菜,也就是把一些臟了的數據剔除。
數據分析/數據建模可以看成是制定菜單的環節,模型就相當于一個菜單,菜單上有每道菜的做法,我們將洗好的菜按照菜單上的做法就可以做出好吃的菜啦。模型可以看成是每道菜的做法,它讓數據能真正變得有實際利用的價值,它能真正的去挖掘數據中更深層的意義。
后炒菜過程實際就是數據的加工和應用了,終通過模型得出來的數據,我們可以在很多地方應用,比如用來做個性化推薦、通過數據可視化制作數據分析圖表、使用數據模型來預測事件等等。
大數據開發流程已經說明白了,有同學可能會問,你這些開發流程我可以在很多很小的場景使用也是一樣,為什么偏偏要強調是大數據開發呢?這位同學別急,等我慢慢來說完這整個故事。
咱接著說故事,制定完這些計劃,開始都是小明一個人完成,也完成的比較好。這種場景也就對應我們開始使用單機進行數據開發的情形,通過這種開發流程確實也可以應對大多數的問題,但后來問題就來了。
小明家后來開了餐館,由于生意太好,他發現靠他的雙手無法做這么多菜,無法來接待大量的客人,所以他重新裝修了廚房,洗菜的水池擴充、爐灶擴充、增加買菜炒菜的人手。
這也對應著數據開發的場景,一開始數據量不大時,用單機進行處理可以從容應對,當用戶量增加,數據量增加后,單機數據處理的瓶頸也來了,這么多數據采集不過來、清洗不過來、分析不過來。
所以大數據技術應運而生,大數據技術的核心說白了就是可以處理大量的數據,而一般的做法就是將大數據“廚房”中的設備增加,比如水池、爐灶、增加人手等。
故事說到后,小編也被說餓了,同學們先在廚房里呆會兒,想明白大數據是怎么回事兒再走吧。小編去吃肉啦,拜拜!