大數據剛剛興起的時候,只要懂一點Hadoop,就能寫一點HQL,就能找到工作,不過現在僅憑一項技能是沒有機會找到大數據工作的了,需要系統的學習掌握技術才可能找到工作。
數據開發的平臺化比較成熟。普通開發者已經可以在沒有專業數據開發者介入的情況下完成大部分的大數據開發,因此依靠單一的簡單技能已經不再流行。而且大數據行業的門檻在提高,對數據開發者的要求也變得更高。
當然,這并不意味著我們不能入行大數據。相反,我們能夠學會系統的大數據技術反而能夠更好的找到工作,拿到滿意的工資待遇。很多朋友在談到數據挖掘和大數據的時候,都會不由自主的想到機器學習算法。其實大部分數據崗位都不需要這么高深的知識。但是如果你掌握了技能樹更多的內容,或許就能更強的控制你的數據上下游,或許就能晉級下一階段。數據挖掘的技能樹無論是橫向還是縱向都很深,并不適合普通人,因為深度學習真的很難,需要機器學習、深度學習、概率論、線性代數、智能優化方法、各種分布式和一致性算法、各種資源調度理論等很深的數學知識。
從數據的產生到使用,基本的環節就是:采集-清洗-加工-分析-決策。在這個環節上,前后需要的技能是不一樣的。一般來說,后端門檻越高,復雜度越高。
數據開發的崗位縱向可以分為數據采集工程師-ETL工程師-數據倉庫工程師-算法工程師-數據分析師。橫向上還可以有大數據運維工程師、大數據平臺開發工程師、數據治理架構師、數據服務架構師、大數據系統架構師、大數據框架開發工程師等崗位。