用Python編程如何進行處理大數據?處理技巧有哪些

　　python被稱之為膠水語言，應用非常廣泛，很多人可能都不知道Python編程也可以處理大數據，那么用Python編程如何進行處理大數據?處理技巧有哪些是北大青鳥的老師今天要給你解答的疑問。
 

　　1.文本處理效率

　　這里舉例ascii定長文件,因為這個也并不是分隔符文件，所以打算采用列表操作實現數據分割。但是問題是處理20w條數據，時間急劇上升到12s。本以為是byte.decode增加了時間。遂去除decode全程bytes處理。但是發(fā)現效率還是很差。后用簡單方式測試，首次運行，簡單方式也要7.5秒100w次。
 

　　2.大文件讀取效率

　　面對100w行的大數據，在測試了各種文件讀取方法之后，我們得出以下結論：方式快，100w行全遍歷2.7秒。基本上滿足了大中型文件處理效率的需求。 如果將rb更改為r，則速度要慢6倍。 但是用這種方式處理文件，fLine是字節(jié)類型的。 但是python編程本身會斷行，并且仍然可以以行為單位處理讀取的內容。
 

 

　　3.python處理技巧

　　(1)對于字典

　　多使用iteritems()少使用items()，iteritems()返回迭代器：字典的items函數返回的是鍵值對的元組的列表,而iteritems使用的是鍵值對的generator，items當使用時會調用整個列表 iteritems當使用時只會調用值。
 

　　(2)列表處理

　　def fun(x):盡量選擇集合、字典數據類型，千萬不要選擇列表，列表的查詢速度會超級慢，同樣的，在已經使用集合或字典的情況下，不要再轉化成列表進行操作
 

　　(3)文件屬性

　　如果遇到某個文件，其中有屬性相同的，但又不能進行去重操作，沒有辦法使用集合或字典時，可以增加屬性，比如將原數據重新映射出一列計數屬性，讓每一條屬性具有唯一性，從而可以用字典或集合處理

 

　　(4)實用模塊

　　Python編程數據統(tǒng)計分析技術，今后會在測試結果分析中用到，程序自動觸發(fā)技術，可用于測試腳本程序的自動執(zhí)行，讀寫文件技術，今后會用到測試數據的參數化和測試報告寫作功能中，圖表展示技術，在今后的測試框架中相關測試報告會用到，數據處理技術，今后測試腳本的測試數據處理過程可以用到。

 

　　以上的內容對于小白同學看的可能還是很不明白，不過沒有關系，對于你不明白地方可以咨詢北大青鳥校區(qū)的客服，我們很樂意為您解答疑問。