Fw: [問題] 想走Big Data的選系困擾

看板Soft_Job (軟體人)作者TonyQ (心存善念盡力而為)時間11年前 (2015/02/10 06:49)推噓27(27推 0噓 5→)

留言32則, 27人參與討論串1/1

※ [本文轉錄自 studyabroad 看板 #1KsDZyDQ ] 作者: dryman (dryman) 看板: studyabroad 標題: Re: [問題] 想走Big Data的選系困擾時間: Mon Feb 9 23:57:46 2015 我現在也是在big data業界工作(OpenX)處理的是廣告實時競價去除重複資料後，一分鐘的資料量也有25GB 先講兩個結論： 1. CS 是最接近的科系，但也有很多東西是CS沒有教，你要自己學的這其實不意外。例如，怎麼把程式寫到production level 在業界明明就是非常需要的能力，但沒什麼研究價值 2. Process data in large scale != data science * * * 很多人以為big data就是要做大型數據分析不過如果你沒有一個能靠數據吃飯的business model，你連資料都養不起 OpenX的資料量還不算是非常大的，但也是要700台來裝這些數據資料甚至還不能留太久我們的主要業務不是在分析數據，而是將數據處理成報表，才能跟客戶收錢這種資料工程師要做的事情可以簡化成三件事： 1. 去除無效或重複資料 2. 將相關的資料join 3. join好的資料非常大，類似傳統資料庫的hyper cube 從這樣的資料再去切出各種角度的報表英文比較好表達這個：aggregation 把這三件事做到好，才是一家公司有辦法養大數據的基礎很不幸的，沒有學校會想要教你這些，因為這實在是沒有學術價值啊 * * * 資料工程要做的三件事雖然目標簡單，但要做到large scale一點也不直觀雖然現在hadoop ecosystem上層工具很多，但我建議還是要能做到map-reduce API的程度這裡面最困難的還是去除無效資料如何篩選相關資料，然後送進同一台機器兩兩比對是否重複或無效這種邏輯不直接寫到Map-Reduce API我還真無法想像該怎麼寫另外跟金錢相關的資料，常常需要在currency間轉換 currency的轉換要留到最後一步做，太早變成浮點數，數據會在數次aggregation後失真這種我們需要客製的資料結構來存，用上層工具（hive/pig）來做也是相當困難這些東西該怎麼學？我是自己學的買一本hadoop definitive guide，全本讀完書裡面很多東西沒涵蓋到，就把API先瀏覽過一遍，才會發現很多有用的小工具到最後就是在source code裡面挖東西了我在寫自己的input/output format時，就是從它的source code裡面找靈感學習過程也不是學完再做東西，都是一邊學一邊做可以先從最簡單的目標開始寫： 1. 如何寫一個select count(1) from... group by xxx 進階一點select sum, avg, ... from ... group by xxx 2. 如何寫one-to-many join, many-to-many join 3. 如何寫「去除一分鐘內的重複資料」的map-reduce job * * * 以上是比較基礎的資料工程師要做的工作更進階的會需要更多深入的資料結構及演算法題目也會變得更靈活例如，比起sort全部的資料，只找最高的一百個用map-reduce加上自訂的資料結構效能可以比原本快非常多倍或是如果你只在乎一個query最後會產生多少行，而且只在乎大略的數字那你可以使用hyperloglog的演算法來做又或是你如果想預先知道一個query會不會data skew 可以使用count min sketch 我自己的工作幾乎沒有資料分析但需要很多技巧來將資料處理的演算法變得scalable 這也是big data工作的一種型態，我個人覺得應該是比資料分析還缺人啦至少就我們公司來說，有太多PhD來應徵data science，而合格的data engineer 幾乎找不到... -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 108.205.154.164 ※ 文章網址: https://www.ptt.cc/bbs/studyabroad/M.1423497468.A.35A.html

推

leo80042

02/10 00:00, , 1^F

02/10 00:00, 1^F

推

shenerica

02/10 00:13, , 2^F

02/10 00:13, 2^F

推

Tyrannus

02/10 00:13, , 3^F

02/10 00:13, 3^F