Re: [請益] MapReduce coding 經驗

看板Soft_Job (軟體人)作者YunJonWei (楊宗緯)時間12年前 (2013/10/09 20:23)推噓2(2推 0噓 8→)

留言10則, 3人參與討論串2/2 (看更多)

※ 引述《guest2 (wayne)》之銘言： : 版上的各位大大你好，因為實驗室研究的關係想跟各位請教一些問題 : 1. 各位會用Map Reduce的方法寫怎樣的應用呢? : 2. 各位寫Map Redue的code的時候有出現過bug嗎?有的話是怎樣的bug呢? : 實驗室想做Map Reduce程式的驗證，為此我們想要知道各位會在怎樣的應用上 : 使用Map Reduce的方法，有遭遇到怎樣的bug。我們需要知道大家coding上容易 : 出現怎樣的bug，我們才有辦法產生相對應的abstract model，因為目前看到的 : 課本上的應用都比較簡單一些，比較難想像過程中需要考量的問題。不知版上的 : 大家能不能分享一下coding的經驗，謝謝大家。其實 MapReduce 藏了很多舊東西，換個方式包裝與標準化而已。 Hadoop也僅是把 MapReduce 實作出來的 "其中一套" 系統。我建議你不要被 MapReduce這個詞迷惑，他就是分散式資料處理的一種方式而已。所以你的問題可以簡化成： 1. 分散式資料處理有什麼樣的應用? 加快處理速度、處理單台電腦無法負荷的計算量。什麼領域都用得到(多媒體、影像、廣告點選、各種系統紀錄檔...) 2. 分散式資料處理有什麼樣的 Bug? atomic 運算導致資料不一致、工作之間互鎖、資料漏分析、有時序的資料因傳輸過程時序不一，導致資料漏分析、.. 工作分派不均，導致效能差演算法設計錯誤導致分析效率極差程式寫錯，導致效能極好，但結果是錯誤的。 MapReduce 出現後，解決的都是舊問題，而且不用MapReduce，用舊的分散式系統原則都可以解建議你如果只是學校畢業要用，抄一抄傳統分散式系統的東西就可以了。 ※ 編輯: YunJonWei 來自: 122.146.69.104 (10/09 20:24)