馬上加入Android 台灣中文網，立即免費下載應用遊戲。
您需要 登錄 才可以下載或查看，沒有帳號？註冊
x
NEC宣稱新的巨量資料高速分析技術，可讓Hadoop平臺處理速度提升為目前的10倍以上，原本分析需費時一週的巨量資料，套用此技術後不到一天就能完成。
日本NEC週二（10/8）發表巨量資料高速分析技術，可解決目前普遍利用Hadoop開放源碼平臺分析巨量資料時，所需耗費時間較長的問題，宣稱處理速度約可提升10倍。
用Hadoop平臺分析巨量資料時，一般規模的資料量至少要花一週以上的時間才能得到最終分析結果，導致企業無法立刻進行各項決策，例如利用消費者購物習慣決定商品定價、預估商品需求等，如此等於損失了當下可能產生的商機。
Hadoop是一種透過機械學習方式來分析巨量資料的平臺，因此十分仰賴重複演算與矩陣演算。重複演算方面，NEC把過去利用MapReduce分散運算資料時必須經由硬碟的方式，改由記憶體來處理，就能提升重複演算的效率。另外，使用矩陣演算法就必須組合許多個MapReduce，運算資料時與伺服器之間的通訊就變得很沒效率，所以改由另一種分散運算法－－訊息傳遞介面（MPI，Message Passing Interface）來取代。透過整合運用以上兩種方式，Hadoop平臺處理速度可提升為目前的10倍以上，原本分析需費時一週的巨量資料，套用此技術後不到一天就能完成。
由於Hadoop平臺在伺服器故障時，仍可透過輸入至硬碟的資料繼續處理在故障伺服器上執行的運算分析工作，穩定性很高，但改用高速化新技術後，MapReduce輸入的資料就改輸入至記憶體上，這代表伺服器一旦故障，資料就會消失，因此NEC研發了能定時將記憶體上的資料運算狀態高速轉存到硬碟的技術。
以往若要保存資料運算狀態，就必須將程式使用到的所有記憶體內容一起保存，但這個高速轉存技術可以只選擇繼續處理資料時所需用到的部分，大幅減少保存的資料容量，並保有高速保存的特性。運用本技術定時將資料運算狀態轉存到硬碟，伺服器故障時就能將保存在硬碟的資料運算狀態交由記憶體讀取繼續處理。
本次研究成果已於10/8在美國加州舉辦的國際學會IEEE International Conference on Big Data 2013中展出。（編譯/張嵐霆）
來源 ithome
====================================================
缺積分?? 缺碎鑽?? 缺鑽石?? 缺權限?? ...還是什麼都缺嗎?
可以參考以下兩篇 :
1. 共襄盛挙:結縁*随縁*感恩*惜福 APK.TW送給您*伴手禮*/
2. 新會員必讀 ~升級密技~ 鑽石-任務-積分-權限-簽到-搜尋-發文
====================================================
歡迎大家踴躍加入 群組 內的 "九局棒棒歡樂新天地"/"香蕉卯上芭樂"和"韓流瘋"及" 爆爆遊樂園"不定期會有些小活動...歡迎踴躍參與...
====================================================
【其它小分享 福利帖】
(第351波大放送) : 人人回帖有獎勵
(第350波大放送) : 人人回帖有獎勵
(第349波大放送) : 人人回帖有獎勵
(第348波大放送) : 人人回帖有獎勵
(第347波大放送) : 人人回帖有獎勵
<如須查詢更多相關內容,請自行爬文>
★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★
★ **以上報告完畢** ★
★ 如果可以的話,幫我評個分數或是送一多花給我^^ ★
★ 您的評分與鮮花,是我下次再發帖的原動力 ★
★ 謝謝~ ★
★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★
====================================================
2013/10/10 By 游幃翔
|
鑽石
碎鑽
金豆
收藏
分享
專題
提升卡
變色卡
排首位