广东十一选五微信代理:TSDB的數據如何利用Hadoop/spark集群做數據分析?

來源:广东十一选五胆码推荐 2018-03-13

    物聯網場景已經成為各行業巨頭和各互聯網公司的兵家必爭之地,百度云天工TSDB對物聯網場景下時序數據表現除了優秀的存儲和查詢能力,已經成為物聯網應用的標配,支撐著智能制造、工業能源、智能車聯網、智能家居、智慧城市等多個行業應用。TSDB正在助力企業擁抱物聯網時代的到來。
    眾所周知,百度云TSDB在讀取、寫入和查詢數據上的性能一直表現優異。
支持每秒百萬級數據點的寫入,可線性擴展
查詢1億個數據點聚合值的響應時間小于1秒
提供優于傳統數據庫的壓縮能力,大大節約存儲空間
彈性、按需的海量數據存儲能力,成本更低。
 
我們都清楚,僅有提供海量的數據存儲、極速的查詢能力還不足以支撐不停發展的物聯網行業應用。存儲的海量數據如何產生價值為業主所用,是TSDB要解決的新問題。
 
物聯網場景下,設備都是7*24小時工作以一定的頻率上報數據的,數據量十分巨大。比如一輛無人車,以10Hz的頻率上傳數據,每次上傳20個維度的數據點,每輛車每天就要存儲1700萬數據點;一個傳感類監測設備比如溫度傳感器,通常每10秒鐘上傳一次數據,一個樓宇建筑中如果部署200個監測點,那一天下來需要170萬個數據點。隨著業務的發展,數據只會越來越多。這么多數據都是挖掘行業應用的金礦。
 
我們都不甘心數據只做存儲躺在服務器里,那怎么把TSDB中的數據發揮價值呢。不用擔心,TSDB目前已經可以作為Hadoop和spark集群的數據源,進行數據分析計算啦。
 
先來看最常使用的大數據分析工具Hadoop。Hadoop作為大數據分析的領軍代表,提供可靠存儲HDFS以及MapReduce編程范式以便大規模并行處理數據。TSDB作為存儲海量數據的數據源,自然更需要Hadoop的幫助來做數據分析啦。我們都知道,Hadoop提供了基于廉價硬件實現大規模并行處理的能力,不過,簡單的查詢都要寫MapReduce代碼,對于商業用戶實在不怎么友好。所以TSDB采用了更友好的方式,直接提供基于TSDB的Hive SQL。Hive是一個關系數據倉庫,用戶可以方便的利用類似SQL語言查詢數據,而Hive會自動把SQL語言轉換成MapReduce代碼交給Hadoop處理。
相關文章:

經典客戶案例展示 網站建設咨詢熱線029-88661315

?網站建設知識

?凡高觀點

?常見問題