大數據管理

背景介紹

網上交易日志中不僅包含系統的運行狀態信息，并且包含海量的客戶行為信息。建設一套網上交易日志分析平臺，對網上交易日志在盤中/盤后實現實時的采集、解析，不僅能夠及時反映網上交易系統的健康狀況，并且可以根據客戶的交易行為對業務風險、異常交易等進行實時預警，提高網上交易系統的事前預警能力和事后故障的排查和恢復速度，實現多維度立體化的監控。

方案功能

日志統一管理
       將分散在各個服務器日志統一收集到數據中心做集中管控。
指標監控
       針對異常交易行為和服務器狀況進行實時監控，并及時發現問題作出預警行為。
海量日志數據分析
       對海量日志數據提供OLAP多維度檢索分析功能。
可視化及應用服務
       提供日志數據的圖表及報表展示，并為用戶提供定制的應用服務。

幫助企業客戶快速構建大數據平臺，滿足企業的海量數據存儲和分析需求，具有高可靠、高安全、高性能的特點。

數據采集

- Kettle、Sqoop等ETL工具，用于將關系型數據庫同步到平臺
- Flume、Logstash用于處理日志等文本類數據到平臺中

數據存儲

- HDFS文件存儲系統，高可擴展性、可動態擴容，高可靠性存儲。健全的安全及權限分配功能，支持Kerberos進行身份認證和訪問權限控制。
- 支持常見的Oracle、Mysql、SQLServer、PostgreSQL等關系數據庫
- HBase數據庫，具有高可擴展性、高性能等特性，滿足企業高負載讀寫、實時查詢等需求。

數據計算

- 基于內存的分布式迭代計算引擎，比Hadoop Map/Reduce快10倍以上，滿足離線計算和實時計算的需求。
- OLAP多維分析，PB級數據秒級響應
- 實時監控指標數據，及時預警

集群管理

- 基于Web圖形化界面的向導式安裝、一站式的集成監控及管理工具，大大降低大數據平臺的搭建及運維難度和成本。