大數據證券業務監管

大數據的應用

通過用戶行為分析實現精準營銷是大數據的典型應用，但是大數據在各行各業特別是公共服務領域具有廣闊的應用前景

大數據的管理管理大數據真正的問題是讓大數據更有意義目前大數據管理多從架構和并行等方面考慮，解決高并發數據存取的性能要求及數據存儲的橫向擴展，但對非結構化數據的內容理解仍缺乏實質性的突破和進展，這是實現大數據資源化、知識化、普適化的核心非結構化海量信息的智能化處理：自然語言理解、多媒體內容理解、機器學習等管理大數據“易”，理解大數據“難”

分析技術：數據處理：自然語言處理技術（Siri）統計和分析：A/B test; top N排行榜；地域占比；文本情感分析數據挖掘：關聯規則分析；分類；聚類模型預測：預測模型；機器學習；建模仿真 數據：結構化數據：海量數據的查詢、統計、更新等操作效率低非結構化數據：圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結構化數據轉換為結構化存儲按照非結構化存儲大數據技術：數據采集：ETL工具、Flume等數據存?。宏P系數據庫；NoSQL；SQL等基礎架構支持：云存儲；分布式文件系統等計算結果展現：云計算；標簽云；關系圖等 解決方案：Hadoop（MapReduce技術）流計算（storm和spark streaming等）

實時性
實時采集、分析、展現，秒級搜索
準確性和完整性
傳輸通道實現不重傳、不漏傳、斷點續傳，保證數據完整性
安全性
非對稱加密算法對傳輸的日志數據進行加密
使用SSL/TLS協議，保障網絡傳輸通道的安全性
穩定性與可靠性
基于成熟的、經過實踐驗證穩定可靠的Hadoop技術組件
服務器節點非常容易實現橫向擴展，分布式環境保障集群中的任意一臺服務器出現宕機時不影響系統的穩定可靠

1、為金融證券公司提供更完善的運維管理支持，實現網上交易事務機各技術指標的實時監控，針對假死、宕機、惡意攻擊等異常情況做到及時有效應對。
2、針對資金賬號的各種異常情況的實時預警，協助及時發現異常的資金賬號，做出更加有效的管控和處理。
3、秒級的日志查詢，配合監管機構的日志查詢等合規檢查要求或客戶請求，快速響應。