空間信息大數據平臺(Sichuan Spatial Information BIG Data Platform 簡稱 SSIBDP)基于云計算、大數據、數據挖掘等技術實現數據的分布式存儲、計算、分析,并在保證數據安全情況下按照標準化規范化進行數據共享交換,使數據作為無形資產流動起來,提高數據對業務的支撐能力和決策能力,并且通過數據關聯促進數據資產增值。
一、平臺組成:
1)基礎設施層
基于云計算虛擬化技術為平臺提供基本的計算、存儲、網絡等基礎設施環境,包括物理機、虛擬機的管理和監控能力。
2)數據平臺層
實現企業內部、外部、互聯網數據的采集、清洗、轉換、加載、匯總。應用Storm源、消息隊列、Hdfs、利用Spark處理關鍵在于當文件到達時,將文件轉換為Spark的Spout數據源MQ消息中間件來完成各個數據處理模塊的通信與解耦。使用文本文件、關系型數據庫、MPP數據庫或HDFS(分布式文件)等方式進行數據的存儲。
3)統一服務平臺層
基于元模型管理,實現對數據的采集源、數據庫表、字段、共享、應用的全過程管理。
基于開發IDE平臺,對底層技術能力的封裝,通過圖形化、標準化應用開發工具,提供拖拽式、組件化的能力,實現基于IDE的快速開發,也可以支持采用腳本進行更為復雜的類型開發。
基于運營中心,實現對基礎平臺的組件、作業狀態、租戶、告警的可視化監控,并實現對計算、存儲、I/O等資源的動態實時監控,同時,提供對平臺安全和數據安全保護能力?;诮y一服務接口對外提供標準化服務。
4)業務應用層
基于大數據云平臺提供的運行環境,與大數據云平臺進行前后臺集成,運行華北空管局各部門使用的業務應用系統。
基于大數據基礎平臺提供的可視化、標準化、規范化的IDE開發環境,實現業務系統的自助式開發和快速集成。
? 二、關鍵技術:
三、產品優勢:
1).隔離大數據底層技術與業務邏輯。通過對開發環境、開發語言、數據庫結構、通信接口等進行封裝和標準化,實現大數據平臺和各業務系統邏輯的松耦合,提高數據產品開發效率。
2 ).高可用的在線自助開發平臺?;诳梢暬拈_發管理界面,統一封裝的函數庫,對開發環境、資源分配、開發過程、開發模型、腳本、測試、上線、運維進行按需分配,實現自助開發。
3).實現對每個租戶的計算,存儲,I0等資源的精細化控制。
4).與數據治理,數據目錄,以及元數據管理能夠實現互通。實現對數據采集、加工、入庫、共享、交換、稽核、運維的全生命周期管理。
5).提供系統級別,業務級別異常情況的報警和智能恢復機制。
6).引進成熟作業調度系統,實現作業調度與大數據計算、存儲組件的無縫整合,支持多組件、多類型作業的可視化配置、調度和管理功能。
7).引入成熟的數據開發IDE,屏蔽大數據專業技術,通過開發者門戶可以自助實現數據接入、存儲、查詢、計算、輸出的核心功能。
8).實現存儲資源配額和計算資源隔離等功能;實現HBase,HDFS,Hive,Impala,Kafka等數據的安全訪問授權,實現Hadoop相關組件用戶統一管理。