01 系統(tǒng)總體架構
船舶與海洋大數(shù)據(jù)分析服務的建設內容和任務主要有海洋數(shù)據(jù)引接、數(shù)據(jù)存儲、數(shù)據(jù)分析、可視化子系統(tǒng)、數(shù)據(jù)服務與應用等研究內容。系統(tǒng)的總體架構如圖1所示。
圖 1 海洋大數(shù)據(jù)智能分析平臺總體架構
02 接口設計
2.1 外部接口設計
船舶與海洋大數(shù)據(jù)分析服務主要包括引接匯聚子系統(tǒng)、數(shù)據(jù)治理子系統(tǒng)、超融合共享存儲子系統(tǒng)、大數(shù)據(jù)分析子系統(tǒng)、行業(yè)分析子系統(tǒng)、統(tǒng)一訪問門戶子系統(tǒng)6個部分。其中外部接口包括引接匯聚子系統(tǒng)與源數(shù)據(jù)的接口、大數(shù)據(jù)分析子系統(tǒng)與外部應用系統(tǒng)的接口，其外部接口如圖2所示。
2.2 內部接口設計
船舶與海洋大數(shù)據(jù)分析服務的內部接口主要包括引接匯聚子系統(tǒng)與超融合共享存儲子系統(tǒng)的接口、引接匯聚子系統(tǒng)與數(shù)據(jù)治理子系統(tǒng)的接口、超融合共享存儲子系統(tǒng)與數(shù)據(jù)治理子系統(tǒng)的接口、超融合共享存儲子系統(tǒng)與大數(shù)據(jù)分析子系統(tǒng)的接口、大數(shù)據(jù)分析子系統(tǒng)與行業(yè)分析子系統(tǒng)的接口，內部接口如圖3所示。
圖 3 內部接口示意圖
03 業(yè)務流程
3.1 用戶手動建模訓練
用戶手動建模訓練是用戶使用大數(shù)據(jù)分析服務進行自己業(yè)務的模型搭建，對數(shù)據(jù)進行分析和處理的流程。根據(jù)具體需求，用戶可以自定義算子然后再通過拖拽算子的方式手動構建模型。操作流程如圖4所示。
3.2 應用自動化訓練
大數(shù)據(jù)分析服務對外提供統(tǒng)一的Rest接口，主要有訓練和預測、分析和算子調用3種應用場景。
1)訓練和預測
訓練時，應用端通過接口1和接口2得到數(shù)據(jù)集和模板列表，選擇數(shù)據(jù)集和模板;然后通過接口3提交返回的數(shù)據(jù)集id和模板id;分析服務接收后進行參數(shù)校驗，返回參數(shù)正確或者錯誤，同時啟動模板調用數(shù)據(jù)，進行模型訓練;最后通過接口4定時查詢訓練模型結果是否產(chǎn)生。分析服務去數(shù)據(jù)庫中查詢結果，返回結果未生成，或者返回訓練好的模型。
預測時，應用端通過接口1和接口2獲取數(shù)據(jù)集和模板列表，選擇數(shù)據(jù)集和模板;然后通過接口5提交返回的數(shù)據(jù)集id和模板id;分析服務接收后進行參數(shù)校驗，參數(shù)錯誤則返回參數(shù)錯誤信息，正確則調用模板，輸入數(shù)據(jù)集和訓練好的模型，得到預測結果并返回給應用端。訓練與預測場景的數(shù)據(jù)交互流如圖5所示。
2)分析
應用端通過接口1和接口2獲取數(shù)據(jù)集和模板列表;然后通過接口3發(fā)送數(shù)據(jù)集id和模板id;分析服務檢查參數(shù)是否正確，并返回正確與否，如果參數(shù)正確，調用模板和數(shù)據(jù)集進行分析;最后通過接口4定時查詢分析結果是否產(chǎn)生。分析服務返回分析結果未產(chǎn)生信息，或者返回分析結果。分析場景數(shù)據(jù)流如圖6(左)所示。
3)算子調用
應用端調用接口1和接口6獲取數(shù)據(jù)集和算子列表，選擇數(shù)據(jù)集和算子;調用接口7發(fā)送數(shù)據(jù)集id和算子id;分析服務檢查參數(shù)是否正確，錯誤則返回參數(shù)錯誤，正確則調用算子和數(shù)據(jù)集，運行后的結果返回給應用端。算子調用數(shù)據(jù)流如圖6(右)所示。
04 子系統(tǒng)設計
4.1 多源異構引接匯聚子系統(tǒng)
多源異構引接匯聚子系統(tǒng)主要由數(shù)據(jù)引接、數(shù)據(jù)轉接和數(shù)據(jù)預處理3部分組成，用于將各種實時或者歷史多源異構數(shù)據(jù)接入到大數(shù)據(jù)分析服務的存儲模塊中。數(shù)據(jù)轉接模塊將數(shù)據(jù)轉存到kafka組件和ftp文件系統(tǒng)里實現(xiàn)本地持久化;數(shù)據(jù)預處理模塊將暫存的數(shù)據(jù)獲取后經(jīng)過數(shù)據(jù)清理和數(shù)據(jù)融合，得到格式規(guī)范的數(shù)據(jù)，然后存入超融合共享存儲子系統(tǒng)。多源異構引接匯聚子系統(tǒng)架構如圖7所示。
4.2 海洋大數(shù)據(jù)治理子系統(tǒng)
海洋大數(shù)據(jù)治理子系統(tǒng)包含元數(shù)據(jù)管理、數(shù)據(jù)質量管理、數(shù)據(jù)標準等，用于提升異構環(huán)境下海洋數(shù)據(jù)(海洋環(huán)境、海洋目標、風力發(fā)電設備運行數(shù)據(jù)、船舶動力數(shù)據(jù)、水下裝備運行效能數(shù)據(jù)、JJ適配性數(shù)據(jù)、海洋資源探測)的管理水平和使用效率。海洋大數(shù)據(jù)治理子系統(tǒng)架構圖如圖8所示。
4.3 超融合共享存儲子系統(tǒng)
超融合共享存儲子系統(tǒng)針對多源異構數(shù)據(jù)在存儲上的多樣性特征，實現(xiàn)了對海量多源數(shù)據(jù)的引接、存儲、管理和組織。其底層支持結構化、半結構化數(shù)據(jù)的承載組織，將結構化數(shù)據(jù)存儲在本地關系數(shù)據(jù)庫或分布式存儲系統(tǒng)中，將非結構化數(shù)據(jù)存儲在共享文件系統(tǒng)中，并對數(shù)據(jù)的存儲進行優(yōu)化，使數(shù)據(jù)存儲子系統(tǒng)具備并發(fā)訪問性能及存儲規(guī)模的強可擴展性。數(shù)據(jù)存儲子系統(tǒng)架構如圖9所示。
4.4 海洋大數(shù)據(jù)分析子系統(tǒng)
海洋大數(shù)據(jù)分析子系統(tǒng)對多元異構數(shù)據(jù)進行分析建模處理，主要包括3個部分：大數(shù)據(jù)分析服務、高性能計算服務和可視化分析服務。
1) 大數(shù)據(jù)分析服務
大數(shù)據(jù)分析服務是一個自助式建模分析服務，利用數(shù)據(jù)挖掘、機器學習、包括深度神經(jīng)網(wǎng)絡等分析技術對相應數(shù)據(jù)集進行挖掘建模。服務架構主要分為3層，最底層的是一個由HDFS，MapReduce和Spark等大數(shù)據(jù)框架組成的一個大數(shù)據(jù)引擎;中間層是一個算子庫，服務提供高效豐富、支持分布式的算子，并提供統(tǒng)一的對外提供服務接口方式，支持上層應用;最上層是一個大數(shù)據(jù)可視化建模應用層，用戶可通過創(chuàng)建、配置、提交和監(jiān)督來搭建自己的業(yè)務邏輯和分析模型，并且支持列表、折線圖、柱狀圖和餅圖等多種形式的分析結果展示及保存。
大數(shù)據(jù)分析服務的架構如圖10所示。
大數(shù)據(jù)分析服務模塊由數(shù)據(jù)管理、分析任務管理、系統(tǒng)管理、ETL模塊、算子庫、數(shù)據(jù)可視化模塊構成，如圖11所示。
2) 高性能計算服務
高性能計算(HPC)服務是一個軟硬件一體的架構，采用存算一體化、混合異構計算等多種并行策略，結合深度學習等手段實現(xiàn)海量數(shù)據(jù)全自動、高效率、高精度的快速處理和智能分析解譯，實現(xiàn)海量數(shù)據(jù)快速處理和實時響應，如圖12所示。
HPC服務的主要組件如圖13所示。
3) 可視化分析服務
可視化分析服務為三維全球可視化子系統(tǒng)提供數(shù)據(jù)處理的功能，服務架構如圖14所示。
4.5 行業(yè)分析子系統(tǒng)
通過數(shù)據(jù)挖掘、分析處理、云計算等技術，以多源異構海洋與船舶數(shù)據(jù)的存儲與管理、海洋與船舶高通量實時流數(shù)據(jù)處理、目標關聯(lián)與異常預警、海上航線智能規(guī)劃、船舶動力裝備故障自動診斷與趨勢分析、海洋與船舶動態(tài)目標高效渲染及實時展示等實際應用技術，形成船舶裝備和航行信息保障、水下裝備環(huán)境適應性保障、軍民融合海洋信息綜合保障以及風力發(fā)電綜合保障等行業(yè)應用專用分析模型庫，為同類行業(yè)應用研制提供可復用的行業(yè)專用模型資源保障。
4.6 多維數(shù)據(jù)可視化子系統(tǒng)
1)基于組件圖表動態(tài)監(jiān)視可視化
在分布式計算的基礎上，封裝可視化分析算子、可視化圖形組件、可視化交互組件等，使得所有分析功能、展示方式以拖拽式開發(fā)，所見即所得。利用PC機、大屏等終端，通過瀏覽器即可實現(xiàn)訪問和分享?？傮w架構如圖15所示。
2)三維全球可視化
三維全球可視化子系統(tǒng)基于地理空間可視化技術，采用“服務+插件”的架構，封裝標準的三維渲染可視化引擎，實現(xiàn)數(shù)據(jù)、行業(yè)產(chǎn)品數(shù)據(jù)的接入、渲染、分析和可視化功能。三維全球可視化子系統(tǒng)包括三維可視化支撐、三維基礎應用和業(yè)務數(shù)據(jù)可視化3個模塊組成，如圖16所示。
可視化展示子系統(tǒng)服務以GEOVIS iExplorer空天大數(shù)據(jù)可視化服務為基礎，其架構主要包括引擎層、框架層和應用層，如圖17所示。
其中引擎層用于創(chuàng)建三維、實現(xiàn)各種數(shù)據(jù)、符號、圖形等在三維球上繪制;服務層實現(xiàn)框架集成、界面配置、工具擴展、數(shù)據(jù)調度、交互控制以及數(shù)據(jù)緩存優(yōu)化機制等;應用層在引擎層、服務層的基礎上，構建基礎應用，實現(xiàn)了基礎數(shù)據(jù)可視化、專題數(shù)據(jù)可視化、空間分析、基礎標繪等功能，以及在此基礎上構建應用系統(tǒng)的能力。
4.7 統(tǒng)一訪問門戶子系統(tǒng)
統(tǒng)一訪問門戶平臺將各種分散的、異構的常用應用和數(shù)據(jù)資源集成到信息管理平臺之上，并以統(tǒng)一的用戶界面提供給用戶，為用戶提供一個支持信息訪問、傳遞、以及協(xié)作化一站式個性化服務的統(tǒng)一門戶平臺。統(tǒng)一訪問門戶子系統(tǒng)可實現(xiàn)數(shù)據(jù)統(tǒng)一查詢、分析任務交互和標準接口及API等服務，如圖18所示。
05 關鍵技術及解決途徑
5.1 多源異構數(shù)據(jù)超融合共享存儲
1) 結構化數(shù)據(jù)存儲
大規(guī)模并行空間信息數(shù)據(jù)庫通過MPP架構實現(xiàn)了數(shù)據(jù)的分載及計算的并行加速;同時通過對傳統(tǒng)關系數(shù)據(jù)庫計算引擎擴展，可內置支持對GIS及空間數(shù)據(jù)的豐富計算函數(shù)UDF，同時在語法上支持SQL標準，并兼容OLAP即席分析模式。并行空間數(shù)據(jù)庫架構分層由交互接口組件、狀態(tài)維護組件、元數(shù)據(jù)管理組件、計算組件和存儲組件組成，如圖19所示。
2) 非結構化數(shù)據(jù)存儲
非結構化數(shù)據(jù)的存儲通過超融合共享存儲系統(tǒng)實現(xiàn)，其主要提供分布式文件系統(tǒng)功能。用來存儲大規(guī)模遙感影像、音視頻、中間處理結果數(shù)據(jù)、第三方數(shù)據(jù)源等非結構化數(shù)據(jù)，同時還可作為大規(guī)模并行空間信息數(shù)據(jù)庫、海量柵格數(shù)據(jù)庫、歷史軌跡數(shù)據(jù)庫及第三方Hadoop及Spark等大數(shù)據(jù)計算服務的底層存儲，與文件存儲拉通，共享命名空間及存儲資源池，形成同一套硬件支撐多個應用出口的融合存儲能力。
3) 半結構化數(shù)據(jù)存儲
對于專題數(shù)據(jù)庫中大量的文本數(shù)據(jù)、消息類數(shù)據(jù)、日志數(shù)據(jù)、配置數(shù)據(jù)等弱結構化數(shù)據(jù)或freeschema類數(shù)據(jù)，其存儲格式可為文本文件、xml文件或json數(shù)據(jù)串，相比數(shù)據(jù)庫表其數(shù)據(jù)格式更為靈活，相比音視頻、圖片等非結構化數(shù)據(jù)其又是可解析的。針對此類廣泛存在的半結構化數(shù)據(jù)，本項目采用分布式KV列式數(shù)據(jù)庫進行存儲。本數(shù)據(jù)庫技術優(yōu)勢主要體現(xiàn)在多維索引SQL適配上，圖20為KV數(shù)據(jù)庫具備的關鍵技術特性。
5.2 高通量實時流數(shù)據(jù)處理
使用Spark Streaming分布式的大數(shù)據(jù)實時計算框架，提供動態(tài)、高吞吐量的、可容錯的流式數(shù)據(jù)處理?？梢詮亩鄠€數(shù)據(jù)Kafka，F(xiàn)lume，Kinesis，Twitter，Tcp scokets中獲取數(shù)據(jù)，然后使用復雜的算法和高級的函數(shù)算子如map，reduce，join，window，進行數(shù)據(jù)處理加工。最后可以將處理后的數(shù)據(jù)輸出到文件系統(tǒng)，數(shù)據(jù)庫，和可視化界面，同樣也可以在數(shù)據(jù)流上使用機器學習和圖形計算算法。Spark Streaming同Spark sql一樣在核心RDD上封裝一種數(shù)據(jù)集DStream，用于適應實時計算的特點，類似于Spark sql的Dataset和DataFrame用于方便交互式查詢操作，如圖21所示。
5.3 高并發(fā)接口訪問保障
高并發(fā)接口訪問保障的實現(xiàn)通過2個層面來實現(xiàn)，一個是Nginx對訪問接口的負載均衡管理，另一個是并發(fā)多線程處理任務機制。
1)Nginx負載均衡
Nginx動態(tài)負載均衡通過對于后端接口服務集群的狀態(tài)監(jiān)測，量化不同接口服務的性能差異來周期性調整服務器的比重，實現(xiàn)訪問接口分配權重的動態(tài)調整。負載均衡的原理如圖22所示。
2)并發(fā)多線程處理任務
數(shù)據(jù)分析服務后端對于高并發(fā)的接口訪問請求會啟動多線程去處理任務作業(yè)，每一個線程都會處理一個訪問請求生成的任務。在內存等硬件資源足夠情況下，線程數(shù)足夠支持高并發(fā)訪問接口產(chǎn)生的任務，這些線程將按照順序拿到CPU資源執(zhí)行。原理如圖23所示。
3)彈性資源調度機制
使用YARN資源調度器，通過隊列、優(yōu)先級設置以及資源分配原則對資源分配進行管理。
06 結 語
本文構建了一種海洋大數(shù)據(jù)智能分析系統(tǒng)，該系統(tǒng)具有如下優(yōu)勢特征：
1)多源異構引接匯聚子系統(tǒng)具有可擴展性，子中心數(shù)量、數(shù)據(jù)種類都可以擴展;
2)海洋領域行業(yè)分析子系統(tǒng)包括船舶裝備和航行信息保障行業(yè)分析模型模板、水下裝備環(huán)境適應性保障行業(yè)分析模型模板、海洋信息綜合保障行業(yè)分析模型模板、風力發(fā)電綜合保障行業(yè)分析模型模板，并且行業(yè)分析模板具有可擴展性，領域分析算法可以進一步進行擴充集成，同一算法可具備多個版本;
3)領域自助建模工作跟外部應用訪問可無縫銜接，領域構建的特定模型保存在領域分析子系統(tǒng)中，外部應用系統(tǒng)直接可以授權共享方式請求模型訪問分析并獲得執(zhí)行結果;
4)所有海洋領域數(shù)據(jù)和分析算法，外部應用可以在源代碼中通過API接口調用發(fā)生進行訪問，降低應用訪問難度。
