sponsored links

大資料局資料中心軟體平臺(二期)專案

建設內容

根據省導則要求進行平臺功能升級迭代,包括公共資料工作門戶、資料供需平臺、資料目錄、資料交換、資料共享,並按省市兩級平臺要求對接省平臺;根據省導則要求新建資料上報、資料治理平臺、資料開放分域、資料庫安全管控平臺、資料資產視窗。根據省工作要求結合本地實際建設特色專題庫、建設區塊鏈資料開放應用場景。

大資料局資料中心軟體平臺(二期)專案


大資料局資料中心軟體平臺(二期)專案

專案目標

實現市級平臺在市域範圍內個性化資料的歸集、治理、共享、開放和安全管理能力,與省級平臺實現對接。建設若干特色專題庫,為應用場景建設提供資料支撐。

功能性需求

1 公共資料工作平臺門戶

升級改造市公共資料工作平臺門戶,為全市各級部門提供公共資料資源申請、審批、管理統一入口,根據省平臺要求對接省工作平臺門戶,建立省市縣三級一體化公共資料資源授權體系。建設知識庫和訊息心,整合公共資料各子平臺的工作內容,提供知識(文件、規範性檔案)查詢、訊息提醒等功能。由門戶實現統一使用者和浙政釘使用者體系的對應關係。

2 資源目錄平臺

按照明確的公共資料編目範圍,統一的目錄編制規範、元資料規範,構建連線資料目錄與數源的“神經網路”,建立完善橫向連通各部門、縱向貫穿市縣的全市公共資料目錄,做到資料目錄化、目錄全域性化、全域性動態化,資料目錄平臺作為公共資料的核心平臺,打通各子平臺,實現全市一套公共資料目錄,目錄之外無資料。市級平臺公共資料目錄系統透過介面方式與省級目錄系統實時同步,做到一數一源,同步更新。

由於一期平臺的底層設計簡單,在頁面響應能力和頁面改造難度均存在較大的侷限性,在此基礎上,迫切需求在平臺底層進行架構升級,實現與多平臺的業務聯動,並完善需求工單自動化體系,滿足市級公共資料體系的建設目標。

3 資料共享平臺

基於省級平臺要求,建設市級專題資料庫和資料共享子系統,透過介面共享、批次共享等方式,為市域範圍內各級應用提供資料共享支援。在(一期)專案中已建有資料共享,對比分析省裡要求與市級已建平臺存在差距,需要進行提升改造。

4 資料交換平臺

市級平臺應按照責任分工,建立完善的資料歸集、資料交換系統。加強網路及雲平臺等基礎設施支撐,保障公共資料平臺及相關資料歸集交換系統穩定高效執行,持續推進全市公共資料歸集和交換工作,確保資料的完整性、有效性和及時性。市級平臺應對接省資料高鐵基礎設施(實時歸集),建立實時資料倉,滿足分鐘級、小時級資料共享需求。

5 資料供需平臺

資料供需平臺是支撐資料供需管理的核心平臺,具備系統普查、核心業務梳理、資料需求管理等功能。應實現與省級系統普查模組的資料同步更新,新增、修改的實時同步,實現業務事項庫與政務服務事項實現弱關聯,實現與開放平臺中開放資料需求的對接。事項流程範圍監管擴充套件到市全部,對指標中涉及的資料項進行標註、比對,對已歸集指標進行分級分類標註,提升系統操作體驗。

按照核心業務梳理需求和省市兩級公共資料平臺建設導則相關要求,升級改造需求管理平臺,將原有單一的需求側需求模式轉向供給側、需求側兩端共有模式,原有功能及流程的改造等,促使核心業務梳理、資料共享工作向著制度化、流程化、持續化的方向發展,有效促進政府部門間業務協同。開發浙政釘端版本。

6 資料治理

圍繞提升資料的準確性、完整性和及時性的核心目標,透過建立資料清洗規則、資料質量評估標準、資料問題反饋機制、資料使用標準等相關規範,對本地特色資料進行治理,形成資料治理閉環,提升資料質量。同時向省級資料治理系統上報市級公共資料平臺和數源部門的資料問題。

7 資料開放

按照“統一架構、分級管理、協同運維”原則,基於省公共資料平臺開放域系統,建立市級平臺開放分域系統。開放分域系統可以利用市級平臺的資料歸集、資料清洗等功能,支撐市管理個性化開放資料,提供資料集下載、介面訪問、資料開放應用等服務,並實現與省公共資料平臺開放域系統的互聯互通。

業務流程主要涉及到資料開放相關內容,主要包括資料開放流程、資料下載流程、資料介面申請流程、依申請開放流程等。

8 資料安全

市資料中心安全防禦體系強調兩大核心要素:大資料資源平臺環境安全與資料全生命週期安全。

在依託政務雲的基本網路環境與資料庫訪問安全措施方面,已經具備了租戶層隔離、資料庫賬號、超級資料庫賬號、IP白名單、VPC網路訪問控制等技術手段。但存在如下待改進的問題:

尚未建立一套統一的資料資源訪問管控系統,仍然需要知曉源資料庫的IP地址與埠,以及源資料庫的訪問賬號,存在洩密風險。

對於資料採集缺乏敏感資料發現能力以及自動進行敏感資料分類分級的能力。

缺乏資料脫敏處理的規劃與部署。

對敏感資料的違規操作與使用,缺乏識別、預警、阻斷。

9 區塊鏈應用

根據資料開放創新大賽結果落地區塊鏈普惠金融應用場景。建立花園鏈,花園寶應用,提升平臺的資料安全功能,搭建資料視覺化監控功能。

10 特色專題庫

建立特色專題庫管理系統,並提供特色專題庫建庫服務。根據的特色需求,構建多業務協同應用場景專題庫、疫情專題庫、鄉村治理專題庫,為以上業務應用建設提供資料支撐。

11 據上報平臺

現有的資料上報為資料目錄中的一個功能模組,經過一段時間的執行現有的功能不能適應新的業務需求,需要重新開發一上報平臺為資源目錄系統提供資料歸集支撐,也可以支撐大資料局日常資料收集工作。系統根據資源目錄上報任務工單生成資料上報任務。

12 資料資產視窗

建立一套從資料需求、資料歸集到資料治理開放的全業務、全流程動態化的管理平臺,對資料全流程各環節進行有效監管,及時反映和反饋環節異常。製作全市的資料資產進行視覺化大屏。

4.4 非功能性需求分析

4.4.1 系統安全

4.4.1.1 軟體安全需求

1.安全功能設計

a身份鑑別:

採用使用者名稱/口令機制進行身份鑑別,口令應由大小寫字母、數字及特殊字元組成,口令長度不宜少於10個字元;

針對前臺使用者啟用登入超時重鑑別、連續登入失敗嘗試次數閾值等措施。

b訪問控制:

應提供訪問控制功能,授予系統使用者為完成各自承擔任務所需的最小許可權,限制預設角色或使用者的訪問許可權;

應實現系統管理使用者、應用設定使用者和一般使用者等的許可權分離。

c剩餘資訊保護:

應保證使用者鑑別資訊所在的儲存空間被釋放或再分配給其他使用者前得到完全清除,無論這些資訊是存放在硬碟上還是在記憶體中;

應保證系統內的檔案、目錄和資料庫記錄等資源所在的儲存空間被釋放或重新分配給其他使用者前得到完全清除。

d通訊完整性

應採用密碼技術保證通訊過程中資料的完整性。

e通訊保密性

在通訊雙方建立連線之前,利用密碼技術進行會話初始化驗證;

對通訊過程中的整個報文或會話過程進行加密。

f抗抵賴

具有在請求的情況下為資料原發者或接收者提供資料原發證據的功能;

具有在請求的情況下為資料原發者或接收者提供資料接收證據的功能。

g軟體容錯

應提供資料有效性檢驗功能,保證透過人機介面輸入或透過通訊介面輸入的資料格式或長度符合系統設定要求。

h安全審計:

應提供安全審計功能,包括:

安全審計功能的設計應與使用者標識與鑑別、自主訪問控制、標記與強制訪問控制等安全功能的設計緊密結合。

安全審計包括產生、記錄、儲存和分析與安全相關活動有關的資訊,審計記錄結果可用來檢測、判斷髮生安全相關活動以及這些活動是由哪個使用者負責的。

提供審計日誌、實時報警生成,潛在侵害分析、基於異常檢測,基本審計查閱、有限審計查閱和可選審計查閱,安全審計事件選擇,以及受保護的審計蹤跡儲存和審計資料的可用性確保等功能。

對與標識及強制訪問控制等安全機制有關的內容,如敏感標記的操作等進行審計。

對網路環境下執行的應用系統,應建立統一管理和控制的安全審計機制。

2.原始碼安全

原始碼安全應貫穿風險管理系統的整個生命週期;

在需求設計階段,可制定原始碼安全編寫規範,約束特定語言相關的程式設計規則,並對應用程式程式碼存在的常見安全缺陷提出規範要求;

在開發階段應遵循制定的原始碼安全編寫規範,在單元測試期間和開發完成後要實施程式碼安全性測試。

在執行階段,定期對系統進行滲透性測試,並在系統程式更新後及時進行原始碼安全檢查。

在廢棄階段,應徹底刪除程式原始碼,避免程式碼遭到非授權訪問。

3.系統更新

應定期針對應用程式或程式碼、Web應用伺服器(如IIS、Apache等)等網路應用程式進行漏洞掃描,及時修補存在的安全漏洞;

當應用程式的版本需要變更時宜經過稽核批准,並儲存相應記錄。

應遵循國家總局相關安全技術規範,保障系統安全、穩定執行。

4.4.1.2 資料安全需求

資料加密:

針對掌握公民、法人及其他組織的個人資訊及隱私資訊在遠端傳輸過程中應採用加密措施進行保護,並根據需要能夠對部分敏感資料進行脫敏處理;

系統的各類使用者鑑別資訊、關鍵配置引數、重要業務資料等敏感資訊(檔案),在遠端傳輸及本地儲存過程中宜採用加密措施進行保護;

系統與其他業務系統進行資料互動時,宜限定資料互動的格式,並採用密碼技術保證傳輸資料的機密性和完整性。

備份恢復:

針對系統的應用程式、系統資料(使用者資訊、釋出資訊等)、配置資料(系統應用、作業系統、資料庫及網路、安全裝置的配置資訊等)及審計日誌等宜定期進行備份,至少每週進行一次完全備份,並儲存6個月以上,至少6個月實施一次備份恢復演練。

應遵循國家總局相關安全技術規範,保障系統安全、穩定執行。

4.4.1.3 安全裝置部署要求

移動政務雲機房需要做好防水和防潮措施,定期進行安全巡檢保障機房安全。

在縣政務網和外聯單位接入邊界、運維管理區邊界需部署防火牆實現有效的邊界隔離。

需部署邊界安全閘道器整合入侵檢測裝置和惡意程式碼防護能力。

網路安全裝置需落實可信驗證措施。

4.4.2 運維保障需求

按照“事前防範、風險前移,事中控制、快速響應,事後改進、持續評估”的原則,制定有效的軟體及資訊資源執行維護策略,保障公共資料平臺的平穩執行。要求提供駐場服務5人。

4.4.3 系統需求

4.4.3.1 效能需求

Ø 提供多種最佳化設計方法和多種執行模式,儘可能降低伺服器端負載和使用者操作響應時間。伺服器端需要綜合考慮資料量、使用者量、併發訪問量、資料和應用服務的提供模式,採用能滿足系統穩定高效執行所需的伺服器、負載均衡裝置、高效能的系統基礎軟體等。

Ø 資料共享中心支援每日億級的介面呼叫量,提供1萬併發的介面服務能力。

Ø 資料交換中心支援每日10萬級別的批次資料同步作業量。

Ø 資料管理中心支援每日對萬級作業進行管理運維和監控。

1.資料庫主要指標:

響應時間特指使用者本次交易提交給系統到系統反饋出結果的時間。

(1)業務辦理

單記錄錄入/修改的平均響應時間不大於5秒。

(2)查詢

單使用者單記錄查詢的平均響應時間不大於5秒。

(3)統計

單筆統計的響應時間不大於15秒。

對於10萬條記錄查詢時特定記錄的搜尋時間平均小於20s。

而對於代理方式對外部資料庫的訪問時間,一般也不應超過1s。

2.應用軟體系統主要效能指標要求

不限制系統中建立的資料庫個數;

單庫支援最大容量:1TB以上;

跨庫檢索資料庫數:100個以上;

門戶支援最大同時線上檢索人數:3000人以上。

供需平臺支援最大同時線上檢索人數:150人。

根據一期的業務量推算線上使用者數為10000人,併發操作人數為2000人。

供需最大線上使用者數200人,併發運算元100。

4.4.3.1.1 靈活性和可擴充套件性

Ø 系統須具有快速適應業務變化的能力,應採用靈活的架構和技術手段,如擴大對不同資料格式的支援等。系統應具有良好的可擴充套件性,支援功能模組及處理能力有效擴充套件和整合整合。當系統容量和效能發生變化時,應能透過軟硬體各個層次的擴充,保證系統合理的響應時間和吞吐量,支援負載的劃分與均衡。

Ø 基於面向服務的架構建設,並採用模組化、面向物件設計。

Ø 採用三層或多層架構的體系結構,充分考慮到平臺今後縱向、橫向的平滑擴張能力。

Ø 系統設計具有良好的可擴充性和可移植性。

4.4.3.1.2 可靠性

Ø 設計開發時應充分考慮軟體的可靠性,併合理利用支撐平臺的可靠性,應儘可能保證軟體在極端情況下的正常執行,避免由於模組故障或系統的升級而影響整個系統的正常執行。

Ø 系統提供7×24小時的連續執行,平均年故障時間:<1天,平均故障修復時間:<30分鐘。

Ø 系統安全性好,按各使用者的實際需求設定其嚴格安全等級來保證系統的可靠性。

Ø 具有較強的系統安全性和災難恢復能力。

4.4.3.1.3 可管理性

系統應提供良好的管理機制和手段,例如對於系統使用者、許可權、日誌的管理等。

4.4.3.1.4 介面友好性

Ø 基於B/S結構、高度相容主流版本的瀏覽器如360極速模式,提供友好的展示介面。

Ø 提供強大的圖形介面功能,採用樹形結構。

Ø 管理系統軟體應提供簡體中文介面。

Ø 管理系統軟體操作應簡單、方便,儘可能適應windows作業系統使用者的使用習慣。

Ø 管理系統軟體所有視窗都可以進行最大化、最小化設定。

4.4.3.1.5 其他要求

Ø 提供完善的日誌記錄功能,便於日常維護和管理。

Ø 系統操作日誌應能記錄重要的業務處理過程。

Ø 伺服器日誌應該能夠跟蹤執行過程中出現的異常情況或錯誤。

Ø 要求適配信創標準終端。

4.5 安全要求

符合國家資訊保安等級保護V2.0版本三級等保要求

分類: 科技
時間: 2021-09-16

相關文章

中國電信自研大資料和AI應用亮相世界網際網路大會

中國電信自研大資料和AI應用亮相世界網際網路大會
2021年9月25日,世界網際網路大會"網際網路之光"博覽會在浙江烏鎮正式開幕.中國電信自主研發的政法公安大資料中腦.天翼應急智慧監控平臺.智慧文旅景區監控平臺.景區影片智慧分析與 ...

既要容災備份,又要大資料應用,英方守護醫院資料“生命線”

既要容災備份,又要大資料應用,英方守護醫院資料“生命線”
[案例]武漢某醫院由於突發光纖鏈路中斷,引發網路癱瘓.醫生電腦收不到任何患者資訊,無法開出檢查單或處方,醫院業務陷入"停擺"狀態-- 在醫聯體.醫共體建設的持續推進下,醫療資訊保安 ...

健瀾科技:醫療大資料生態下基於標註引擎的醫生畫像研究

健瀾科技:醫療大資料生態下基於標註引擎的醫生畫像研究
醫療大資料生態下基於標註引擎的醫生畫像研究 原創 鄭濤 王覓也等 隨著醫療資訊化建設的發展,大資料在醫院文化建設的應用也層出不窮.本研究從醫院文化視角出發,透過構建醫生畫像來提升醫生職業幸福感和成就感 ...

專家解讀“十一”大資料:黃金週揭示經濟發展基本面
中國旅遊研究院副院長李仲廣解讀"十一"大資料 柴雅欣 薛鵬 今年"十一"假期是全面建成小康社會後的首個國慶黃金週,各地統籌疫情防控和經濟社會發展,在精準做好疫情 ...

大資料的歷史
大資料概念是由羅傑·穆加拉斯(Roger Mougalas)2005年提出的.但是,大資料的應用可追溯到7,000年前. 約翰·葛蘭特(John Graunt)是一位英國經濟學家,也是第一位從事人口統 ...

大資料產業規模持續增長 2023年將超過萬億元
近年來,以大資料為核心的新一代資訊科技革命,加速推動我國各領域的數字化轉型升級.大資料技術的廣泛應用,加速了資料資源的彙集整合與開放共享,形成了以資料流為牽引的社會分工協作新體系,促進了傳統產業的轉型 ...

大資料“甄別”嫌疑人的通訊錄!應用於公安的“黑科技”資料庫亮相世界計算大會

大資料“甄別”嫌疑人的通訊錄!應用於公安的“黑科技”資料庫亮相世界計算大會
9月17日-18日世界計算大會在湖南長沙舉行,本次大會以"計算萬物·湘約未來--計算產業新格局"為主題,旨在全面演繹計算基礎研究.技術創新.應用融合的關鍵路徑和行業實踐. 隨著大資 ...

什麼樣的家庭出學霸?大資料顛覆你的常識,小資料掏空你的錢包

什麼樣的家庭出學霸?大資料顛覆你的常識,小資料掏空你的錢包
一位焦慮的家長在媽媽群裡面問: 孩子5歲,英語詞彙量只有1500左右,是不是不太夠? 一位高年級的家長答覆: 在美國肯定夠了,在深圳肯定不夠. 一群雞娃媽媽,在群裡相互激勵,相互扶持,相互比拼,最終把 ...

5G、大資料、人工智慧……看看現代交通的創新元素
來源:新華網 推動交通運輸行業高質量發展,離不開科技創新的戰略支撐和科研攻關的持續推進.近些年來,5G.大資料.人工智慧等新興科技與交通運輸行業不斷"碰撞"出新的"火花& ...

北京國際大資料交易所資料交易系統上線
來源:人民網 9月30日,北京國際大資料交易所(以下簡稱"北數所")基於自主智慧財產權開發的資料交易平臺IDeX系統上線.北數所IDeX系統是國內首家利用綜合資料技術.探索資料交易 ...

百度熱搜國慶大資料:80、90、00最愛玩啥?
10月7日,百度釋出<百度熱搜國慶大資料>(以下簡稱"大資料"),用大資料解讀網民國慶假期的消費趨勢.大資料顯示:今年國慶出遊相關搜尋熱度已接近2019年疫前同期水平: ...

國慶大資料:5.15億人出遊,實體商場火熱,超400萬人日均步數不足百
中國經濟週刊-經濟網訊 (記者 孫冰) 在萬分不捨之中,國慶假期結束了,這也意味著2021年所有的公共假期全部休完了. 今年的國慶假期期間,雖然國內仍有個別省區市出現新冠疫情新增病例,但遊客的出遊熱情 ...

大資料、人工智慧、賽博空間安全……專家“把脈”網路技術安全
中國網10月12日訊(記者 林伊人)10月11日,2021年國家網路安全宣傳週網路安全技術高峰論壇在西安舉行.眾多專家緊扣時代主題,聚焦網路安全領域熱點難點,發表觀點. 加強國家網路空間安全發展統籌謀 ...

中國發布丨大資料、人工智慧、賽博空間安全……專家“把脈”網路技術安全
中國網10月12日訊(記者 林伊人)10月11日,2021年國家網路安全宣傳週網路安全技術高峰論壇在西安舉行.眾多專家緊扣時代主題,聚焦網路安全領域熱點難點,發表觀點. 加強國家網路空間安全發展統籌謀 ...

家裝行業拓客新途徑,運營商大資料獲客,直達精準使用者

家裝行業拓客新途徑,運營商大資料獲客,直達精準使用者
眾所周知,九月.十月是家裝行業的接單高峰期.進到九月,家居裝修公司的促銷活動也陸續進行起來.除開基本的領劵抵是多少以外,家居裝修公司也逐漸忙碌推新產品.拓展方式,但最大的困難便是獲得顧客. 公眾號:運 ...

大資料的威脅有多大,你要警惕

大資料的威脅有多大,你要警惕
你是否好奇,2021年7月盛傳的"國內某約車平臺把使用者資訊打包發給美國,會有什麼威脅"? 你是否好奇,為什麼頭條.抖音等平臺會推送你喜歡的內容,你周圍的人嗎? 它們都有共同的關鍵 ...

如何在享受大資料和人工智慧便利的同時,兼顧安全、可靠、可控?

如何在享受大資料和人工智慧便利的同時,兼顧安全、可靠、可控?
來源:方圓 (圖片來源:攝圖網) 網約車與計程車哪個更便宜?蘋果手機與非蘋果手機,誰打車更貴?新客戶打車便宜還是老客戶打車便宜? 帶著這樣的疑問,復旦大學教授孫金雲帶領他的學生,一個月時間內在北京.上 ...

值得一看!7月重點城市大資料房價中位數

值得一看!7月重點城市大資料房價中位數
近日,緯房研究院釋出了最新重點城市大資料房價中位數,找找你所在城市的最新資料變化吧! 北京.上海.深圳位於樣本房價資料的前三位.值得關注的是,作為一線城市的廣州位於樣本資料的第七名. 大慶.鞍山.肇慶 ...

小米投資大資料服務商數說故事DataStory,持股6.81928%

小米投資大資料服務商數說故事DataStory,持股6.81928%
廣州數說故事資訊科技有限公司日前發生工商變更,註冊資本由2248.27萬元增至2401.76萬元,新增股東為小米關聯公司瀚星創業投資有限公司(持股6.81928%),Achiever Ventures ...