1、招標(biāo)條件
******有限責(zé)任公司數(shù)據(jù)中臺(tái)咨詢服務(wù)及數(shù)據(jù)工程管理工具采購項(xiàng)目(以下簡稱本項(xiàng)目),招標(biāo)人為******有限責(zé)任公司,資金來源為企業(yè)自籌。本項(xiàng)目已具備招標(biāo)條件,現(xiàn)對(duì)本項(xiàng)目進(jìn)行公開招標(biāo)。
2、項(xiàng)目概況
2.1項(xiàng)目編號(hào):JT-XM-GKYQZB-FW-202507-0056
2.2項(xiàng)目名稱:******有限責(zé)任公司數(shù)據(jù)中臺(tái)咨詢服務(wù)及數(shù)據(jù)工程管理工具采購項(xiàng)目
2.3資金落實(shí)情況:已落實(shí)
2.4項(xiàng)目概況及標(biāo)段劃分:本次招標(biāo)共劃分為1個(gè)標(biāo)段,即A1標(biāo)段。
************集團(tuán)一站式數(shù)據(jù)全生命周期******集團(tuán)數(shù)據(jù)資產(chǎn)完成數(shù)據(jù)快速集成、數(shù)據(jù)統(tǒng)一管理、數(shù)據(jù)清洗加工、數(shù)據(jù)分析計(jì)算、統(tǒng)一算力分配、任務(wù)統(tǒng)一調(diào)配等業(yè)務(wù)操作。
************集團(tuán)數(shù)據(jù)治理效率,最終用數(shù)據(jù)賦能業(yè)務(wù)創(chuàng)新形成核心壁壘,解決數(shù)據(jù)******集團(tuán)數(shù)據(jù)集中管理、高效利用和價(jià)值最大化。
2.5招標(biāo)內(nèi)容:本次采購咨詢服務(wù)和數(shù)據(jù)工程管理工具兩部分。要求投標(biāo)人******集團(tuán)的實(shí)際業(yè)務(wù)、數(shù)據(jù)和預(yù)算等實(shí)際情況進(jìn)行綜合評(píng)估,并指導(dǎo)數(shù)據(jù)中臺(tái)的建設(shè)和實(shí)施,具體標(biāo)準(zhǔn)及要求詳見附件。
2.6最高限價(jià):174萬元人民幣。
2.7服務(wù)期限:簽訂合同后3個(gè)月完成項(xiàng)目并交付(具體時(shí)間以簽訂合同為準(zhǔn))。
2.8質(zhì)量要求:符合國家、地方相關(guān)行業(yè)標(biāo)準(zhǔn)及招標(biāo)人項(xiàng)目管理的要求。
2.9服務(wù)地點(diǎn):黑龍江省哈爾濱市松北區(qū)創(chuàng)新三路899號(hào)陽光國際大廈b座。
3、對(duì)投標(biāo)人資格要求
3.1本次招標(biāo)要求投標(biāo)人是中華人民共和國境內(nèi)注冊(cè)的獨(dú)立法人,具備有效的營業(yè)執(zhí)照,并在人員、設(shè)備、資金、技術(shù)等方面具有履行合同所必須的能力。
3.2信譽(yù)要求:
①近三年(2022年7月1日~遞交投標(biāo)文件截止日)投標(biāo)人或其法定代表人有行賄犯罪記錄的,不得參加本項(xiàng)目投標(biāo)。無行賄犯罪行為的認(rèn)定以投標(biāo)人提供的在中國裁判文書(https://wenshu.court.gov.cn/)網(wǎng)站上無行賄犯罪查詢記錄的網(wǎng)頁截圖為準(zhǔn)(查詢?nèi)掌趹?yīng)在招標(biāo)公告發(fā)布后至投標(biāo)文件遞交截止日期之間)。
②投標(biāo)人在“信用中國”網(wǎng)站(******)中,未被列入失信被執(zhí)行人名單;
③投標(biāo)人在國家企業(yè)信用信息公示系統(tǒng)(******/)中未被列入嚴(yán)重違法失信企業(yè)名單。
3.3投標(biāo)人不得存在下列情形之一:
(1)與招標(biāo)人存在利害關(guān)系可能影響采購公正性的法人、非法人組織、自然人。
(2)與本項(xiàng)目其他投標(biāo)人的單位負(fù)責(zé)人為同一人。
(3)與本項(xiàng)目其他投標(biāo)人存在直接控股關(guān)系。
(4)與本項(xiàng)目其他投標(biāo)人存在管理關(guān)系。
(5)與本項(xiàng)目其他投標(biāo)人高級(jí)管理人員之間存在交叉任職。
(6)近三年(2022年7月1日~遞交響應(yīng)文件截止日)內(nèi)在經(jīng)營活動(dòng)中存在以下嚴(yán)重不良情形:
①被本項(xiàng)目所在地省級(jí)以上行業(yè)主管部門依法暫停、取消投標(biāo)或禁止參加采購活動(dòng)的。
②處于被責(zé)令停產(chǎn)停業(yè)、暫扣或者吊銷執(zhí)照、暫扣或者吊銷許可證、吊銷資質(zhì)證書狀態(tài)。
③進(jìn)入清算程序,或被宣告破產(chǎn),或其他喪失履約能力情形的。
******有限公司供應(yīng)商管理辦法》管理要求,被禁止參與采購活動(dòng)且處于有效期內(nèi)的。
⑤違反法律法規(guī)或招標(biāo)采購文件規(guī)定的其他情形。
3.4本次招標(biāo)項(xiàng)目不接受聯(lián)合體參加。
4、招標(biāo)文件的獲取
4.1招標(biāo)文件獲取時(shí)間:2025年7月3日0時(shí)00分至2025年7月8日0時(shí)00分。
4.2招標(biāo)文件獲取方式:登錄本項(xiàng)目指定的“黑龍江政企招采數(shù)字服務(wù)平臺(tái)”(以下簡稱“電子交易平臺(tái)”)(******/)進(jìn)行操作;投標(biāo)人僅限于為本單位繳納CA數(shù)******集團(tuán)及權(quán)屬企業(yè)實(shí)施的采購活動(dòng)。
凡有意參與本項(xiàng)目的投標(biāo)人,須在本平臺(tái)完成投標(biāo)人注冊(cè),并辦理CA數(shù)字證書后方可下載招標(biāo)文件。數(shù)字證書可選擇線上或線下辦理方式,投標(biāo)人應(yīng)合理考慮郵寄時(shí)間(1-2個(gè)工作日),CA辦理咨詢電話:******(李女士);
4.3本項(xiàng)目采用網(wǎng)上申請(qǐng)方式,投標(biāo)人登錄系統(tǒng)后,按要求提交資料上傳至電子交易平臺(tái)。
4.4 交納招標(biāo)文件工本費(fèi)
(1)招標(biāo)文件售價(jià)500元人民幣(售后不退)。
(2)投標(biāo)人僅限于為本單位支付平臺(tái)使用費(fèi)及招標(biāo)文件費(fèi)用。若存在任一投標(biāo)人為多家投標(biāo)單位代繳上述費(fèi)用的行為,根據(jù)《中華人民共和國招標(biāo)投標(biāo)法實(shí)施條例》第四十條“(二)************有限公司供應(yīng)商管理辦法》中關(guān)于供應(yīng)******集團(tuán)及權(quán)屬企業(yè)實(shí)施的采購活動(dòng)。
5、投標(biāo)保證金:本項(xiàng)目無需繳納。
6、投標(biāo)文件的遞交
投標(biāo)文件遞交的截止時(shí)間(投標(biāo)截止時(shí)間,下同)為2025年7月14日9時(shí)00分;投標(biāo)人應(yīng)使用電子交易平臺(tái)提供的“投標(biāo)文件制作工具”編制電子投標(biāo)文件,并按招標(biāo)文件要求進(jìn)行加密、遞交。投標(biāo)人應(yīng)在投標(biāo)文件規(guī)定的開標(biāo)截止時(shí)間前,通過互聯(lián)網(wǎng)使用CA數(shù)字證書登錄電子交易平臺(tái),將加密的投標(biāo)文件上傳,并保存上傳成功后系統(tǒng)自動(dòng)生成的電子簽收憑證,遞交時(shí)間即為電子簽收憑證時(shí)間。投標(biāo)人應(yīng)充分考慮上傳文件時(shí)的不可預(yù)見因素,未在遞交截止時(shí)間前完成上傳的,視為逾期送達(dá),將不予受理。
7、投標(biāo)文件開標(biāo)時(shí)間及地點(diǎn)
7.1投標(biāo)文件開標(biāo)時(shí)間:投標(biāo)文件遞交截止時(shí)間。
7.2投標(biāo)文件開標(biāo)地點(diǎn):登錄“黑龍江政企招采數(shù)字服務(wù)平臺(tái)”,進(jìn)入“開標(biāo)大廳”選擇所投標(biāo)段進(jìn)行簽到,并在投標(biāo)文件開標(biāo)時(shí)間實(shí)時(shí)在線關(guān)注招標(biāo)人的文件開標(biāo)情況。
8、其他說明
8.1本次招標(biāo)評(píng)標(biāo)采用綜合評(píng)估法,對(duì)投標(biāo)人的資格審查采用資格后審形式。
8.2本項(xiàng)目采用全流程電子招采,通過黑龍江政企招采數(shù)字服務(wù)平臺(tái)(******/)開展招投標(biāo)活動(dòng),注冊(cè)及操作等相關(guān)內(nèi)容,請(qǐng)先查閱門戶網(wǎng)站→幫助中心→操作指南內(nèi)的操作手冊(cè),參與投標(biāo)過程中遇到的平臺(tái)問題可撥打技術(shù)支持電話。
9、發(fā)布公告的媒介
本項(xiàng)目招標(biāo)公告在黑龍江政企招采數(shù)字服務(wù)平臺(tái)(https://zc.hljsjtjt.com/)及中國招標(biāo)投標(biāo)公共服務(wù)平臺(tái)(******)、黑龍江省公共資源交易網(wǎng)(******)、黑龍江陽光采購服務(wù)平臺(tái)(******/)上同時(shí)發(fā)布,其它網(wǎng)址轉(zhuǎn)載無效。
10、受理異議聯(lián)系方式
采 購 人:******有限責(zé)任公司
地 ???址:******街道創(chuàng)新三路899號(hào)陽光國際大廈B座
聯(lián) 系 人:黃先生
電 ???話:******
?
******有限公司
地 ???址:黑龍江省哈爾濱市松北區(qū)松北大道245號(hào)
聯(lián) 系 人:王女士
電 ???話:0451-******
電子郵箱:******
11、監(jiān)督部門聯(lián)系方式
監(jiān)督機(jī)構(gòu)名稱******有限責(zé)任公司監(jiān)督檢查室
聯(lián)?系??電?話:0451-******
附件:
一、咨詢服務(wù)內(nèi)容:
(1)數(shù)據(jù)戰(zhàn)略
******集團(tuán)對(duì)數(shù)據(jù)中臺(tái)的需求,明確數(shù)據(jù)中臺(tái)建設(shè)的目標(biāo)和方向。
②制定實(shí)現(xiàn)路徑根據(jù)數(shù)據(jù)戰(zhàn)略需求評(píng)估結(jié)果,制定數(shù)據(jù)中臺(tái)建設(shè)的實(shí)現(xiàn)路徑,明確各階段的工作任務(wù)、目標(biāo)、責(zé)任。
(2)數(shù)據(jù)治理
①建立數(shù)據(jù)治理組織,明確各組織的職責(zé)和權(quán)限。根據(jù)數(shù)據(jù)治理的需要,明確數(shù)據(jù)所有人、管理人等相關(guān)角色,以及數(shù)據(jù)的歸口的具體管理人員,并進(jìn)行確認(rèn)。
②指導(dǎo)數(shù)據(jù)治理實(shí)施工作,明確治理的指標(biāo)、方法和流程,對(duì)數(shù)據(jù)治理工作的成效進(jìn)行評(píng)估,并進(jìn)行評(píng)審。
(3)數(shù)據(jù)架構(gòu)
******集團(tuán)的業(yè)務(wù)需求和數(shù)據(jù)現(xiàn)狀,設(shè)計(jì)數(shù)據(jù)中臺(tái)的技術(shù)架構(gòu)和存儲(chǔ)架構(gòu),包括數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)處理層、數(shù)據(jù)服務(wù)層和數(shù)據(jù)應(yīng)用層等,確保數(shù)據(jù)中臺(tái)的架構(gòu)具有先進(jìn)性、可擴(kuò)展性和安全性。
②制定數(shù)據(jù)模型規(guī)范,進(jìn)行數(shù)據(jù)模型開發(fā)制定數(shù)據(jù)模型規(guī)范,明確數(shù)據(jù)模型的設(shè)計(jì)原則和規(guī)范,進(jìn)行數(shù)據(jù)模型開發(fā),確保數(shù)據(jù)模型的規(guī)范性和一致性。
(4)數(shù)據(jù)應(yīng)用
******集團(tuán)的業(yè)務(wù)流程進(jìn)行全面梳理,挖掘數(shù)據(jù)應(yīng)用場景,并進(jìn)行優(yōu)先級(jí)排序和評(píng)審。重點(diǎn)梳理職能類、物流貿(mào)易類數(shù)據(jù)應(yīng)用場景,為后期其他業(yè)務(wù)域的拓展規(guī)劃奠定基礎(chǔ)。
******集團(tuán)數(shù)據(jù)應(yīng)用產(chǎn)品服務(wù)規(guī)劃,并進(jìn)行優(yōu)先級(jí)排序和評(píng)審。
(5)數(shù)據(jù)安全
******集團(tuán)的數(shù)據(jù)安全現(xiàn)狀進(jìn)行全面調(diào)研和分析,識(shí)別數(shù)據(jù)安全風(fēng)險(xiǎn),為數(shù)據(jù)安全管理提供依據(jù)。
②根據(jù)數(shù)據(jù)安全風(fēng)險(xiǎn)評(píng)估報(bào)告,建立統(tǒng)一的數(shù)據(jù)安全標(biāo)準(zhǔn)和管理流程,包括數(shù)據(jù)分類分級(jí)、數(shù)據(jù)訪問控制、數(shù)據(jù)加密脫敏、數(shù)據(jù)備份與恢復(fù)等,并進(jìn)行評(píng)審。
(6)數(shù)據(jù)質(zhì)量
******集團(tuán)的業(yè)務(wù)需求和數(shù)據(jù)現(xiàn)狀,定義數(shù)據(jù)質(zhì)量管理目標(biāo),明確數(shù)據(jù)質(zhì)量管理范圍,并建立數(shù)據(jù)質(zhì)量規(guī)則庫。
②設(shè)計(jì)數(shù)據(jù)質(zhì)量提升策略,根據(jù)數(shù)據(jù)質(zhì)量評(píng)估的結(jié)果,設(shè)計(jì)數(shù)據(jù)質(zhì)量提升策略,提高數(shù)據(jù)質(zhì)量。
(7)數(shù)據(jù)標(biāo)準(zhǔn)
******集團(tuán)現(xiàn)有的數(shù)據(jù)標(biāo)準(zhǔn)現(xiàn)狀進(jìn)行全面梳理和分析,找出數(shù)據(jù)標(biāo)準(zhǔn)中存在的問題和不足,撰寫數(shù)據(jù)標(biāo)準(zhǔn)現(xiàn)狀梳理報(bào)告。
②根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)梳理報(bào)告,撰寫數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范文檔,并進(jìn)行評(píng)審。
(8)數(shù)據(jù)生命周期管理
①撰寫數(shù)據(jù)生命周期流程梳理報(bào)告
******集團(tuán)的數(shù)據(jù)生命周期流程現(xiàn)狀進(jìn)行全面梳理和分析,找出數(shù)據(jù)生命周期管理中存在的問題和不足,撰寫數(shù)據(jù)生命周期流程梳理報(bào)告,并進(jìn)行評(píng)審。
②撰寫數(shù)據(jù)生命周期管理策略文檔
根據(jù)數(shù)據(jù)生命周期流程梳理報(bào)告,撰寫數(shù)據(jù)生命周期管理策略文檔,明確數(shù)據(jù)的創(chuàng)建、存儲(chǔ)、使用、歸檔和銷毀等環(huán)節(jié)的管理要求,并進(jìn)行評(píng)審。
(9)數(shù)據(jù)資產(chǎn)管理
①設(shè)計(jì)數(shù)據(jù)資產(chǎn)目錄,對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行分類、編碼和描述,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的可視化管理。
②定義數(shù)據(jù)資產(chǎn)所有者,明確其職責(zé)和權(quán)限,設(shè)計(jì)數(shù)據(jù)資產(chǎn)管理制度,包括數(shù)據(jù)資產(chǎn)的登記、使用、共享等方面。
(10)其他
******集團(tuán)數(shù)據(jù)模型定義、數(shù)據(jù)編碼與命名規(guī)范、數(shù)據(jù)安全規(guī)范等標(biāo)準(zhǔn),數(shù)據(jù)生命周期管理、數(shù)據(jù)共享與開放交換等管理制度。
二、數(shù)據(jù)工程管理工具內(nèi)容
具體包括以下工具:數(shù)據(jù)治理工具、任務(wù)調(diào)度工具、運(yùn)維監(jiān)控工具、共享交換工具以及數(shù)據(jù)融合展示工具。
①?數(shù)據(jù)治理工具
******集團(tuán)數(shù)據(jù)接入、處理效率,本工具需滿足是基于精通交通行業(yè)業(yè)務(wù),打通數(shù)據(jù)治理各個(gè)環(huán)節(jié),智能高效的完成對(duì)數(shù)據(jù)的集成、積累、沉淀和共享,快速建立企業(yè)數(shù)據(jù)資產(chǎn)地圖,發(fā)揮數(shù)據(jù)效能。
產(chǎn)品功能需包括但不限于:元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)分類分級(jí)、數(shù)據(jù)服務(wù)、數(shù)據(jù)集成、數(shù)倉建模、數(shù)據(jù)開發(fā)、數(shù)據(jù)探查、數(shù)據(jù)訂閱等內(nèi)容。
產(chǎn)品需滿足以下重點(diǎn)業(yè)務(wù)要求:
??滿足Kafka,HTTP等多種接口的集成能力,具備日志記錄能力;
??滿足接入包括Oracle、MySQL、PostgreSQL、達(dá)夢(mèng)數(shù)據(jù)庫、人大金倉數(shù)據(jù)庫、翰高數(shù)據(jù)庫、Doris、StarRocks、Hive、Impala、TiDB等多種異構(gòu)數(shù)據(jù)源信息;
??滿足對(duì)Oracle、MySQL、PostgreSQL、達(dá)夢(mèng)數(shù)據(jù)庫、人大金倉數(shù)據(jù)庫、翰高數(shù)據(jù)庫、Doris、StarRocks、Hive、HDFS、Kudu等數(shù)據(jù)源創(chuàng)建元數(shù)據(jù)采集任務(wù);
??滿足實(shí)施人員針對(duì)數(shù)據(jù)表結(jié)構(gòu)進(jìn)行同步配置,實(shí)現(xiàn)異構(gòu)源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫一鍵式數(shù)據(jù)同步,滿足單表同步和多表批量同步,支持的數(shù)據(jù)源類型包括Oracle、MySQL、Doris、StarRocks、Hive等;
??數(shù)據(jù)血緣信息精確到字段級(jí)別,支持根據(jù)SQL自動(dòng)生成,動(dòng)態(tài)解析對(duì)象血緣關(guān)系,同時(shí)支持實(shí)施人員手動(dòng)拖拽編輯數(shù)據(jù)血緣關(guān)系,實(shí)現(xiàn)快速追溯上下游表關(guān)聯(lián)便于影響分析;
??要求提供可視化數(shù)據(jù)地圖,基于元數(shù)據(jù)應(yīng)用,以數(shù)據(jù)搜索為核心,提升找到數(shù)據(jù)的效率,讀懂?dāng)?shù)據(jù),理清數(shù)據(jù)脈絡(luò);
??要求通過向?qū)椒绞絼?chuàng)建發(fā)布管理API接口,完成API參數(shù)配置、在線測試,對(duì)API進(jìn)行分組,可查看API發(fā)布狀態(tài)、使用應(yīng)用數(shù)、調(diào)用總次數(shù)、以及API接口的情況測試;
??支持創(chuàng)建應(yīng)用,可配置接入的API、日調(diào)用次數(shù)限制,系統(tǒng)自動(dòng)生成APPKEY和秘鑰信息,支持接口調(diào)用限流功能;
??******集團(tuán)數(shù)據(jù)資源目錄,且支持目錄編輯;
??工具需根據(jù)數(shù)據(jù)治理團(tuán)隊(duì)配置的方案規(guī)則,支持輸出數(shù)據(jù)質(zhì)量報(bào)告,供數(shù)據(jù)治理團(tuán)隊(duì)監(jiān)控?cái)?shù)據(jù)質(zhì)量;
??滿足對(duì)不同數(shù)據(jù)源中的內(nèi)容按照類別和安全等級(jí)進(jìn)行數(shù)據(jù)分類分級(jí)管理,數(shù)據(jù)分類包括基礎(chǔ)數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù),數(shù)據(jù)分級(jí)需包括公開數(shù)據(jù)、秘密數(shù)據(jù)、機(jī)密數(shù)據(jù)和絕密數(shù)據(jù)等。
??滿足數(shù)據(jù)治理團(tuán)隊(duì)實(shí)現(xiàn)快速數(shù)據(jù)建模,展示數(shù)倉內(nèi)已存在的數(shù)據(jù)表所有數(shù)據(jù),支持對(duì)數(shù)據(jù)表進(jìn)行增刪改查操作,支持自定義創(chuàng)建字段,或引用標(biāo)準(zhǔn)數(shù)據(jù)元?jiǎng)?chuàng)建字段,配置數(shù)倉內(nèi)數(shù)據(jù)表結(jié)構(gòu)的標(biāo)準(zhǔn)設(shè)計(jì);
??滿足數(shù)據(jù)治理團(tuán)隊(duì)實(shí)現(xiàn)數(shù)據(jù)表探查,可查看Oracle、MySQL、PostgreSQL、達(dá)夢(mèng)數(shù)據(jù)庫、人大金倉數(shù)據(jù)庫、翰高數(shù)據(jù)庫、Doris、StarRocks、Hive等多種數(shù)據(jù)源內(nèi)的數(shù)據(jù)表數(shù)據(jù)情況,支持探查結(jié)果的下載。
??也支持可通過sql語句對(duì)Oracle、MySQL、PostgreSQL、達(dá)夢(mèng)數(shù)據(jù)庫、人大金倉數(shù)據(jù)庫、翰高數(shù)據(jù)庫、Doris、StarRocks、Hive等多種數(shù)據(jù)源內(nèi)的數(shù)據(jù)表進(jìn)行數(shù)據(jù)的自由探查;
②?調(diào)度計(jì)算工具
為解決數(shù)據(jù)處理流程中錯(cuò)綜復(fù)雜的依賴關(guān)系,保證數(shù)據(jù)計(jì)算及時(shí)性,采購調(diào)度計(jì)算工具,要求支持調(diào)度系統(tǒng)在數(shù)據(jù)流程中開箱即用,支持流批一體混合計(jì)算模式,實(shí)現(xiàn)對(duì)多源異構(gòu)數(shù)據(jù)的離線處理、實(shí)時(shí)分析和流式計(jì)算處理,實(shí)時(shí)可視化監(jiān)控任務(wù)的運(yùn)行狀態(tài)。
產(chǎn)品功能需包括但不限于:總覽、離線項(xiàng)目管理、實(shí)時(shí)項(xiàng)目管理、資源中心、數(shù)據(jù)源中心、監(jiān)控中心、配置中心等內(nèi)容。
產(chǎn)品需滿足以下重點(diǎn)業(yè)務(wù)要求:
??支持離線任類型包括Shell、SQL語句、數(shù)據(jù)庫存儲(chǔ)過程、條件任務(wù)、嵌套子任務(wù)、Python、Spark、Flink、MR、HTTP、DataX、Sqoop等,支持拖拉拽任務(wù)繪制DAG工作流任務(wù);
??離線任務(wù)工作流定義運(yùn)行后,支持查看每個(gè)工作流的運(yùn)行情況,以甘特圖形式查看各個(gè)狀態(tài)的運(yùn)行節(jié)點(diǎn)時(shí)間軸;
??支持離線任務(wù)查看每條任務(wù)的運(yùn)行信息、運(yùn)行時(shí)長、重試次數(shù)等任務(wù)詳情信息,展示運(yùn)行日志;
??支持執(zhí)行類SQL任務(wù)的方式進(jìn)行實(shí)時(shí)數(shù)據(jù)處理,提供數(shù)據(jù)聚合、分析、計(jì)算、JSON處理以及數(shù)組處理相關(guān)SQL算子,此外還支持以自定義算子的形式實(shí)現(xiàn)實(shí)時(shí)業(yè)務(wù)處理邏輯;
??支持導(dǎo)入腳本模版,格式化代碼,語法提示,SQL預(yù)校驗(yàn)等可幫助快捷準(zhǔn)確錄入;
??支持多個(gè)數(shù)據(jù)源采集流式數(shù)據(jù),如API接口、數(shù)據(jù)庫、消息隊(duì)列等;
??支持多種不同協(xié)議和傳輸方式收集數(shù)據(jù),如TCP、UDP、HTTP等,支持由多個(gè)數(shù)據(jù)源并行收集數(shù)據(jù);
??提供包括filter、keyby、distinct、flatMap、map等算子,支持?jǐn)?shù)據(jù)過濾數(shù)據(jù)分組、數(shù)據(jù)去重、數(shù)據(jù)扁平化、數(shù)據(jù)格式轉(zhuǎn)換以及數(shù)據(jù)類型轉(zhuǎn)換等數(shù)據(jù)預(yù)處理功能;
??支持實(shí)時(shí)任務(wù)查看及檢索各個(gè)Flink實(shí)時(shí)任務(wù)的運(yùn)行日志信息,包括各版本運(yùn)行日志情況、任務(wù)狀態(tài),日志存放位置,日志詳情等信息;
??支持從數(shù)據(jù)治理工具進(jìn)行數(shù)據(jù)源信息同步,支持對(duì)Oracle、MySQL、PostgreSQL、Clickhouse、Doris、StarRocks、Hive、Impala、TiDB等數(shù)據(jù)源的創(chuàng)建、測試、增刪改查管理;
③??運(yùn)維監(jiān)控工具
為提升數(shù)據(jù)工程管理工具相關(guān)產(chǎn)品的運(yùn)維效率,本工具需實(shí)現(xiàn)對(duì)大數(shù)據(jù)集群的自動(dòng)化部署、運(yùn)維、監(jiān)控、巡檢、告警等一站式管理,支持管理網(wǎng)絡(luò)設(shè)備、服務(wù)器、數(shù)據(jù)庫、中間件、服務(wù)、安全設(shè)備、虛擬機(jī)集群、存儲(chǔ)運(yùn)維管理、機(jī)房動(dòng)環(huán)等,并提供7*24不間斷監(jiān)測服務(wù),支持故障快速定位,幫忙實(shí)施團(tuán)隊(duì)掌握全局網(wǎng)絡(luò)運(yùn)行狀態(tài),保障整個(gè)數(shù)據(jù)工程管理工具的平穩(wěn)運(yùn)行。
產(chǎn)品功能需包括但不限于:監(jiān)控管理、運(yùn)維管理、巡檢管理、告警管理、日志管理、配置管理等內(nèi)容。
產(chǎn)品需滿足以下重點(diǎn)業(yè)務(wù)要求:
??提供拓?fù)鋱D,展示主機(jī)和服務(wù)資源的結(jié)構(gòu)分布、鏈路關(guān)系、性能指標(biāo)和運(yùn)行狀態(tài),需包含主機(jī)拓?fù)鋱D和服務(wù)集群拓?fù)洌鳈C(jī)拓?fù)渲С植榭锤髦鳈C(jī)設(shè)備健康狀態(tài)及連接狀況,查閱告警信息,定位告警問題;服務(wù)集群拓?fù)渲С植榭锤鞔髷?shù)據(jù)服務(wù)組件、類型、實(shí)例、角色鏈路關(guān)系及異常情況,高亮閃動(dòng)提示,支持在拓?fù)鋱D上直接操作啟動(dòng)、重啟、停止服務(wù)運(yùn)維事件。
??提供服務(wù)器監(jiān)控、服務(wù)監(jiān)控、網(wǎng)絡(luò)監(jiān)控等功能,監(jiān)控各服務(wù)器、服務(wù)集群、接口端口的網(wǎng)絡(luò)狀態(tài)、當(dāng)前運(yùn)行的性能參數(shù)指標(biāo),每個(gè)服務(wù)指標(biāo)的變化可視化統(tǒng)計(jì)及異常告警統(tǒng)計(jì)信息;
??服務(wù)器監(jiān)控需提供以服務(wù)器維度查看各個(gè)服務(wù)器狀態(tài),性能參數(shù)需包括:服務(wù)器組、服務(wù)器、狀態(tài)、CPU、5分鐘負(fù)載、內(nèi)存、本地存儲(chǔ)、磁盤讀寫、網(wǎng)絡(luò)上傳/下載信息,并可清晰查看每個(gè)服務(wù)器下的服務(wù)監(jiān)控狀態(tài)及日志檢索;
??服務(wù)監(jiān)控需提供各服務(wù)集群的狀態(tài)監(jiān)控,針對(duì)不同的組件支持不同的監(jiān)控內(nèi)容(包括hdfs、yarn、kafka等服務(wù)類型),服務(wù)監(jiān)控支持級(jí)聯(lián)查看服務(wù)集群、服務(wù)類型、服務(wù)角色、服務(wù)實(shí)例,監(jiān)控?cái)?shù)據(jù)包含角色指標(biāo)和jvm指標(biāo),如:JVM堆內(nèi)存、GC、CPU使用率、線程數(shù)、TPS、吞吐量等;
??網(wǎng)絡(luò)監(jiān)控需提供針對(duì)接口和端口的監(jiān)控,接口實(shí)時(shí)在線監(jiān)控需包括:接口名稱、源主機(jī)、監(jiān)控地址、請(qǐng)求方式、返回碼、響應(yīng)時(shí)間、監(jiān)控狀態(tài);端口實(shí)時(shí)在線監(jiān)控需包括:源主機(jī)、IP、端口、監(jiān)控狀態(tài)以及響應(yīng)時(shí)長對(duì)比;
??支持線上服務(wù)運(yùn)維,可以進(jìn)行啟動(dòng)、重啟、停止操作事件,便于發(fā)現(xiàn)異常后直接通過工具便捷操作,查看運(yùn)行狀態(tài)及操作日志。
??支持線上巡檢,支持通過自定義設(shè)置巡檢對(duì)象,檢查指標(biāo)、周期策略等進(jìn)行即時(shí)性、周期性等巡檢工作的自動(dòng)化執(zhí)行,并生成標(biāo)準(zhǔn)可視化報(bào)告;
④ 數(shù)據(jù)共享交換工具
為解決跨行業(yè)、跨部門間的數(shù)據(jù)資源共享,實(shí)現(xiàn)數(shù)據(jù)資源有序可控的統(tǒng)籌管理與得當(dāng)利用,本工具需要結(jié)合行業(yè)標(biāo)準(zhǔn)或技術(shù)規(guī)范******集團(tuán)信息資源目錄,完成各類數(shù)據(jù)資源進(jìn)行歸集匯總,通過文件或接口等共享方式提供給第三方平臺(tái)或系統(tǒng)。
產(chǎn)品功能需包括但不限于:數(shù)據(jù)資源、數(shù)據(jù)統(tǒng)計(jì)、共享管理、審核管理等內(nèi)容。
產(chǎn)品需滿足以下重點(diǎn)業(yè)務(wù)要求:
??支持結(jié)合行業(yè)標(biāo)準(zhǔn)或技術(shù)規(guī)范(集團(tuán)職能管理和物流貿(mào)易等)等梳理形成信息資源目錄,按行業(yè)、業(yè)務(wù)、主題、數(shù)據(jù)提供單位進(jìn)行資源的分類展示,數(shù)據(jù)使用方可根據(jù)應(yīng)用場景選擇合適的數(shù)據(jù)進(jìn)行數(shù)據(jù)接口申請(qǐng)或數(shù)據(jù)文件下載;
??數(shù)據(jù)資源目錄是以信息資源核心元數(shù)據(jù)為基礎(chǔ),對(duì)信息資源進(jìn)行分級(jí)分類和格式標(biāo)準(zhǔn)化,形成有序組織,不同的業(yè)務(wù)展示不同的資源目錄。
??支持?jǐn)?shù)據(jù)資源詳情展示,包括資源目錄的基本信息:資源名稱、資源簡介、共享?xiàng)l件、數(shù)據(jù)來源、更新頻率、更新方式、數(shù)據(jù)使用情況以及數(shù)據(jù)項(xiàng)信息、掛接的接口信息或數(shù)據(jù)文件。
??支持?jǐn)?shù)據(jù)實(shí)施團(tuán)隊(duì)進(jìn)行接口配置,通過接口服務(wù)申請(qǐng),審核通過后生效,申請(qǐng)內(nèi)容包括資源名稱、申請(qǐng)用途、申請(qǐng)要求、申請(qǐng)人、申請(qǐng)單位、共享方式等內(nèi)容。
??支持實(shí)施團(tuán)隊(duì)進(jìn)行數(shù)據(jù)配置共享,包括:是否允許共享、共享?xiàng)l件、共享方式、提供數(shù)據(jù)下載和接口服務(wù),該模塊的數(shù)據(jù)資源(資源目錄管理、接口創(chuàng)建)來源于“數(shù)據(jù)治理工具”,治理工具梳理資源后同步到共享工具進(jìn)行資源共享關(guān)聯(lián)、共享配置管理。
⑤ 數(shù)據(jù)融合展示工具
數(shù)據(jù)融合展示工具要求連接數(shù)據(jù)庫、大數(shù)據(jù)平臺(tái)、API接口等作為數(shù)據(jù)源,將復(fù)雜數(shù)據(jù)直觀映射,實(shí)現(xiàn)全局?jǐn)?shù)據(jù)融合展示,支持通過拖拉拽方式快速制作圖表或大屏頁面進(jìn)行分享展示。
產(chǎn)品功能需包括但不限于:數(shù)據(jù)處理、儀表板、數(shù)據(jù)大屏、系統(tǒng)配置等內(nèi)容。
產(chǎn)品需滿足以下重點(diǎn)業(yè)務(wù)要求:
??支持管理Oracle、MySQL、PostgreSQL、Clickhouse、Doris、StarRocks、Hive各類數(shù)據(jù)連接信息,是數(shù)據(jù)分析操作中數(shù)據(jù)的來源,支持關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)倉庫、API等多種數(shù)據(jù)源類型;
??支持為數(shù)據(jù)分析或報(bào)表制作等操作進(jìn)行相關(guān)的數(shù)據(jù)準(zhǔn)備、加工,支持計(jì)算字段可在當(dāng)前數(shù)據(jù)集字段的基礎(chǔ)上通過公式或函數(shù)生成新的字段。
三、數(shù)據(jù)工程管理工具技術(shù)要求
??需具備高效的數(shù)據(jù)存儲(chǔ)和處理能力,能夠處理TB級(jí)別(超過1000GB)海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),包括數(shù)據(jù)的輸入、清洗、存儲(chǔ)、查詢和計(jì)算等。
??采用分布式計(jì)算和并行處理技術(shù),通過橫向擴(kuò)展提高計(jì)算能力和處理效率,同時(shí)支持并行訪問和處理大規(guī)模數(shù)據(jù)。橫向擴(kuò)展后可以支持創(chuàng)建超過2000個(gè)計(jì)算任務(wù),使用Pipeline架構(gòu)執(zhí)行引擎,支持同時(shí)超過100個(gè)任務(wù)的并行執(zhí)行。
??底層采用MPP(Massively Parallel Processing)架構(gòu)設(shè)計(jì),支持PB級(jí)別(超過1000TB)的數(shù)據(jù)存儲(chǔ)能力,支持對(duì)TB級(jí)別(超過1000GB)的單表數(shù)據(jù)進(jìn)行秒級(jí)讀取和計(jì)算操作。
??大數(shù)據(jù)集群上的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),均采用多副本(默認(rèn)為3份)的方式進(jìn)行分布式存儲(chǔ),同時(shí)實(shí)現(xiàn)了對(duì)數(shù)據(jù)的并發(fā)訪問支持和安全備份能力。
??大數(shù)據(jù)集群,支持服務(wù)的橫向伸縮。當(dāng)集群訪問增加時(shí),可以通過集群的橫向擴(kuò)展(節(jié)點(diǎn)成倍擴(kuò)展,例如從3節(jié)點(diǎn)擴(kuò)展到6節(jié)點(diǎn)),來滿足數(shù)據(jù)的存儲(chǔ)和計(jì)算需求,確保系統(tǒng)的穩(wěn)定性和高可用性。
??簽訂合同后,一周內(nèi)完成產(chǎn)品交付,對(duì)數(shù)據(jù)治理團(tuán)隊(duì)進(jìn)行產(chǎn)品培訓(xùn),且有專業(yè)工程師7*24技術(shù)支持。
??提供一年免費(fèi)運(yùn)維,包括使用過程中的技術(shù)答疑、支持、培訓(xùn)、版本升級(jí)等內(nèi)容。
??要求投標(biāo)單位協(xié)助編寫著作權(quán)文檔,且著作權(quán)歸甲方所有。
??要求工具界面風(fēng)格、工具界面名稱、工具******集團(tuán)要求進(jìn)行調(diào)整。
?