一体化智能化公共数据平台项目

       近年来，中央提出创新驱动发展“新常态”，鼓励充分利用新一代信息技术发展和知识社会的下一代创新机遇，简政放权、强化法治、鼓励创新创业、激发市场和社会活力，并出台一系列鼓励大众创新、万众创业的举措。

在这种背景下，“互联网+”行动和大数据应用上升为国家战略，出台了一系列促进互联网+行动实施和大数据产业发展的政策措施。国务院办公厅和国家发改委相继发布了《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕50号）、《国务院关于印发政务信息资源共享管理暂行办法的通知》（国发〔2016〕51号）、《国务院关于印发“十三五”国家信息化规划的通知》（国发〔2016〕73号）、《国务院办公厅关于印发政务信息系统整合共享实施方案的通知》（国办发〔2017〕39号）、《“互联网+政务服务”技术体系建设指南的通知》（国办函〔2016〕108号）等一系列促进互联网+政务服务实施和大数据产业发展的政策措施。

为全面贯彻落实国家大数据发展战略，根据《浙江省人民政府办公厅关于印发浙江省数字化转型标准化建设方案（2018-2020年）》（浙政办发〔2018〕70号）、《“最多跑一次”改革信息资源共享建设方案》（浙政办发〔2017〕85号）等文件精神，按照我省数字政府建设“四横四纵”总体框架和“152”体系建设的基本思路，以深化“最多跑一次”改革，推进政府数字化改革为目标，柯桥区政府提出柯桥数字化改革转型战略。

柯桥区提出建设柯桥区一体化智能化公共数据平台，以推动柯桥区大数据的建设和发展，通过柯桥区一体化智能化公共数据平台，汇聚全区各部门本地沉淀数据及浙江省级、绍兴市相关部门的数据。一方面可大大提升相关部门的数据处理能力，整合政务资源，提高工作效率和服务能力；另一方面可以利用丰富的数据资源，结合行业业务将理论、业务、技术三方融合，为领导决策提供依据、为政策制定提供建议、为政策落实提高精准度。为浙江省数字化改革建设提供柯桥标准、柯桥样本。

在“152”任务部署中，其中的“1”即是一体化智能化公共数据平台。柯桥区大数据中心作为数字化改革任务中的一个基础支撑部门，将坚持以一体化智能化公共数据平台为核心，贯穿整个“152”体系建设的工作中。一体化智能化公共数据平台的建成是要全面服务全区各机关、企事业单位等改革主体，有效支撑柯桥区党政机关整体智治、数字政府、数字经济、数字社会、数字法治五大领域的数字化改革工作开展。

1.2建设目标

柯桥区一体化智能化公共数据平台基于全省“两掌”和“四横四纵”平台架构，按照“以用促建，统筹规划，共建共享，标准规范和安全可控”的五大原则，（即“坚持需求导向，强化平台建设的针对性和有效性；坚持‘全区一盘棋’、市区镇街联动，加强顶层设计和鼓励创新相结合；坚持集约建设，多方参与，共创共享共优；坚持标准引领，以标准化促进数据深度融合，系统互联互通；坚持网络安全底线，完善网络和数据安全管理制度，落实安全主体责任”），谋划建设柯桥区一体化智能化公共数据平台。

根据省大数据局已经下发《县级公共数据平台建设导则》（以下简称“《导则》”），整理归纳出本期项目建设的三个方面重要目标。一是，整体平台建设的架构设计，包括平台架构设计，明确各子系统组成；二是，重点围绕数据资源体系，进行县级公共数据平台的功能及数据服务建设，包括：数据归集（集成），数据治理，数据共享，数据仓，主题库专题库。三是，按照省市县平台一体化要求，完成区平台与市平台的对接工作，包括用户体系对接，数据对接、功能对接。

1.3建设依据

《浙江省大数据发展管理局关于印发县级公共数据平台建设导则的通知》（浙数局发〔2021〕1号）

《关于数字化改革总体方案的汇报》；

《关于一体化智能化公共数据平台方案及综合集成思路的汇报》。

《浙江省深化“最多跑一次”改革推进政府职能转变和“放管服”改革行动计划（2018-2022年）》；

《国务院办公厅关于印发“互联网+政务服务”技术体系建设指南的通知》（国办函〔2016〕108号）；

《中华人民共和国国民经济和社会发展第十三个五年规划纲要》（2016年3月）；

《国家信息化发展战略纲要》（中发办〔2016〕48号）；

《国家创新驱动发展战略纲要》；

《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕50号）；

《国务院关于积极推进“互联网＋”行动的指导意见》（国发〔2015〕40号）；

《国家新型城镇化规划(2014－2020年)》；

《政务信息资源交换体系》（GB/T 21062-2007）；

《2006—2020年国家信息化发展战略》（中办发〔2006〕11号）；

《计算机软件开发规范》（GB8566-88）；

《数字浙江2.0发展规划》；

《浙江省促进大数据发展实施计划》；

《浙江省深化‘最多跑一次’改革,推进政府数字化改革专题会议》；

《浙江省数字化转型标准化建设方案（2018-2020）》

《浙江省信息化发展“十三五”规划（“数字浙江”发展规划）》；

《浙江省促进大数据发展实施计划》（浙政发〔2016〕6号）；

浙江省基本公共服务体系“十三五”规划》（浙政办发〔2016〕143号）；

《浙江省人民政府办公厅关于进一步加快软件和信息服务业发展的实施意见》（浙政办发〔2017〕153号）；

国家颁布的相关法律、法规、规范

1.4建设需求

1.4.1统一数据资源管理需求

建成柯桥区一体化智能化公共数据平台，支撑政府行业系统建设、满足委办局及公众的数据需求。即时、全量的数据才具有价值，要通过人工智能、数据即时同步等手段，实现数据资源的自动梳理、归类、动态调整，实现对应数据的实时即时汇聚更新。

作为城市公共数据资源整体的管理者，无论是元数据信息还是已在数据资源平台的信息，都需要对数据状态情况进行查看和分析。要求一体化智能化公共数据提供统一的数据资源服务平台，提供一站式的数据资源在线访问和使用服务。

1.4.2基础数据仓及数据运营需求

一体化智能化公共数据平台的建设需保障各部门单位快速获得稳定、可靠、高效的数据能力支撑，为各行业创新发展提供最大保障。一体化智能化公共数据需构建一站式的基础服务、数据运维管能力，实现统一的一体化智能化公共数据平台和数据仓的管理运营，并可对平台运行情况进行监控运维，包括数据监控运维、任务运行情况监控、异常情况告警、日常运维数据统计等功能，实现高可靠高质量的数据赋能行业。

1.5总体架构

一体化智能化公共数据平台数据资源体系分省市区（县）三级平台建设。省级平台负责全省公共数据编目、归集、治理、共享、开放和安全管理，建设五大基础库、大数据处理分析系统、开放域系统等基础设施，建立各市数据集，指导市级平台、市级数据仓建设和管理。市级平台负责建设市数据仓，承接省级平台下发的市数据集，建设本市范围内数据的编目、归集、治理、共享、开放和安全管理能力，建设本地物联网感知数据库和特色专题数据库，并指导所辖区（县）级平台建设和管理。

柯桥区一体化平台将基于绍兴“城市大脑”柯桥平台上建设。通过建设柯桥区一体化智能化公共数据平台，按照绍兴市平台对区县统一对接的标准规范与接口说明，进行本地平台的对接开发，满足承接绍兴市级平台回流下发的区数据集需求，统筹柯桥区范围内数据的编目、归集、治理、共享、开放和安全管理能力，负责本地物联网感知数据库和其他特色专题数据库建设，创新试点建设乡镇（街道）等数据仓。

1.6建设内容

1.6.1数据归集（集成）系统扩容

数据归集（集成）系统为打通各种异构数据系统间的壁垒,提供安全、快速和高效率的数据交换工具,能很好的支持绝大多数关系型数据库,还能满足业务系统数据到大数据平台(如hadoop的HDFS和Hive)的数据全量及增量数据同步,提供业务系统数据和阿里云数据组件ODPS、ADS及RDS的数据互通,为各种业务场景提供数据交换的基本保障。

此外,数据归集（集成）系统还能胜任用户的日常ETL工作,分布式的架构可以通过增加工作节点的方式提高整体的作业性能,满足大数据量处理的需求。自定义的调度计划,可以根据用户实际需求进行设置,满足日常跑批作业、全量/增量（基于日志的增量）同步等不同业务场景的自动调度需要。

1、提供简单、易用的开发、管理工具，提供从数据归集（集成）逻辑的设计、开发、调试、部署，到运行、管理、监控各个生命周期不同阶段的集成开发工具。

2、提供对Oracle、SqlServer、MySql数据库类型实时日志增量同步功能。

3、提供文件解析和传输功能，FileServer支持SMB、OSS、SFTP、FTP、Loca等文件共享协议。

4、本次提供的数据归集（集成）（采集、转换、加载）服务能力不低于16核CPU授权

1.6.1.1技术规格要求

支持分布式云架构设计（通过Kubernetes化技术）实现云上和云下部署，支持单机部署与集群部署。

支持通过Kubernetes容器化技术实现分布式部署架构，支持单机部署和集群部署模式。

要求支持适配各种主流数据库，包括但不限于Oracle、MySQL、SQL Server、PostgreSQL、MongoDB、Sybase、Teradata和DM、GBase、GaussDB等；。

要求支持多种主流大数据平台，包括Hadoop、FusionInsight、MaxCompute等三种及以上主流大数据平台（要求提供至少与一种大数据平台兼容性互通测试报告证明材料）。

需要具备文件搬移与文件解析功能；具备文件夹（目录）增量同步功能，具备针对文件夹的子文件夹和文件增、删、改操作的实时增量同步功能（要求提供软件功能截图证明材料）。

需要具备基于日志的数据库实时增量数据抽取功能，包括但不限于Oracle、MySQL等（要求提供软件功能截图证明材料）。

具备基于日志的分布式数据库增量同步功能（要求提供软件功能截图证明材料)。

具备批量创建作业功能；ETL任务同步时，批量作业支持一个任务管理多张表的数据同步；同步至目的库支持增加入库时间功能（要求提供软件功能截图证明材料）。

支持Web页面的拖拉拽式数据交换管理，方便运维人员通过图、表的形式直观的了解数据ETL任务的情况，并进行任务的管理。

具备异构数据库（无目的表的情况下）自动建表功能（要求提供软件功能截图证明材料）。

基于部署在千兆网络带宽环境下，单节点数据传输速度不低于110MB/s。（要求提供第三方机构出具的检测报告关键页（首页、目录页、签字盖章的检测结论页及含有“数据传输性能”检测项页）。

具备自动断点续传功能，在网络故障和服务器故障修复后，可自动重启中断的交换任务，并从故障点续传数据。

采用的软件产品需能兼容国产芯片，需提供与龙芯、众志、神威等任意一个国产芯片兼容性互认证明材料（要求提供相关认证证书复印件）。

具备多租户管理功能，租户内的资源共享，租户间的资源隔离，租户内的成员可独立分配权限。

1.6.2原有数据归集系统改造

对原有数据归集系统进行改造，实现区域数据归集功能升级，满足区级公共数据平台最新建设要求。按照《浙江省公共数据交换平台管理办法》和《浙江省公共数据交换技术规范》相关建设内容及管理要求，完成区级数据归集系统改造。

1、数据归集清单管理：通过数据归集清单，实现数据归集任务和已归集情况的列表化呈现。支持数据库、接口、文件的归集方式。

2、数据交换改造：通过与第三方数据源实现定时同步的方式，完成数据的自动抽取采集，实现批量数据的交换采集。

3、接口数据采集：通过与配置的数据资源目录实现数据的关联，通过配置数据接口的形式，实现通过向第三方提供数据接口，实现数据接收和采集。

4、文件数据采集：支持数据文件的批量导入，适用于离线历史数据的一次性导入。同时能在一定程度上保障数据的传输速度、质量和安全。

5、数据监控与分析：数据监控管理主要是对数据监控的记录，包括数据名称、监控状态、监控条数、监控成功数、监控失败数、监控时间、监控方式等信息。

1.6.3数据服务链

数据服务链把多种数据使用场景抽象成数据服务，包括：统一查询、比对订阅、数据填报等，可以快速支撑开发和上线多种数据服务，实现数据服务的即插即用。

数据服务链支持水平部门间的横向级联以及垂直部门间的纵向级联，通过横纵向数据服务链联盟，打造全域信息资源“一盘棋”，实现数据资源的资产化、数据资产的服务化、数据服务的价值化。

1、数据查询服务：通过统一的数据接口和标准化查询结构为调用者提供结构化数据的查询服务，支持配置多种查询条件组合参数，支持多表联合查询，支持自定义数据返回内容。

2、数据审批下载服务：对于不具备部门本地存储的场景，数据下载服务支持将数据资源以文件的方式下载到使用人的个人本地终端中。

3、数据比对订阅服务：通过统一的数据接口和标准化查询结构为调用者提供数据比对服务。

4、数据填报服务：用于解决用户在缺乏信息系统支撑的条件下，依靠人工或简单表格工具的方式进行复杂数据收集的场景。

1.6.3.1技术规格要求

录入数据库资源，可根据所选表或视图自动填充字段信息，可配置排序字段及单次最大查询条数，配置行控制条件（要求提供软件功能截图证明材料）。

具备统一查询功能，允许调用者只使用数据查询服务单一接口实现所有的权限范围内的数据查询需求。

具备服务级限速、应用级限速、支持多种访问认证方式（免认证、Basic认证、Digest认证、Token认证）、黑白名单。（需提供含有对应功能描述的第三方机构出具的软件测试报告关键页（首页、目录页、签字盖章的检验结论页及相应功能描述测试项的页）。

服务响应性能不低于TPS 3000（需提供相应性能的第三方机构出具的测试报告关键页（首页、目录页、签字盖章的检验结论页及含有“服务响应性能”测试项的页）。

单服务数据传输速度不低于100MB/s（需提供相应性能的第三方机构出具的测试报告关键页（首页、目录页、签字盖章的检验结论页及含有“数据传输性能”测试项的页）。

支持可视化方式对比对条件进行配置，为调用者提供数据比对服务和消息通知服务，支持自定义比对规则；（要求提供软件功能截图证明材料）。

支持针对分布式关系型数据库的分布式节点进行实时增量抽取，包含新增数据、更新数据，物理删除数据。（需提供含有对应功能描述的第三方机构出具的软件测试报告关键页（首页、目录页、签字盖章的检验结论页及相应功能描述测试项的页）。

支持通过Kafka按照订阅规则分发数据。（要求提供软件功能截图证明材料）。

1.6.4数据标准

数据标准建设内容包括数据元、业务对象、代码集、数据标准继承、数据标准订阅，建设完善数据标准管理体系，为各类应用、数据共享提供统一标准支撑。

1.6.4.1技术规格要求

1、数据元：

支持保存数据元和业务单位的关联关系。实现将数据元与组织机构单位进行绑定，明确数据标准的定义、维护责任单位，保证数据标准管理的规范性。

支持批量数据元导入功能。实现通过Excel文件将数据元批量导入至平台，支持数据元Excel批量导出。

2、业务对象

支持对业务对象进行新增、修改、删除等操作，提交、审核、发布等流程管理，并记录版本描述，形成业务对象版本，同时关联上一版本的描述信息。

3、代码集

提供代码集维护功能，支持用户对代码集做新增、修改、删除等操作，实现代码集的新增、修改、删除等操作，提交、审核、发布等流程管理，并记录版本描述，形成代码集版本，同时关联上一版本的描述信息。

4、数据标准继承

支持批量、单个继承绍兴市公共大数据平台的数据元、代码集和验证规则，提供继承过程方案说明和系统截图。

5、数据标准订阅

支持数据标准订阅功能。针对继承的数据元和业务对象，实现下级单位订阅关注的数据元，并能够接收订阅数据标准的更新。

1.6.5数据治理 系统

采用问题数据“发现——反馈——修正——检测”的闭环数据治理模式，支撑各部门协同、高效地开展数据治理工作。数据治理子系统提供质量检测、问题反馈等功能。

1.6.5.1技术规格要求

1、规则管理

支持政策相关文件的新增、修改、删除和基于文本内容的全文检索功能。

支持治理规则的新增、修改和删除功能。新增规则信息包括规则名称、规则分类（通用规则、业务规则）、规则内容和规则来源（自定义、编目系统）。

支持根据名称和内容查询规则的功能，并支持按规则分类、规则类型、规则来源进行筛选。

支持规则详情查看功能。包括规则名称、规则分类、规则内容、规则来源和规则绑定的数据表及字段。

支持与编目系统规则同步的功能。实现从编目系统中加载所有可用规则，并与现有规则进行比对，展示新增和修改的规则项（根据编码判断修改项）。

2、数据清洗

具备对归集数据流式清洗和离线清洗任务的管理能力，并可对清洗规则、数据标准进行相应的定义和配置，实现对问题数据的闭环治理。

支持清洗任务的执行状态查看功能，包括数据总量、清洗总量、清洗速度、优质/问题数据。

支持流式清洗的功能。后台根据规则库配置的规则，清洗消息队列中接入的业务数据，并将满足规则的数据写入目标数据库，问题数据写入问题数据库。

支持特定数据表的清洗记录展示功能，展示内容包括：清洗总量、数据总量、问题数据占比等。

支持数据清洗报表的PDF文件导出功能。

3、质量检测

具备数据质量评估功能。

具备问题数据的详情查看功能。根据错误报告和已下发的问题数据原因，在平台内查询错误数据的详情。

具备数据质量的绩效评分功能。

4、问题反馈

支持工单生成和派发功能。

支持工单处理反馈功能。

具备质量问题工单的统计分析结果展示功能，包括每个部门的工单处理及时性、有效性、工单数量等信息。

1.6.6数仓管理

数据仓库管理提供集中的数据仓库管理能力，展示各分层数据处理任务的分析进度、资源占比等信息，实现数据处理、加工任务的管理。数仓管理子系统提供仓库总览、库表管理、项目管理、数据资源、计算资源、数据分析功能。

1.6.6.1技术规格要求

1、仓库总览

支持对数据仓库中数据统计状况与运行状况进行统计、分析展示。

支持使用柱图、线图、饼图等多种图形，对各类数据的占比、变化等情况进行展示。

2、库表管理

支持分布式数仓的统一管理与维护。支持分布式数仓的库表配置、修改、删除等。

3、项目管理

支持计算资源信息与数据资源信息的管理与维护申请。

4、数据资源

具备数据资源模块，展示数据仓库数据资源。

支持数据资源的授权、详情查看、组织查询与数据资源查询。

5、计算资源

具备计算资源模块，展示数据仓库计算资源。

具备提供授权功能与查询功能，并可视化展示计算资源使用情况。

6、数据分析

支持在在平台上编写SQL查询指定数据表中的业务数据，并显示SQL语句的执行耗时、受影响行，为语句调优提供基础。

支持以数据分层、数据表所属的主题等分类为维度，统计数据仓库中的数据表数量和数据记录。

1.6.7数据看板

全面掌握全区数据资产状态，直观呈现全区目录、数据等信息资源状态。提供各单位数据资产登记情况、目录发布情况、数据上架情况等底数信息。

1.6.8数据归集服务

部门数据归集前置库   ：根据数据编目归集各部门数据到前置库。

前置库数据同步到数据治理平台： 将归集到前置库中的数据同步到数据治理平台。

归集数据同步市平台： 归集数据同步到市平台的柯桥数据归集库。

1.6.9数据共享服务

   通过表转服务的方式对库表进行封装转换实现数据的共享，实现本地接口数据的统一共享和统一管理，为区域范围内各应用的数据共享提供支撑。

1.6.10数据标准及治理服务

数据标准继承服务：   基于数据标准模块的功能，实现绍兴市到柯桥区的数据标准继承和落地。

数据元配置服务： 根据省市新数据标准体系共享数据资源情况，配置数据元。包括业务分类、数据元的标识码、字段名、字段中文名、数据格式。

业务对象配置服务 ：根据省市新数据标准体系共享数据资源情况，配置业务对象。包括业务分类、业务对象的标识码、名称、分类、版本、组成的数据元。

代码集配置服务   ：根据省市最新数据标准体系共享数据资源情况，配置代码集。包括业务分类、代码集的标识码、名称、版本、关联的数据元和代码集属性值。

数据标准库配置服务： 根据省市最新数据标准体系共享数据资源情况，通过选择业务对象进行组合的方式，配置数据表，并构建数据标准库。其他配置包括数据库名称、表名、表别名、索引、是否加密、加密方式等。

数据质量检测服务：   建立数据质量检测机制，配置在线清洗、离线清洗、流式清洗任务，并筛选出问题数据。

数据质量评分服务：   对各单位的数据质量进行评估报告，包含质量统计、质量报告、绩效评估。

数据问题反馈服务：   建立问题反馈机制，形成工单形式的问题处理、问题跟踪、问题评估，实现对问题数据的闭环管理

清洗规则更新服务：   结合实际情况对数据清洗规则进行不断迭代优化，根据业务要求细化清洗颗粒度，降低问题数据误判率，提高数据质量问题的识别率，提升数据治理质量效果，并及时将经过治理的数据推送至市公共数据平台。

1.6.11省市数据回流

数据回流服务（市平台部分）  ：将柯桥区回落数据仓数据与柯桥区的个性化数据在绍兴市级平台上实现融合分析，并申请导出，并在柯桥区平台上实现个性化分析，支撑本地数字化改革。主要工作包含存量数据回流、增量数据回流、回流数据处理。

乡镇（街道）数据仓   ：在归集本地个性化数据的基础上，融合下发数据，支撑本地数字化改革，按需建设乡镇（街道）数据仓。

物联感知数据仓库 ：基于已有的物联设备，采集、汇聚并统一管理其物联感知数据，建设形成柯桥区物联感知数据仓。

1.6.12一体化智能化公共数据平台统一门户

门户开发  ：一体化智能化公共数据平台门户系统开发.

用户中心  ：公共数据平台统一用户中心对接浙政钉等。

消息中心  ：实现审批流转过程中，与浙政钉消息接口推送。

单点登录  ：各上架到统一门户上的系统，实现单点登录功能。

1.6.13工作台开发与对接

用户权限申请模块：   用户权限申请注册，包括用户角色、授权期限。

应用上架注册模块：   应用上架到门户的注册，包括应用名称、开发者、服务地址、应用描述。

审批流程信息管理模块：  包括我的申请和我的待办，可根据不同的申请类型切换列表，进行进度查询及审核。

数据晾晒模块  ：包括目录指标晾晒以及数据质量晾晒。

知识库、意见箱模块   ：为更进一步服务好各个部门，同时基于省IRS建设思路，在运营运维子系统统分结合的模式下，建设柯桥区知识库、意见箱等系统模块。

1.6.14主题库/专题库建设

民生信息库主题库：在城市大脑一期的基础上，继续深化民生信息库建设，将民生信息库扩展至260个字段。

企业信息库主题库：在城市大脑一期的基础上，继续深化企业信息库建设，将企业信息库扩展至75个字段。

1.6.15市县功能对接

数据共享平台对接 ：对接市级数据共享平台，接口级联定制开发，支持归集api接口流转到数据共享平台

1.6.16数据密保服务

数据分级分类：基于公共数据资源目录，使用技术手段实现公共数据安全分类分级的属性标识，定期对公共数据安全属性进行评审和修订。

数据审计服务：从数据生命周期、数据使用业务场景等维度，借助相关日志审计分析工具，对各方的日常行为进行全面审计。

数据脱敏服务：根据数据分类分级结果，按需制定数据脱敏规则，保障敏感数据安全使用。

数据加密服务：采用符合国家相关密码标准或规范规定的数据加密方式与密码算法，提供数据加密、解密。

1.7采购清单