赛题业务场景：描述赛题相关的真实企业业务背景。从真实场景中，适当简化或者提炼出适合比赛的赛题场景

赛题要求系统主要模块和功能需求如下：

数据提取模块：连接不同位置数据源，采集到不同格式和内容的物流信息数据。

数据治理模块：要求动态设定治理规则，将采集数据按规则治理后存入DM8数据库中，并提供质量数据及补录功能。

数据服务模块：要求对外提供数据分析服务，旅行用品。

基本功能要求

1、在达梦云原生大数据平台上搭建所需环境，实现系统功能。

2、数据采集模块负责制定采集规则并采集数据。数据源为mysql数据库、hdfs存储、minio存储。数据文件格式分别为txt、csv、xls等。本次比赛提供物流相关模拟数据，也可以抓取互联网上公开数据，结合物流数据进行分析和数据挖掘，抓取数据可自行完成爬虫脚本的编写。

扩展要求：可动态管理（创建，修改，删除）数据源（灵活的数据源管理功能可作为加分项）。

3、数据治理模块负责制定治理规则，并按规则治理数据。

必做治理规则：

（1）“身份证号治理”，客户身份证必须符合规范。      

（2）物流单规则，物流信息里客户必须在客户数据中。

（3）治理完成数据和异常数据分开存放，异常数据提供处理界面，并能重新治理。

扩展要求：可动态配置治理规则，如数据聚合，数据去重，异常值检测，数据转换等。

4、数据存储共享模块，负责存储治理后数据和对外提供数据服务（接口服务、共享数据库）。

扩展要求：可动态配置接口服务、共享数据。

说明：数据存储，数据服务必须使用DM8数据库。

5、物流平台数据展示：

根据“数据治理”结果，开发一个“物流信息分析系统”，要求系统数据全部来源数据存储共享模块，系统至少包含如下功能模块：

（1）港口的吞吐量分析

（2）港口不同类型货物吞吐趋势

（3）港口货物吞吐同比环比

（4）不同货物吞吐占比

（5）不同货物流向分析

（6）不同类型货物堆场流转周期分析

完成以上内容同时可拓展开，进行港口效率、物流业务查询、集装箱跟踪等分析和查询。

扩展要求：

基于给出的数据集，结合其他数据集以充实数据分析，运用数据思维，发现与解释经济社会现象，探讨与解决社会问题。

例如：根据港口的生产作业数据，如：吞吐量、货物流入流出情况等，利用现有的算法或者自定义算法计算不同港口“物流景气指数”并完成景气指数和相关数据的展现；利用网上公开气象历史数据，结合不同港口数据。分析气候条件对吞吐量，货物流入流出等的影响，并完成相关数据的展现。

说明：“物流信息分析系统”必须在达梦云原生大数据平台或者达梦大数据分析平台上执行。

非功能性要求

1、系统操作全部在WEB界面中进行，过程流畅，无报错。

2、系统访问地址和数据展示WEB地址写到“演示PPT”中，并能顺利打开。

3、UI界面合理，美观。

4、要求原创、禁止抄袭

5、有扩展功能、创新意识、系统兼容性等均为加分项.

6、推荐使用国产软件，如DMETL、DMNCDB，达梦大数据分析平台等可获得加分

实现条件：开发环境、实验平台、开发语言、数据库、编译器、涉及硬件等实现条件

实验平台：达梦云原生大数据平台(Kubernetes+容器)

开发语言：Java、Python或Scala等

数据库：达梦数据库DM8

国产软件：达梦数据库DM8、DMETL等

开源软件：Hadoop、Spark、Tomcat、Nginx等

达梦相关软件和资料，参考达梦官网：www.dameng.com

测试数据或平台：提供给参赛者的测试环境和测试数据

样例数据下载：物流样例数据.xlsx

这个数据包只是一个参考样例

测试数据包会放在达梦云原生大数据平台内的hdfs，开源数据库等位置中供参赛者的提取。

开发所需设备及设备指标需求说明

参赛者本地PC开发测试。

部署在达梦云原生大数据平台（基于Kubernetes集群和容器）。

文档及其他要求

1、项目需求文档：详细描述该项目实现的功能。

2、系统设计说明：描述软件的架构、算法设计、接口设计、数据存储结构、数据库设计、界面设计等。

3、程序源代码：包含整个项目源代码，代码注释率达到25%。

4、用户手册：描述程序打包、镜像制作、安装和发布、配置和运行、操作说明等。

5、演示PPT视频：制作项目演示PPT并录制10分钟以内视频。

各评分项及大致占比

1、提交项目交付物，和系统搭建（10%）

考核项目：提交文档完整可读，按照演示PPT系统可访问。

2、数据采集功能实现（20%）

考核项目：完成数据采集基本功能，数据采集功能页面设计，扩展功能实现。采集过程运行正常，无报错。

3、数据治理功能实现（20%）

考核项目：完成数据治理基本功能，数据治理功能页面设计，扩展功能实现。治理过程运行正常，无报错。

4、数据存储共享服务功能实现。（20%）

考核项目：完成数据存储共享基本功能，数据存储共享页面设。扩展功能实现。

5、物流信息分析系统实现（30%）

考核项目：数据治理结果正确展示。数据展示流畅，美观。扩展功能实现。

初赛作品提交要求

1、源代码、数据库脚本等

2、演示PPT和视频（10分钟之内）

3、项目文档（项目需求和设计文档、用户手册等）

4、有扩展选做功能用到其他数据的。提交原始数据集。

【参赛团队作品中团队自主开发部分的软件作品著作权归参赛团队所有，其中具有市场应用及拓展的优秀作品，出题企业具有优先权，可以优先合作开发或者优先购买。另如基于该作品的任何合作升级开发、市场拓展等活动，以及在这一过程中所获得的任何商业费用，出题企业应与参赛团队协商解决。】