赛题业务场景：描述赛题相关的真实企业业务背景。从真实场景中，适当简化或者提炼出适合比赛的赛题场景

赛题将要求使用大数据等技术进行旅游数据处理和智能分析，将分析结果保存到DM8数据库中。使用前端开发技术对分析结果进行展示。

基本功能要求

1、旅游数据预处理

读取云平台的公共HDFS系统中提供的初始旅游数据，使用大数据并行计算框架，对其进行清洗、去重、缺失值处理、归一化、合并等预处理，并将结果保存到DM8数据库中。预处理至少包含如下操作：

（1）对多源数据进行合并去重。

（2）对部分缺失值进行填充，通信设备。

（3）对异常数据进行清洗。

说明：

（1）使用大数据并行计算框架进行数据处理。

（2）预处理程序必须在达梦云原生大数据平台上执行。

（3）数据库结构由选手根据提供的数据和需求，自行设计。

2、旅游数据智能分析

结合“1.旅游数据预处理”结果，使用大数据并行计算框架，对旅游数据进行分析。至少包含如下分析，将分析结果保存到DM8数据库。

（1）对景点数据进行多维度分析。

（2）对用户评论数据进行分析。

（3）根据用户出游需求，匹配旅游资源，给出推荐。

说明：

（1）使用大数据并行计算框架进行数据分析。

（2）智能分析程序必须在达梦云原生大数据平台上执行。

3、旅游数据可视化

根据“1.旅游数据预处理”和“2.旅游数据智能分析”处理结果，开发一个“旅游景区分析系统”，系统至少包含如下功能模块：

（1）景区管理：景区查询和统计分析。

（2）景点管理：景点查询和统计分析。

（3）评论管理：评论查询和统计分析。

（4）推荐管理：根据用户的旅游需求和推荐结果，进行可视化显示。

说明：“旅游景区分析系统”必须在达梦云原生大数据平台上执行。

非功能性要求

1、旅游数据预处理效果良好。

2、运行效率能达到秒级。

3、界面美观，用户体验良好。

实现条件：开发环境、实验平台、开发语言、数据库、编译器、涉及硬件等实现条件

实验平台：达梦云原生大数据平台(Kubernetes+容器)

开发语言：Java、Python或Scala等

国产软件：DM8数据库等

开源软件：Hadoop及其生态组件

达梦相关软件和资料，参考达梦官网：www.dameng.com

测试数据或平台：提供给参赛者的测试环境和测试数据

旅游数据下载：初始旅游数据.zip

开发所需设备及设备指标需求说明

使用达梦云原生大数据平台，基于Kubernetes集群和容器

文档及其他要求

1、项目需求和设计文档：项目实现的功能、软件的架构、算法设计、接口设计、数据存储结构、数据库设计、界面设计等。

2、用户手册：描述程序打包、镜像制作、安装和发布、配置和运行、操作说明（操作说明中要写清楚各程序的访问地址）等。

3、程序源代码：包含整个项目源代码，代码注释率达到25%。

4、演示PPT和视频：制作项目演示PPT，并录制10分钟以内视频。

各评分项及大致占比

1、提交项目交付物（10%）

2、实现项目功能（50%）

3、技术创新（40%）

初赛作品提交要求

1.源代码、数据库脚本等

2.演示PPT和视频（10分钟之内）

3.项目文档（项目需求和设计文档、用户手册）