赛题业务场景：描述赛题相关的真实企业业务背景。从真实场景中，适当简化或者提炼出适合比赛的赛题场景

要求采集“大数据”相关岗位的招聘数据，使用大数据技术进行招聘数据处理和智能分析，将分析结果保存到达梦数据库DM8中，并使用前端开发技术对分析结果进行展示。

基本功能要求

1、数据采集

分析相关求职网站，采集“大数据”相关岗位的招聘数据，要求采集的数据分布合理，将采集数据源写入HDFS中。

2、岗位数据智能分析和可视化

使用大数据技术和并行计算框架等，对采集数据进行处理和智能分析，将分析结果保存到达梦数据库DM8，所有可视化数据均来自该数据库。

（1）使用大数据处理技术对职位信息进行清洗、去重等。

（2）从采集数据中提取求职岗位名称，如：大数据开发工程师、大数据运维工程师等，将结果保存到达梦数据库DM8，电子打标。

（3）使用大数据处理技术从职位信息中提取专业技术术语，如：Hadoop、SparkSQL等，将结果保存到达梦数据库DM8。

（4）针对岗位信息进行多维度分析（如岗位名称、招聘总数量、平均薪资、最高薪资、最低薪资、专业技术术语等），将结果保存到达梦数据库DM8，按年和月，以图表形式显示。

（5）针对招聘数量进行多维度分析（如岗位、时间、专业技术术语、城市等），将结果保存到达梦数据库DM8，以图表形式显示。

（6）针对岗位薪资进行多维度分析（如岗位、时间、专业技术术语、城市等），将结果保存到达梦数据库DM8，以图表形式显示。

（7）统计招聘最热城市，显示排名前20的城市。

非功能性要求

1、将采集数据源地址写到“项目需求文档”和“演示PPT”中。

2、运行效率能达到秒级。

3、界面美观，用户体验良好。

4、数据集要达到二十万以上样本，达到五十万以上样本，可获得加分。

实现条件：开发环境、实验平台、开发语言、数据库、编译器、涉及硬件等实现条件

实验平台：达梦启云云应用平台(Kubernetes)

开发语言：开发语言不限

国产软件：达梦数据库DM8、DMETL、DMPP等

开源软件：Hadoop及其生态组件

达梦相关软件和资料，参考达梦官网：www.dameng.com

测试数据或平台：提供给参赛者的测试环境和测试数据

开发所需设备及设备指标需求说明

使用达梦启云云应用平台，基于Kubernetes集群和容器。

文档及其他要求

1、项目需求文档：列明采集数据源地址，详细描述该项目实现的功能。

2、系统设计说明：描述软件的架构、算法设计、接口设计、数据存储结构、数据库设计、界面设计、详细设计等。

3、程序源代码：包含整个项目源代码，代码注释率达到25%。

4、用户手册：描述程序打包、镜像制作、安装和发布、配置和运行、操作说明等。

5、演示PPT：制作项目演示PPT

各评分项及大致占比

1、提交项目交付物（15%）

2、实现项目功能（65%）

3、技术创新（20%）

初赛作品提交要求

1.采集的原始数据集（CSV）

2.源代码、数据库脚本

3.智能分析结果数据库文件（导出为SQL脚本）

4.项目相关镜像

5.演示PPT和视频（10分钟之内）

6.项目文档（需求文档、设计文档、用户手册等）