联系我们:010-88559646

  老师群

170086145

  学生群

179326524

209318323

215410234

客服电话:010-88559646

A3-基于人工智能的数据库参数智能推荐系统

时间:2024-04-03 15:09:16

第十三届中国软件杯大赛--A组赛题 

赛题名称:基于人工智能的数据库参数智能推荐系统

组类:A组( 本科、研究生、高职)

出题企业武汉达梦数据库股份有限公司

答疑QQ群:752990488
 

赛题简介:介绍整个赛题的实现目标、实用价值、涉及技术和整体要求

本题要求参赛选手开发一套对数据库进行智能参数推荐的系统,建立智能参数推荐的AI模型,应包括算法模型、负载工具、性能验证等模块,基于AI4DB理念,利用云计算+AI能力赋能数据库,对数据库进行性能优化,让最终应用和模型成果达到DBA能力或者辅助数据库使用者,给他们带来良好的体验。
 

赛题业务场景:描述赛题相关的真实企业业务背景。从真实场景中,适当简化或者提炼出适合比赛的赛题场景

当前众多数据库厂商在管理运维方面均存在诸多痛点,如:

  •  数据库设计仍然基于经验方法和人工规则;

  • l需要大量的人员参与,特别是出现复杂问题时,可能需要多个DBA来调整和维护数据库,耗费巨大的时间和成本。

针对智能参数调优场景,数据库中有数百个参数, 需要DBA手动调整以适应不同的场景,工作量较大、时间较长。同时,数据库社区也正在试图利用机器学习技术自动调整参数, 可以协助DBA更好的对数据库性能调优。
 

基本功能需求

1、 系统可以部署,正常运行。
2、 系统功能模块一:建立数据集收集器或阈值处理器。
① 收集和管理给定的可调参数;
② 对给定的可调参数针对硬件、软件环境进行动态设置和调整,产生阈值设定的数据集,作为输入供给模型。
3、 系统功能模块二:负载工具管理。
① 将BenchmarkSQL集成至应用,实现应用调用工具对数据库进行压测,同时工具的运行参数需要动态化配置。
② 收集BenchmarkSQL压测后产生的结果,对每一轮训练的结果进行保存和展示。
4、 系统功能模块三:指标收集功能。
① 对数据库压测时,需要收集数据库的运行情况,对其运行情况进行多维度指标收集,包括不仅限于事务数、SQL延迟率、资源占用率等。
② 收集系统或硬件指标,包括不仅限于CPU、内存、存储IO。
5、 系统功能模块四:参数推荐功能。
① 模型训练过程的可视化(过程日志)和可观测性视图展示。
② 每轮推荐出参数设置并展示,并与对应的最终TPS结果一并展示(包括且不仅限于table列表、chart图表)。
③ 展示最优参数配置。
④ 训练任务可重复执行,且支持任务异常中断后,从中断处继续训练。
 

非功能性需求

1、系统易用性,提供清晰的用户界面和友好的交互体验。
2、系统部署、运行、功能模块使用等在“演示视频”中清晰展示。
3、 UI界面合理,整洁。
4、 要求原创、禁止抄袭,如出现数据造假情况,则取消该队伍参赛资格。
5、 扩展功能创意好、系统兼容性佳等均为加分项.
扩展功能一:能根据每轮的参数取值对应的TPS情况,分析出参数关联性、性能取值规律等。
扩展功能二:通过系统参数,如内核配置调整使数据库性能提升。
扩展功能三:能将自己设计的创新性算法模型充分利用或通过PPT展示出来。
 

实现条件:开发环境、实验平台、开发语言、数据库、编译器、涉及硬件等

操作系统:Linux
开发语言:不限
数据库:达梦数据库DM8
负载工具:BenchmarkSQL v5.0(100仓200线程10min)
算法建议:GPR、SMAC、DDPG(仅供参考,包括但不仅限于上述算法,可根据实际情况自行选择最优算法)
达梦相关软件和资料:www.dameng.comDM 物理存储结构 | 达梦技术文档 (dameng.com)
 

测试数据或平台:提供给参赛者的测试环境和测试数据。

DM8安装包下载地址、DM8可调参数列表、BenchmarkSQL v5.0安装包、BenchmarkSQL的设置文档。

下载链接:https://pan.baidu.com/s/19fETPn7J97XKNuOTG6il-g

提取码:8c99 

 

开发所需设备及设备指标需求说明

优化的目标“达梦数据库DM8”安装在通用型4核、16GB内存、120GB高速硬盘的公有云虚拟主机上,X86架构,操作系统版本为centos7.9。参赛者自行准备类似性能主机开发测试。
 

文档及其他要求

文档内容包括模型介绍、实现思路、原理分析、和最优参数。
 

各评分项及大致占比

1、提交项目交付物,和系统运行(10%)
考核项目,提交文档完整可读,视频中演示系统部署运行使用的过程。
2、数据集收集器或阈值处理器(10%)
考核项目,完成可调参数管理、阈值管理、动态阈值设定功能实现。运行正常,无报错。
3、 负载工具管理功能(10%)
考核项目,完成负载工具管理功能,能够通过应用调用工具,且动态配置负载工具参数并运行,无报错。
4、 指标收集功能实现。(10%)
考核项目,完成数据库运行时的指标采集、系统指标采集实现。运行正常,无报错。
5、参数推荐功能(60%)
考核项目,成功建立了AI算法模型,可以通过页面展示、应用日志看到模型运行过程,形成可观测性视图,且通过模型成功推荐出参数,同时最终能推荐最优TPS参数。
 

初赛作品提交要求

1、源代码、数据库脚本等
2、 模型文件
3、 系统的可执行文件
4、 系统设计文档
5、系统演示视频(7分钟之内)
6、 提交推荐出的最优可调参数列表
 

【参赛团队作品中团队自主开发部分的软件作品著作权归参赛团队所有,其中具有市场应用及拓展的优秀作品,出题企业具有优先权,可以优先合作开发或者优先购买。另如基于该作品的任何合作升级开发、市场拓展等活动,以及在这一过程中所获得的任何商业费用,出题企业应与参赛团队协商解决。】

关于我们

客服电话:010-88559646

大赛邮箱:cnsoftbei@qq.com

邮编:100048

联系地址:北京市海淀区紫竹院路66号赛迪大厦18层

网站备案/许可证号:京ICP备05039896号-10     京公网安备 11010802020860号