TOP

Intelligent QA SystemDesign And Development
2017-03-22 13:58:18 来源: 作者: 【 】 浏览:886

Topic: Intelligent QA SystemDesign And Development

Group A: Undergraduates or above

Topic introduction:Explaining the whole idea and requirements of the topic

An intelligent customer service system, based on massiveknowledge processing, is oriented to industry application and is adaptive totechnical industries of massive knowledge processing, natural languageunderstanding, knowledge management, automatic QA systems, reasoning, etc. 

With automatic QA systems, we aim at developing an intelligentQA system, which is used for extracting knowledge based on given documents andautomatically generating QA knowledge bases, and has basic capabilities(front-end and back-end functionality) of exiting QA systems.


Topic scenarios: Describing the business scenarios of related real companies, and simplifyingor extracting proper competition scenariosfrom the real ones

Knowledge bases constitute the key competitiveness of intelligent customerservice/intelligent QA systems, and the establishment of high-quality knowledgebases is one of problems the industry faces. At present, most knowledge bases(QA pairs) of intelligent customer services are established manually, and agreat amount of manpower is required for establishing a perfect knowledge base,therefore, there is an urgent need of an automation solution for establishingknowledge bases (QA pairs) automatically according to given documents (such asproduct manuals, case documents and user guides).

Functional requirements

The intelligent QA system design involves three main function modules offront-end, back-end and knowledge base establishment, wherein the front-end isused for providing a QA operating interface; the back-end implements productdocumentation, knowledge base management and communications with the front-end;through knowledge base establishment, “QA pairs” are automatically generatedaccording to input documents.

  1. The back-end: Design a program for extracting high-quality QA pairs fromdocuments as many as possible, wherein the questions can include subjects, keywords and phrases, and answers can be directly formed by one paragraph orsentence.

  2. Documents:being in the format of html, having about 5w words, and including user guides,common questions, and product manuals.

  3. Formatof QApairs in knowledge bases

       Q: How is the price of elasticcloud servers calculated?

       A: There are two manners including charging as required andpack-years or pack-months, and you can select the proper one according to concreteneeds.

       Q: ……

       A: ……

  1. Knowledgebase management: implementing operating functions of deleting, increasing andinquiring basis QA pairs. 

  2. The front-end: Design a program implementing a QA dialogue interface, which, according to users’ questions, is connected with the back-end automatically and searches answers fromthe knowledge bases, and shows theanswers to users, wherein the front-end questions can include subjects, keywords and phrases.

  3. Knowledge base management: Design a program which is used for automatically generating “QA pairs”according to input documents and ensures higher question quality and moreaccurate answers when extracting QA pairs as many as possible, wherein QA pairsin knowledge bases cannot have the same two questions. This part, as the inspectioncore of the topic, aims at checking the accuracy of knowledge bases (see taskeva luation indexes). Implementation methods are unlimited, and the followingthree are available to competitors:

  4. Rule-based QA pairsgeneration;

  5. NLP-based QA pairsgeneration; and

  6. Machinelearning/deep learning-based QA pairs generation.

Note: For NLP-based QA pairs generation, competitors can take thefollowing technical points into account:

  1. Document structuretree, and subjects/paragraphs/sentence splitting;

  2. Extraction ofentities, key words and semantic characteristics;  

  3. Analysis of sentencestructures including appositive structures and structures of modifying nounswith verbs, as well as parse of sentential forms;

  4. Abstract extractionand sentence compression and combination;

  5. Question patternclassification; 

  6. Question generation(semantic template, ML generation and deep learning);

  7. Questions generalization:replacing key words;

  8. Syntacticaltransformation: converting declarative sentences into interrogative sentencesthrough WH movement, subject-predicate inversion,etc.;

  9. Analysis of question semanticcompleteness; and

10.Text readingcomprehension models.


Non-functional requirements

  1. 1.The whole system has quicker responses, and the front-end and back-endcan work smoothly.

  1. 2.UI design conforms to conventional habits of users.


    3.Complete descriptions of documents such as system design documents aswell as knowledge base establishment core rules or algorithms design documentsare provided.

Other restrictions:Development environment, test platform, development language, database,complier, etc. (as explicit as possible)

1.For machine learningor deep learning method of knowledge base establishment, Hauwei Cloud machinelearning or deep learning is recommended. Aiming at providing convenience tocompetitors, Hauwei Enterprise Cloud will provide competitors with high-performancemachine learning or deep learning cloud environment.

http://www.huaweicloud.com/

2.The front-end and back-end adopt the pattern of server and mobile terminal,wherein the server can be Web server, and the mobile terminal can be Android or IOS APP.

Test data or platform: Testenvironment and data provided to competitors (electronic documents areacceptable)

  1. Test data and platform:

  2. Original productdocuments required by development and test and supporting QA pairs for verificationare provided (test data is available at the beginning of March, 2018).

  3. Competitors canadjust and optimize models through other data trainings.

  4. Task eva luationindexes:

  5. Basic front-end andback-end functionality implementation and documentation: 50%

  6. Knowledge baseestablishment: 50%

For eva luation, another group of N test documents and several

alternative QA pairs are used for testing knowledge base

establishment, and main eva luation standards are as follows:

  1. Hit QA pairs: scoresaccording to questions extracted from complete matching hit QA pairs/programsin given question-answer sets, accounting for 70%.

     b.  Answer accuracy: scores of BLUE index based on answer reasonability withabsence of matching questions, accounting for 30%.


Instructions aboutdevelopment equipment and equipment metrics

No

Other requirements

No

 

关键字: 责任编辑:cnsoft
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到QQ空间
分享到: 
上一篇Credible Digital Asset Store Ce.. 下一篇Online Store BusinessInformatio..

相关栏目