大模型场景业务落地，UCloud上线企业内部问答平台

无可否认，大模型是最近一段时间最热的话题之一，在市场上正经历着快速发展和广泛应用的阶段。各个云计算厂商和科技公司纷纷推出自己的大模型产品和解决方案。近日，UCloud基于企业内部的产品知识文库、技术支持文档，借助大语言模型的强大逻辑推理能力，构建了企业内部知识问答平台“识问”。

UCloud内部问答平台“识问”，是公司AIGC项目团队基于大语言模型的一次落地实践。目前“识问”平台已经集成了云主机、存储、网络、备案、常用技术支持和安全等知识文档，能满足技术支持团队日常提问检索的需求。用户仅需要输入问题，识问平台即可在几秒内输出完整的问答话术。

识问平台目前是通过大语言模型连接本地知识库的方式来实现专业知识问答的。在业务侧上传云主机、存储、网络、备案和安全相关的文档，文档数据经过非结构化存储，文档切分，生成文本块之后再进行向量化处理，通过LangChain框架，实现本地文本知识库的构建。

客户通过Web端或者其他AI应用提交问题，提交的问题经过向量化处理后，在文本向量化中匹配出与问句向量最相似的top k个，匹配出的文本作为上下文和问题一起，添加到prompt中，提交给大语言模型，利用大模型的推理和信息整合能力，生成最终的回答。如果检索发现客户的提问可以与知识库的相关文本精确匹配，识问平台就会直接通过搜索抛出回答，无需经过大语言模型的推理。

大语言模型结合本地知识库的推理工作流如下：

LLM+本地知识库

据悉，未来UCloud还支持外部企业级客户通过“模型微调”的方式来实现专业领域的知识问答。UCloud可以基于客户的业务文档生成高质量的问答对，提供给开源的大语言模型做训练，重新生成一个精通客户业务的私有语言模型。客户侧通过web或者AI应用提交的问题话术经过一些标准化处理后，生成prompt，提交给客户的私有大模型，经过私有大模型的推理并生成最终回答。微调大语言模型的工作流如下：

模型微调

在这个工作流中，开源大语言模型可以是目前开源的任意一款模型，包括但不限于ChatGLM、T5、LLaMA 、MiniGPT-4等。

目前UCloud已经支持的文档格式有问答对、Html、MarkDown，未来预期还会支持PDF、Word、URL等格式，进一步扩大可支持的知识库的范畴，同时在平台侧也会通过对使用问答的打分情况，筛选优质问答对，持续更新文本知识库。专业垂直领域的提问，大语言模型的回复准确率会随着资料库的丰富而持续提高。

随着大模型应用的发展和深入，UCloud也即将为更广大客户提供MaaS（Model as a service）服务，包含大模型的推理、模型微调服务以及私有化部署。基于云厂商统一管理的云计算基础设施可以为大模型的部署和应用提供更加安全、稳定的环境。另外UCloud自建数据中心采用WEB应用防火墙UWAF、DDoS攻击防护 UDDoS、主机入侵检测 UHIDS等一系列安全防护产品，配置全方位的安全防护，运维人员实行7*24*365安全运维保障，保护AI模型和数据的安全，帮助企业级用户解决各种私有化部署问题和挑战。

本次识问平台的落地，是UCloud一次AI大模型业务场景的探索。从企业内部治理需求出发，优化内部信息查询机制，初步解决售前、售后的相关的技术支持问答，帮助提升技术支持的工作效率。作为云计算厂商，UCloud将全面投入大模型时代，继续保持敏锐的市场洞察力和快速的响应能力，持续关注大模型市场的最新趋势和客户需求，不断优化和拓展我们的产品和服务。

产品咨询合作，请扫码了解