样例介绍

智能ChatBot应用是通过对ChatYuan-Large系列大型语言模型进行压缩，将模型转换为ONNX或OM模型，使其能够全部或部分运行在开发者套件的昇腾AI处理器上并加速。使用流式输出对话的方式在网页前端收集数据，进行文本解析后，通过后端放入消息队列，后端推理进程获取队列中的文本后，使用大型语言模型进行推理并返回推理结果至前端页面。最终实现与聊天机器人进行对话的场景。