文档首页 样例介绍 智能ChatBot应用是通过对ChatYuan-Large系列大型语言模型进行压缩,将模型转换为ONNX或OM模型,使其能够全部或部分运行在开发者套件的昇腾AI处理器上并加速。使用流式输出对话的方式在网页前端收集数据,进行文本解析后,通过后端放入消息队列,后端推理进程获取队列中的文本后,使用大型语言模型进行推理并返回推理结果至前端页面。最终实现与聊天机器人进行对话的场景。 图1 实现原理图 图2 语音控制功能原理图 搜索结果找到“0”个结果当前产品无相关内容未找到相关内容,请尝试其他搜索词