常见问题

Q&A

Q: 模型运行出现回复重复或者内容不准确问题

A: 通过修改对应模型的 xx-htp.json 文件中的相关参数进行调整，以 Qwen2.5-7B-Instruct 为例子：

# 通过修改配置文件中下面的参数来调整模型的输出
"sampler" : {
    "version" : 1,
    "seed" : 42,
    "temp" : 0.4,
    "top-k" : 20,
    "top-p" : 0.8,
    "greedy" : false
}

相关参数解释请参考：https://zhuanlan.zhihu.com/p/720829470

Q: 模型运行出现中英文夹杂问题

A: 通过修改提示词，让模型按照规定语种输出，比如提示词中添加这句话：请用中文回答

Q: 模型对话模板怎么设置

A: 从 Model Farm 上下载的模型资源包中包含了模型对话模板文件 aidgen_chat_template.txt，以Qwen2.5-7B-Instruct 举例子：

• aidgen_chat_template.txt 模板内容如下

<|im_start|>system\nYou are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>\n<|im_start|>user\nGive me a short introduction to large language model.<|im_end|>\n<|im_start|>assistant\n