minicpm-v采用W4A16量化，推理速度没什么变化

[DankoZhang]

Checklist

• 1. I have searched related issues but cannot get the expected help.
• 2. The bug has not been fixed in the latest version.

Describe the bug

minicpm-v采用W4A16量化后，显存占用确实小了，但是推理速度却没什么变化，是什么原因导致的呢？
量化脚本：
lmdeploy lite auto_awq
$HF_MODEL
--calib-dataset 'ptb'
--calib-samples 128
--calib-seqlen 2048
--w-bits 4
--w-group-size 128
--batch-size 1
--search-scale False
--work-dir $WORK_DIR

推理脚本：
pipe = pipeline(path, chat_template_config=ChatTemplateConfig(model_name='llama3'), backend_config=TurbomindEngineConfig(cache_max_entry_count=0.5, model_format='awq'))

Reproduction

无

Environment

无

Error traceback

无

[DankoZhang]

帮忙看看这个问题

[DankoZhang]

@lvhan028 帮忙看看

[lvhan028]

请提供测速的方法。
btw，lmdeploy没有针对 vlm 中的视觉模型做优化，优化的是它的语言模型部分。

[DankoZhang]

请提供测速的方法。 btw，lmdeploy没有针对 vlm 中的视觉模型做优化，优化的是它的语言模型部分。

测速的方法是，用同一批数据请求量化后和量化前的模型，分别统计两者的用时

[lvhan028]

能不能直接贴测试代码呢？对着代码说更清楚些。btw，vision 模型默认的batch size只有1。是要调整的。

[DankoZhang]

能不能直接贴测试代码呢？对着代码说更清楚些。btw，vision 模型默认的batch size只有1。是要调整的。
def infer_data(self, input_path, output_path):
total_time = 0
fw = open(output_path, "w")
with open(input_path, "r") as fr:
for line in tqdm(fr.readlines()):
r = json.loads(line.strip())
url = r["image"]
human = r["conversations"][0]['value']
gpt = r["conversations"][1]['value']
# import pdb;pdb.set_trace()
if '' in human:
human = human.replace("\n","")
image = load_image(url.replace("data", "data/Images"))
start = time.time()
response = self.pipe((human, image))
end = time.time()
total_time += end - start
# print(gpt, response)
r["predict"] = response.text
fw.write(json.dumps(r, ensure_ascii=False) + "\n")
fw.flush()
fw.close()
print(total_time)

上面是统计的代码，主要看total_time

[DankoZhang]

能不能直接贴测试代码呢？对着代码说更清楚些。btw，vision 模型默认的batch size只有1。是要调整的。

另外请教下，『vision 模型默认的batch size只有1』，是什么意思，这个哪里用到了，跟github中的批处理有关系吗？（下面的代码）
from lmdeploy import pipeline, TurbomindEngineConfig
from lmdeploy.vl import load_image

pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b',
backend_config=TurbomindEngineConfig(session_len=8192))

image_urls=[
"https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/demo/resources/human-pose.jpg",
"https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/demo/resources/det.jpg"
]
prompts = [('describe this image', load_image(img_url)) for img_url in image_urls]
response = pipe(prompts)
print(response)

[lvhan028]

lmdeploy的优势是在 LLM 推理部分，视觉部分没有优化。感觉是视觉处理占了大头，显得 w4a16 相比于 fp16 提升不明显。
可以把 INFO 日志打开，会有一些时间戳的打印。可以仔细看看。

[DankoZhang]

vision 模型默认的batch size只有1。是要调整的。

这句话是啥意思，这个在哪里调整呢

[irexyc]

@DankoZhang

推理速度提升的是LLM的部分，要测试的话，不要带图片。

可以参考这个文档 docs/zh_cn/benchmark/profile_api_server.md

[luoyangen]

@irexyc 求助下，为什么我这边使用同样语句去量化minicpm会报错，运行环境是官方的docker，lmdeploy==0.5.0

File "/opt/conda/lib/python3.12/site-packages/lmdeploy/cli/entrypoint.py", line 43, in run
args.run(args)
File "/opt/conda/lib/python3.12/site-packages/lmdeploy/cli/lite.py", line 139, in auto_awq
auto_awq(**kwargs)
File "/opt/conda/lib/python3.12/site-packages/lmdeploy/lite/apis/auto_awq.py", line 148, in auto_awq
save_vl_model(vl_model, model_path, work_dir)
File "/opt/conda/lib/python3.12/site-packages/lmdeploy/lite/apis/auto_awq.py", line 45, in save_vl_model
vl_model.save_pretrained(dst_path,
File "/opt/conda/lib/python3.12/site-packages/transformers/modeling_utils.py", line 2661, in save_pretrained
shard = {tensor: state_dict[tensor] for tensor in tensors}
^^^^^^^^^^
UnboundLocalError: cannot access local variable 'state_dict' where it is not associated with a value

[irexyc]

@luoyangen
如果我没记错的话，docker里面的python是3.8的，看你的报错似乎是自己装了另外的环境。

建议重新起一个容器，不要改任何东西试试一下。

[luoyangen]

@irexyc 把transformers的版本降到4.40.0可用了