若何应用 OpenVINO 在当地运转 Qwen 2.5

近期阿里通义试验室在 Hugging Face 跟 ModelScope 上开源了 Qwen2.5-VL 的 Base 跟 Instruct 模子，包括 3B、7B 跟 72B 在内的 3 个模子尺寸。此中，Qwen2.5-VL-7B-Instruct 在多个义务中超出了 GPT-4o-mini，而 Qwen2.5-VL-3B 作为端侧 AI 的潜力股，乃至超出了之前版本 的Qwen2-VL 7B 模子。Qwen2.5-VL 加强了模子对时光跟空间标准的感知才能，在空间维度上，Qwen2.5-VL 不只可能静态地将差别尺寸的图像转换为差别长度的 token，应用图像的现实尺寸来表现检测框跟点等坐标，这也使得Qwen2.5-VL模子能够直接作为一个视觉 Agent，推理并静态地应用东西，具有了应用电脑跟应用手机的才能。本文援用地点：本文将分享怎样应用英特尔 OpenVINO™ 东西套件在当地减速Qwen2.5-VL系列模子的推理义务。内容列表1.情况筹备2.模子下载跟转换3.加载模子4.筹备模子输入5.运转图像懂得义务1 情况筹备该示例基于Jupyter Notebook编写，因而咱们须要筹备好绝对应的Python情况。基本情况能够参考以下链接装置，并依据本人的操纵体系停止抉择详细步调。https://github.com/openvinotoolkit/openvino_notebooks?tab=readme-ov-file#-getting-started图：基本情况装置导航页面别的本示例将依附qwen-vl-utils以及optimum-intel组件，此中装置optimum-intel进程中将主动装置OpenVINO™ runtime, NNCF及Transformers等相干依附库。2 模子下载跟转换这皇冠登陆入口一步中，咱们须要实现将Qwen2.5-VL .safetensor格局模子转化为OpenVINO™ IR格局，并对其停止INT4权分量化，实现对模子体积的紧缩。为了到达这一目标，optimum-intel供给了下令行东西：optimum-cli，基于该东西，咱们只要一行下令便可实现上述步调：此中“—model”参数后的“Qwen/Qwen2.5-VL-3B-Instruct”为模子在HuggingFace上的model id，这里咱们也提前下载原188体育app官方网站始模子，并将model id调换为原始模子的当地门路，针对海内开辟者，推举应用ModelScope魔搭社区作为原始模子的下载渠道，详细加载方法能够参考ModelScope官方指南：https://www.modelscope.cn/docs/models/download3 加载模子接上去须要实现对模子推理义务的初始化，并将模子载入到指定硬件的内存中，同样的，咱们能够应用optimum-intel封装好的OpenVINO™ 视觉多模态义务工具 OVModelForVisualCausalLM 工具实现该操纵。如示例代码所示，经由过程OVModelForVisualCausalLM的from_pretrained函数接口，能够很便利地依据用户供给的模子门路，将模子载入到指定的硬件平台，实现视觉多模态义务的初始化。4 筹备模子输入第四步须要依据Qwen2.5-VL模子请求的prompt template筹备模子的输入数据。数据格局如下：此中:■ “role“字段用于指定对话脚色，包含system, user以及assistant三品种型；■ content 字段表现对话脚色输出的内容，此中”type”为内容种别，包括image，video，text三品种型，支撑多张image输入。接上去能够经由过程Qwen官方供给的方式将用户输入的text跟image编码为模子的输入tensor。5 运转图像懂得义务最后一步须要挪用模子工皇冠赌场官方网站具的generation函数，停止谜底天生，这里能够经由过程增加TextStreamer迭代器的方法，在下令行中流式输出文本内容。依据示例图片天生天生对话内容如下所示：