从零开始扩展VisProg功能：手把手教你添加自定义视觉推理模块（附代码）

从零开始扩展VisProg功能：手把手教你添加自定义视觉推理模块（附代码）

【免费下载链接】visprogOfficial code for VisProg (CVPR 2023 Best Paper!)项目地址: https://gitcode.com/gh_mirrors/vi/visprog

VisProg是CVPR 2023最佳论文项目，它提供了一个强大的视觉推理框架，通过模块化设计让开发者能够轻松构建复杂的视觉任务流程。本文将带你一步步扩展VisProg功能，添加自定义视觉推理模块，无需深厚的深度学习背景也能快速上手。

VisProg模块系统架构解析 🧩

VisProg采用模块化设计，将视觉推理任务分解为可组合的步骤。核心模块系统包含三大类：

VisProg模块架构图，展示了Image Understanding、Image Manipulation和Knowledge Retrieval三大类模块

• Image Understanding：包含目标检测(LOC)、人脸识别(FaceDet)、分割(SEG)等基础视觉任务
• Image Manipulation：提供图像编辑功能，如替换(Replace)、色彩增强(ColorPop)、背景模糊(BgBlur)等
• Knowledge Retrieval：负责知识查询和逻辑推理

所有模块都通过统一的接口注册和调用，这种设计让扩展新功能变得异常简单。

扩展VisProg的4个关键步骤 🚀

1. 环境准备与项目结构

首先确保你已正确安装VisProg：

git clone https://gitcode.com/gh_mirrors/vi/visprog cd visprog conda env create -f environment.yaml conda activate visprog

模块开发主要涉及以下文件：

• engine/step_interpreters.py：所有模块的基类和实现
• vis_utils.py：可视化工具函数
• prompts/：任务提示词模板

2. 创建自定义模块类

所有视觉推理模块都需要继承基础接口并实现核心方法。我们以创建一个"边缘检测"模块为例，在engine/step_interpreters.py中添加以下代码：

class EdgeDetectInterpreter(): step_name = 'EDGEDETECT' # 模块名称，必须唯一 def __init__(self, threshold=100): print(f'Registering {self.step_name} step') self.threshold = threshold # 自定义参数 def parse(self, prog_step): # 解析输入参数 parse_result = parse_step(prog_step.prog_str) img_var = parse_result['args']['image'] # 输入图像变量 output_var = parse_result['output_var'] # 输出变量名 assert(step_name==self.step_name) return img_var, output_var def detect_edges(self, img): # 核心算法实现 img_np = np.array(img.convert('L')) # 转为灰度图 edges = cv2.Canny(img_np, self.threshold, self.threshold*2) return Image.fromarray(edges) def html(self, img, output_img, output_var): # 可视化结果（用于网页展示） step_name = html_step_name(self.step_name) img_str = html_embed_image(img) output_img = html_embed_image(output_img, 300) output_var = html_var_name(output_var) return f"<div>{output_var}={step_name}({img_str})={output_img}</div>" def execute(self, prog_step, inspect=False): # 执行入口 img_var, output_var = self.parse(prog_step) img = prog_step.state[img_var] # 获取输入图像 edge_img = self.detect_edges(img) # 执行边缘检测 prog_step.state[output_var] = edge_img # 保存结果 if inspect: # 可视化模式 html_str = self.html(img, edge_img, output_var) return edge_img, html_str return edge_img

3. 注册新模块

创建好模块类后，需要在模块注册函数中添加你的模块。找到register_step_interpreters函数（在engine/step_interpreters.py文件末尾），在适当的位置添加：

def register_step_interpreters(dataset='nlvr'): if dataset=='nlvr': # ... 现有代码 ... elif dataset=='imageEdit': return dict( # ... 现有模块 ... EDGEDETECT=EdgeDetectInterpreter(), # 添加这一行 RESULT=ResultInterpreter() ) # ... 其他数据集 ...

4. 创建使用示例

在notebooks/目录下创建一个新的Jupyter笔记本edge_detection.ipynb，测试你的新模块：

from engine.step_interpreters import register_step_interpreters from vis_utils import load_image # 初始化解释器 interpreters = register_step_interpreters('imageEdit') # 加载图像 img = load_image('assets/camel1.png') # 定义程序步骤 prog_steps = [ "edges = EDGEDETECT(image=img)", "result = RESULT(var=edges)" ] # 执行推理 state = {'img': img} for step in prog_steps: # 解析步骤 parsed = parse_step(step) # 获取解释器并执行 interpreter = interpreters[parsed['step_name']] result = interpreter.execute(...) # 显示结果 display(result)

模块开发最佳实践 💡

参数设计原则

• 保持接口一致性：参考现有模块的参数命名方式
• 提供合理默认值：如threshold=100
• 支持动态调整：通过__init__方法接收自定义参数

性能优化技巧

• 模型缓存：对于需要加载大型模型的模块，使用单例模式或懒加载
• GPU加速：参考VQAInterpreter中的设备选择代码：

  self.device = "cuda:0" if torch.cuda.is_available() else "cpu"

• 中间结果复用：将常用计算结果缓存到prog_step.state中

测试与调试

• 使用inspect=True模式获取HTML可视化结果
• 参考现有模块的测试用例：
  • 图像理解：notebooks/gqa.ipynb
  • 图像编辑：notebooks/image_editing.ipynb

常见问题与解决方案 ❓

Q: 模块名称冲突怎么办？

A: 确保step_name唯一，建议使用大写字母和下划线命名，如EDGE_DETECT

Q: 如何处理大型模型加载？

A: 参考SegmentInterpreter的实现，在__init__中加载模型并移至GPU：

self.model = MaskFormerForInstanceSegmentation.from_pretrained(...).to(self.device)

Q: 如何添加新的数据集支持？

A: 在register_step_interpreters函数中添加新的数据集分支，并注册相应的模块组合

总结

通过本文介绍的方法，你可以轻松扩展VisProg的功能。无论是添加简单的图像处理模块，还是集成复杂的深度学习模型，VisProg的模块化设计都能提供良好的支持。建议先从简单模块开始尝试，逐步掌握模块开发的精髓。

现在就动手扩展VisProg，构建属于你的视觉推理工具吧！ 🚀

【免费下载链接】visprogOfficial code for VisProg (CVPR 2023 Best Paper!)项目地址: https://gitcode.com/gh_mirrors/vi/visprog