分割模型 语言转分割CLIPSeg - MKT

 

CLIPSeg 

 

 

 

联合项目

 

https://github.com/loki-keroro/SAMbase_segmentation?tab=readme-ov-file

image

 

image

 

自定义提示

模型会根据不同的提示文本,生成不同的掩码,可修改main.py中的category_cfg变量,自定义提示文本。

  • landcover_prompts 为地物分类的提示,在全景图中场景下一般用于分割区域连续或新增的类别
  • cityobject_prompts 作为实例分割的提示,在全景图中场景下一般用于图像内区域不连续的对象类别
  • landcover_prompts_cn和cityobject_prompts_cn为每个类别的中文含义
category_cfg = {"landcover_prompts": ['building', 'low vegetation', 'tree', 'river', 'shed', 'road', 'lake', 'bare soil'],"landcover_prompts_cn": ['建筑', '低矮植被', '树木', '河流', '棚屋', '道路', '湖泊', '裸土'],"cityobject_prompts": ['car', 'truck', 'bus', 'train', 'ship', 'boat'],"cityobject_prompts_cn": ['轿车', '卡车', '巴士', '列车', '船(舰)', '船(舶)']
}