type
status
date
slug
summary
tags
category
icon
password
Last edited time
Sep 24, 2024 12:48 PM
😀
这是一个可提示且可交互的开放集物体检测模型，既可以接受文本提示，也可以接受视觉提示(在同一图片或跨多图片的盒子或点)作为物体检测的输入。它具备强大的零次学习物体检测能力，且对各种情景都非常实用，仅需一套权重。
T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy
We present T-Rex2, a highly practical model for open-set object detection. Previous open-set object detection methods relying on text prompts effectively encapsulate the abstract concept of common...
T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy
https://arxiv.org/abs/2403.14610
T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy
T-Rex
IDEA-Research • Updated Oct 1, 2024
💡
作者来源：南方科技大学，粤港澳大湾区数字经济研究院（IDEA研究院），清华大学，香港科技大学

📝 主旨内容

以前依赖文本提示的开放集物体检测方法有效地封装了常见物体的抽象概念，但由于数据稀缺和描述限制，它们在处理稀有或复杂物体表示上存在困难。相反，视觉提示通过具体的视觉示例表现出对新奇物体的优秀描述能力，但在传达物体的抽象概念上可能不及文本提示的效果。
notion image

模型

💡
以DETR为基础框架，通过Deformable Cross Attention(可变形交叉注意力)和CLIP分别引入视觉和文本提示
notion image
notion image

一些结果

DeepDataSpace | Unleashing the Power of Cutting-Edge Computer Vision Technology
Discover DeepDataSpace, the official website of the CVR Center, dedicated to research in the field of CV algorithms. With its powerful and advanced algorithms, DeepDataSpace offers a range of exceptional products, including annotation platforms, algorithm platforms, and open-source computer vision tools. Experience the forefront of innovation and unleash the full potential of computer vision with DeepDataSpace. DeepDataSpace是CVR中心权威在线平台，中心专注于计算机视觉技术算法研究。凭借尖端算法技术， DeepDataSpace推出一系列卓越产品，包括标注平台、算法平台和开源计算机视觉工具。
DeepDataSpace | Unleashing the Power of Cutting-Edge Computer Vision Technology
https://deepdataspace.com/playground/ivp
notion image
notion image
notion image

API开放

我们现在开放 T-Rex2 的免费 API 访问。对于教育工作者、学生和研究人员，我们提供具有广泛使用时间的 API 来支持您的教育和研究工作。您可以在此处请求 API。
Install the API package and acquire the API token from the email.

动机

  1. 图文多模态
  1. 一类一模型(零/少样本)
  1. 开集
  1. 目标检测-异常检测
  1. 滑动窗口耗时
 
notion image

🤗 总结归纳

notion image
notion image

📎 参考文章

 
相关文章
科研全流程加速——让AI为你插上翅膀
PatchCore内存库中核心集的选择
Transformer中的位置编码
2024年异常检测顶会汇总
AnomalyDiffusion(AAAI2024)
Control Net：控制增强的微调方法
思维链COT(Chain of Thought)化整为零，各个击破——SAM结合目标检测解决点云预处理问题
Loading...