这项由首尔国立大学与OGQ公司、LG CNS合股开展的考虑，以预印本时势于2026年5月28日发布在arXiv平台，编号为arXiv:2605.29429。考虑提议了一种名为"Chain-of-Prompts（CoP，请示链）"的全新框架，挑升治理医学图像中细胞自动识别与分割这一耐久困扰考虑者的勤劳。

**一场莫得非常的"点名"游戏**

病理大夫每天面对的显微镜图像，通常密密匝匝地排布着数百甚而数千个细胞。要让计较机准确识别并勾画出每一个细胞的抽象，传统作念法就像班主任在一张大合影前挨个点名——对着相片里的每一张脸逐个说明，"这是小明，这是小红，这是小刚……"当一张图里有几百张脸时，这份责任量之大显而易见。

然则医学图像分析的现实需求正值如斯。计较病理学（平庸地说，即是用计较机代替东说念主眼来分析病理切片）是当代医学会诊中越来越热切的器用，而其中最基础的时势之一，即是"细胞实例分割"——不仅要找到图像里有哪些细胞，还要精确勾画出每个细胞的范围，就像用马克笔把相片里每个东说念主的抽象都描出来，况兼每个东说念主的线条不行互相近似浑浊。

现存的计较机视觉模子在处理这个问题时面对一个根人道逆境。那些挑升为细胞分析磨练的模子，执行上是靠"死记硬背"来责任的：考虑者花多数时候标注特定类型的细胞，模子就把这些细胞的长相记取，以后看到类似的就认出来。这套方法在磨练时见过的细胞上进展可以，但一朝遭遇没见过的细胞类型，性能就会急剧下滑。就像一个只见过中国东说念主脸的东说念主，片刻被送到北欧，认东说念主的准确率就会大打扣头。

在原论文给出的具体数字中，这种"认生"进度令东说念主印象潜入。以著作中演示的一张含有未见过细胞类型的病理图像为例，某个无监督磨练的方法获得的AJI（一种推测分割准确度的方针，数值越高越好，满分为1）唯有0.133，某个经过完满监督磨练的方法也只达到0.228。AJI这个数值可以连气儿为"计较机勾画的细胞抽象与真实抽象的重合进度"——分数越低，证明计较机密么漏掉了好多细胞，要么把范围画得前仰后合。

比年来，以SAM（Segment Anything Model，"分割任何东西"模子）为代表的通用交互式分割模子提供了另一种念念路。这类模子不需要挑升学习某种细胞，只需要用户用鼠标点一下见地，它就能自动勾画出抽象。表面上这治理了"认生"问题，因为岂论什么类型的细胞，只消点一下，模子就能处理。然则问题也随之而来：一张有245个细胞的图像，就需要点击245次。把这个乘以临床推行中每天要处理的多数病理切片，这个决策的可操作性险些为零。

恰是在这个配景下，首尔国立大学的考虑团队提议了一个玩忽而玄妙的问题：有莫得可能只点击一次，就让计较机自动找到图像里所有同类细胞？

**冰山下的微妙：AI眼中的细胞寰宇早已比物丑类**

这个想法建造的关键，在于考虑团队发现了SAM图像编码器（可以连气儿为模子"看图"的那只眼睛）的一个此前未被充分运用的特质。

SAM的责任经过可以用一个简便的比喻来连气儿。假定你是一位教导丰富的鉴宝师，当一件文物被端到你眼前时，你最初会用眼睛扫一遍整件物品，在脑子里造成一个全面的印象——这是瓷器照旧青铜器，是哪个朝代的立场，各个部位有什么特征。这个"扫描建模"的过程，对应的即是SAM的图像编码器。之后，当客户指着某个具体部位问"这里有莫得裂纹"，你才脱手针对性地恢复，这对应的是SAM接考取户点击后进行的解码过程。

考虑团队注重到，SAM的图像编码器在"扫描建模"这一步，还是在里面暗暗完成了一件了不得的事：它把归并类型的细胞，在其里面的特征空间里聚在了一王人。特征空间可以连气儿为一个多维的"坐标系"，不同的细胞在这个坐标系里各占一个位置，而同类细胞会当然地集中在相邻的区域。

考虑团队用UMAP（一种把高维数据可视化的期间）把这种集中时势展示了出来。在SAM编码器的低分辨率特征图中，三种不同类型的细胞（分别有16个、72个和157个样本）在图上造成了三个横暴分明的集中区域，不同类型之间险些莫得浑浊。这个特质十足是自觉产生的，不需要任何挑升针对细胞的磨练，也不需要提前告诉模子"这里有几种细胞"。SAM的编码器只是在作念它原本的责任——尽可能全面地连气儿图像中的每一个细节——却不测间完成了细胞分类这件事。

这个发现是所有这个词考虑的基石。要是同类细胞在特征空间里是聚在一王人的，那么表面上，只消找到一个细胞的特征，就能通过计较"相似度"找到所有与它相似的细胞。这就像在一个生分城市里找同乡：只消你知说念老乡的口音、风俗、穿戴，就能在东说念主群中逐渐辨别出其他说相同方言的东说念主，而不需要每一个东说念主都先自我先容。

**两个维度的"侦察收集"**

然则，把这个表面想法周折为执行可用的系统，并不像提及来那么简便。考虑团队遭遇了两个缜密相接的期间勤劳，而他们缠绵的治理决策——恰是CoP框架的中枢。

SAM的图像编码器会产生两种分辨率的特征图。高分辨率特征图就像一张放大了四倍的舆图，能明晰地看到每一条街说念和每一栋建筑，但关于"这个街区属于哪个城区"这么的问题恢复得不太准确。低分辨率特征图则像削弱了十六倍的全局舆图，能澄莹地诀别各个城区的范围，但具体到每条街说念就恶浊了。

用在细胞识别上，高分辨率特征图能精详情位每一个细胞的具体位置，即使细胞挨得很紧也能分辨，但它会把配景组织中庸细胞外不雅有几分相似的区域也秀美出来，产生多数"误报"。低分辨率特征图能准确地只反馈见地类型的细胞，把它们和其他类型的细胞区分开，但分辨率太低，相邻的细胞通常会被混在一王人，范围恶浊。

这两个特征图就像两个各有专长的考察：一个眼力极好，能发现幽微印迹，但偶然候会把无辜路东说念主当嫌疑东说念主；另一个判断力强，能准确锁定真实的见地，但对具体地点的描写老是不太精确。

考虑团队提议的**层级相似度门控（HSG）**机制，执行上即是让这两个考察"合股办案"。具体作念法是：先分别计较用户点击位置在高分辨率特征图和低分辨率特征图中的相似度散播，然后把两张相似度图作念逐元素相乘。这个操作的效果至极于用低分辨率图的准确判断力来"过滤"高分辨率图中的误报——唯有同期被两张图都认同的位置，材干通过这个"双重审核"。

过滤之后，还需要详情哪些像素点是细胞的中心位置，而不单是是细胞的某个边缘部分。考虑团队秉承了连通因素秀美（CCL）的方法——可以连气儿为把过滤后舆图上连成片的"高亮区域"各自圈出来，然后找到每个区域的要点。这些要点点就组成了一批"真实点考虑"，每一个真实点都对应着一个很可能是同类细胞的位置。

实验数据标明，这套双重过滤机制的精确度至极高，在所有这个词迭代过程中永恒保握在96%以上——也即是说，100个被秀美出来的点里，至少有96个如实是见地细胞。

**从"点"到"面"的致力赛**

HSG治理了"若何高精度地找到同类细胞"的问题，但只靠运行点击周围的相似度计较，通常只可袒护图像的一小片区域。距离运行点击位置较远的细胞，由于图像中局部组织环境差异，特征相似度会当然衰减，单次查找可能遗漏。

为了治理袒护范围不及的问题，考虑团队缠绵了**最远点递归（FPR）**机制。这套机制的逻辑相配直观化：每次HSG产生了一批真实点之后，不是停驻来，而是从这批真实点里挑选一个"距离所有还是用过的请示点最远"的点，把它行动新的起点，重新运行HSG，发现更多之前没找到的细胞，再把新发现的细胞合并进真实点考虑里……如斯轮回，直到某一轮运行之后莫得发现任何新的细胞为止。

这个政策可以用"探险队开路"来连气儿。一支探险队从某个已知的据点启程，先把近邻区域都探查明晰，纪录下所有真实的补给点。然后，他们从这些补给点里遴荐距离最远的那一个行动下一个启程地，络续向未知范围鼓动。每次都选最远的场合启程，保证了不会在归并派区域反复兜圈子，而是尽可能地向整张舆图的各个旯旮延长。

值得注重的是，在遴荐下一个起点时，距离的计较是在图像的物理坐标上进行的，而不是在抽象的特征空间里。这个细节很关键，因为在特征空间里的"距离"可能会跟着迭代而产生漂移，导致探索见地出现偏差；而物理坐标上的距离则永恒对应着图像上真实的空间位置，保证每次递归都在探索真实道理上"还没去过的场合"。

当递归绝交后，华游娱乐中国官网入口所有轮次积贮下来的真实点考虑，就会被送入SAM的解码器，为每一个真实点生成对应的细胞分割掩码。要是某些相邻细胞对应的掩码有近似，则通过IoU大于0.5的非极大值遏抑走动重，最终获得一套干净的细胞实例分割适度。

所有这个词CoP框架就这么组成了一个完满的闭环：一次点击触发HSG，HSG产生真实点集，FPR从真实点集里选出最远点再次触发HSG，如斯轮回直至全图袒护，临了长入解码输出。

**数字背后的故事：97%的点击省下来了**

考虑团队在七个措施测试数据集上对CoP进行了全面评估，适度从多个角度印证了这套方法的实用价值。

在三个带有细胞类型标注的数据集上，CoP展现出了最中枢的材干。CoNIC数据集包含六种不同类型的细胞，CoNSeP包含四种，GlaS则是一个结肠腺体分割数据集。在这些数据集上，与起始进的基础模子SAM3（2026年ICLR发表）进行对比时，SAM3秉承逐实例点击（每个细胞点一次）的神色，CoP只需每种细胞类型点一次。

具体数字方面，在CoNIC数据集上，SAM3逐实例点击的AJI为0.641，而CoP的神色获得了0.579，至极于保留了90%的性能；在CoNSeP上，SAM3得0.411，CoP得0.374，相同在90%以上；在GlaS上，SAM3得0.327，CoP得0.292，比例相似。与此同期，CoP仅需约莫3次点击（每种细胞类型一次），而逐实例神色需要几百次——文中以含有245个细胞的图像为例，从245次裁减到3次，减少了约97%的标注责任量。

与此同期，CoP的进展全面越过了那些需要多数标注数据进行完满磨练的监督学习方法。CellViT是现在细胞分割范围最强的监督模子之一，在CoNIC数据集上的AJI唯有0.371，显耀低于CoP的0.579。这意味着，仅靠3次点击，莫得任何额外磨练，CoP就跳动了一个经过全心磨练的挑升模子。

著作中还展示了那些试图用翰墨描写（比如输入"cell"这个单词）或视觉参考图片来代替点击的方法的进展。这些方法要么在某些数据集上十足失效（AJI为0），要么进展极为不沉稳。这是因为翰墨或图片请示依赖模子在磨练时学到的特定范围对应联系，而不同细胞类型的病理图像差异高大，这种对应联系通常无法泛化。比拟之下，点击请示径直查询的是图像编码器的底层特征，绕过了范围特定的对王人机制，因此能在种种细胞类型上沉稳责任。

在另外四个不含细胞类型标注的数据集（MoNuSeg、TNBC、CryoNuSeg、CPM-17）上，由于每张图里的细胞形态比较单一，CoP只需一次点击即可。适度更为惊东说念主：CoP保留了99%以上的逐实例点击性能。在TNBC数据集上，SAM3逐实例神色获得AJI 0.752，CoP获得0.750，差异险些可以忽略不计。

**每个零件的孝顺：拆解来看材干连气儿全体**

考虑团队还进行了系统性的消融实验，逐个考据每个缠绵遴荐的必要性。这些实验以CoNIC数据集为主要测试场景。

去掉FPR递归机制，只保留HSG作念一次性查找，AJI从0.579急剧下落到0.203，下落幅度高达65%。这个数字直不雅地证明，单次查找只可袒护运行点击近邻的细胞，而递归膨胀才是达周至图袒护的关键。

在FPR的选点政策上，考虑团队比较了"选最远点"、"选最近点"和"选中间点"三种决策。最远点政策获得AJI 0.579，最近点政策唯有0.492，中间点决策得0.515。最近点和中间点的失败原因是相易的：它们倾向于在还是探索过的区域近邻打转，无法有用向未袒护的区域鼓动。

在HSG的特征和会缠绵上，单独使用高分辨率特征图（不经过低分辨率图过滤）时，AJI降到0.463，因为多数来自配景组织的误报会在每一轮递归中被当成新的起点传播，精度在第15轮迭代时还是跌破0.6。单独使用低分辨率特征图时，AJI更低，唯有0.351，因为分辨率太低导致请示点定位不准确，好多点落在细胞范围甚而配景上。两者团结的决策在所有这个词迭代过程中把精度保管在0.96以上，同期保握了与高分辨率图至极的调回率。

运行点击位置的明锐性方面，考虑团队用30个不同的赶紧种子重复了所有CoNIC实验，获得的AJI均值为0.579，措施差仅为0.003。这证明CoP关于用户具体点击了哪个细胞这个问题至极鲁棒，不需要用户额外精确地点到某个"最好位置"。

著作也淳厚地指出了这套方法的局限。CoP依赖于SAM自己的分割材干——要是有某个细胞即使给了准确的点击，SAM也无法正确分割出来，那CoP也相同窝囊为力。此外，CoP的前提假定是同类细胞在特征空间里有相对一致的外不雅，要是某种细胞类型里面形态变化极大，这个假定可能不建造，系统进展就会下落。

**运行速率：15秒内处理完了**

考虑团队还给出了具体的运行时候数据，这对执行应用来说相同热切。所有实验都在一张NVIDIA RTX A6000显卡上进行。关于一张1000×1000像素的输入图像，SAM图像编码约莫需要2秒，这是一次性的固定支拨。之后，每次用户点击触发的CoP经过（HSG传播加上FPR迭代直至料理）平均耗时约4秒，其中每一次FPR单步迭代约莫170毫秒。关于一张含有三种细胞类型的图像，所有这个词过程（不含编码时候）在15秒以内完成。由于CoP十足在特征空间中运算，莫得任何反向传播，所占用的内存支拨也很小。

**说到底，这项考虑的价值在那处**

归根结底，首尔国立大学这支团队作念的事情，是发现并运用了一个一直存在却被冷落的礼貌：一个强盛的视觉模子在"看懂"图像的过程中，还是顺带完成了细胞分类的责任，只是从来莫得东说念主缠绵过一套方法来把这份"顺带责任"的效果索取出来加以运用。

从执行应用角度看，这项考虑意味着病理分析责任的交互资本可以从"标注几百个细胞"裁减到"为每种细胞类型点一次"。关于临床病理大夫来说，一天可能需要分析多数切片，这种效能普及的道理至极具体。关于考虑者来说，这套方法无需重新磨练，可以径直适用于他们遭遇的任何新式细胞，不再受限于磨练数据。

这也引出一个值得念念考的问题：那些强盛的通用视觉模子，究竟在它们的特征空间里暗暗编码了若干东说念主类还没充分运用的结构化信息？大致下一个败坏，不是来自更大的模子，而是来自对现存模子里面特征的更灵巧的使用神色。有兴味深入了解这项责任的读者，可以通过arXiv编号2605.29429查阅完满论文。

---

Q&A

Q1：Chain-of-Prompts方法需要用户具备什么专科配景材干使用？

A：Chain-of-Prompts对用户的专科条目很低。用户只需要在图像中识别出有哪几种细胞类型，然后对每种类型点击一次，系统就会自动完成后续所有的细胞识别和抽象勾画责任。点击位置也不需要额外精确，实验标明用30个不同的赶紧位置测试，适度的波动极小（措施差仅0.003），证明应答点一下同类细胞中的纵情一个都可以。

Q2：CoP在什么情况下会失效或进展变差？

A：CoP有两个主要局限。第一，它依赖底层的SAM模子，要是某个细胞即使给了精确的点击，SAM自己也无法正确分割出来，那CoP也帮不上忙。第二，CoP假定归并类型的细胞在外不雅特征上比较一致，要是某种细胞类型里面形态差异极大，系统识别同类细胞的材干就会下落。在形态均一的细胞类型上，一次点击就能袒护99%以上；在形态种种的夹杂类型场景中，需要每种类型各点一次，性能保留在90%以上。

Q3：Chain-of-Prompts和径直让AI自动检测所有细胞有什么区别？

A：径直让AI自动检测（比如用"cell"这个词行动翰墨请示，或提供参考图片）依赖模子在磨练时学到的特定对应联系，遭遇磨练时没见过的细胞类型通常十足失效，在多个数据集上AJI径直变为0。Chain-of-Prompts则通过用户提供的一次点击绕过了这个问题，径直查询模子的底层特征，不依赖任何范围特定的磨练，因此对未见过的细胞类型也能沉稳责任华游娱乐，这恰是它比拟纯自动化方法的中枢上风所在。