比 PS 更懂你的 AI 图片剪辑器用——MagicQuill（魔法羽毛）来了！开云kaiyun

1 分钟出图：无谓打字、圣洁勾勒几笔就能剪辑图片。

还接济径直在 iPad 上在线剪辑！

商讨团队来自香港科技大学、蚂伙同团、浙江大学和香港大学等机构。

咱们先沿路看个例子感受一下——

有了 MagicQuill，当今当你想要给东谈主物更换一稔时，就可以径直画出领子，它会自动帮你补全。

加条项链、去除路东谈主，几秒钟就惩处：

你还可以更换发色、让东谈主物戴上花环，甚而窜改花朵的神采：

只需要 1 分钟多的时分，就可以罢了上头这样多剪辑后果，尤其是关于想要快速修改像片的用户来说，几乎太浮浅了！

还有更多预料的例子，机器东谈主、汽车、蛋糕等，都可以快速修改！

有多位网友评敷陈，AI 图像剪辑确切跳跃马上，"能读懂用户心想"黑白常具有异日感的用户体验。

甚而还有网友说，震惊吧，PS！

MagicQuill 标的是清醒细腻修改意图

诚然目下 AI 图像剪辑器用是百花都放，但想要罢了细腻剪辑，许多器用的后果也曾相比令东谈主捉急。

MagicQuill 团队的标的是罢了一个高效且精准的图像剪辑系统，偶然在用户进行轻微修改时提供更好的使用体验。

这不仅包括罢了细粒度的图像剪辑遗弃、还要提供直不雅的用户界面、并及时瞻望用户意图。

最终团队采选基于扩散模子、文本和掩码的图像剪辑圭臬、以及多模态大型言语模子（MLLMs） 进行罢了，并狡计了从简实用的用户界面。

MagicQuill 的具体组成

沿路来望望 MagicQuill 系统的具体组成是什么样的。主要分为 3 个部分：

1. 剪辑处理器

剪辑处理器摄取双分支架构，包括内容感知成立分支和结构计议分支。

内容感知成立分支诳骗 UNet 架构，结合掩码图像特征和预覆按的扩散集结进行像素级成立。

结构计议分支则通过 ControINet 插入条款遗弃，确保剪辑操作的精准性。

2. 绘画助手

绘画助手通过多模态大型言语模子（MLLM）及时瞻望用户意图。

具体的任务称为" Draw&Guess "，也便是通过图像高下文阐发用户笔画并自动生成关联教导。

团队摄取的数据集通过生成旯旮图和模拟用户笔画进行构建，并使用 LLaMA 模子进行微调。

3. 创意收罗器

创意收罗器为用户提供了一个从几乎不雅的界面，它兼容多个平台，团队也提供了在线 demo，你可以在电脑或 iPad 上径直使用！

界面主要包括教导区、器用栏、图层接续、主画布、生成图像预览区、试验按钮和参数调养区。

按钮狡计特地精炼，有上传图片、"加多"画笔、"减少"画笔、改神采画笔、橡皮等等。

下方的参数调养区域更适宜有丰富的生图教悔的专科东谈主士：

比如在 Base Model Name 里，你可以采选不同的基础模子，有适宜生成实在格调的 SD1.5/realisticVisionV60B1_v51VAE.safetensors、适宜生成幻想格调的 SD1.5/DreamShaper.safetensors 等。

你还可以调养 Negative Prompt 幸免生成部天职容、还有 Fine Edge 细腻旯旮调养、Grow Size 调养笔触大小等等。无缺使命进程如下图所示。

本体后果怎样呢？

为了更准确地测试 MagicQuill 的具体后果，团队还狡计了 3 个考据实验：

1. 可控生成评估

将 MagicQuill 与四个基线圭臬（SmartEdit、SketchEdit、BrushNet 偏激组合）进行相比，评估剪辑处理器的可控生成身手，尤其存眷旯旮对都和神采保真度。

驱逐表示，MagicQuill 的剪辑处理器在通盘标的上均优于基线圭臬，具有更高的旯旮对都度和神采保真度。

2. 瞻望准确性评估

为了评估 MagicQuill 在模拟手绘输入下的语义瞻望准确性，团队将它的绘画助手与三种首先进的 MLLMs （LLaVA-1.5、LLaVA-Next、GPT-4o）进行了相比。

驱逐表示，绘画助手在通盘测试的 MLLMS 中推崇最好，可以更准确地捕捉和瞻望用户绘制的语义含义。

3. 创意收罗器灵验性评估

团队还通过用户商讨评估了创意收罗器的效用和可用性，并相比了它与基线系统的互异。

用户商讨驱逐表示，MagicQuill 在通盘评估维度上都权贵优于基线系统，包括复杂性和效用、一致性和集成、易用性以及总体惬意度 4 个方面。

看来体验过的用户响应都可以呢！

异日使命

团队还默示，这将是一个长期的使命，异日他们的标的是推广系统功能，纳入更多的剪辑类型，如基于参考的剪辑，这将允许用户使用外部图像率领修改。

他们还连系罢了分层图像生成，可以让剪辑愈加活泼、接济更多复杂合成。

系统也会接济排版，偶然处理更多图像中的文本元素。

目下 MagicQuill 的代码、论文和 Demo 都已上线，感兴味的小伙伴可以随机试用起来了！畅达就不才方。

参考畅达：https://magicquill.art/demo/开云kaiyun