近日，苹果公司发布了一款名为“MGIE”的全新开源人工智能模型，它引入了多模态大型语言模型（MLLM）技术，能够根据自然语言指令进行图像编辑。虽然相比微软等竞争对手，苹果在人工智能领域的动作相对低调，但这并不代表他们在该领域没有取得建树。

MGIE模型的基本信息

名称: MGIE (MLLM-Guided Image Editing)

功能: MGIE利用MLLM解释用户的自然语言指令，执行像素级操作，支持多种图像编辑任务，包括Photoshop风格的修改、全局照片优化和局部编辑等。

合作: 苹果公司与加州大学圣巴巴拉分校的研究人员共同合作，在2024年国际学习表征会议（ICLR）上发布了与MGIE相关的研究成果，这表明了该模型在学术界的认可度。

MLLM与MGIE的关系

在介绍MGIE之前，我们先了解一下MLLM。MLLM是一种强大的人工智能模型，能够同时处理文本和图像，从而增强基于指令的图像编辑能力。虽然MLLM在跨模态理解和视觉感知响应生成方面表现出色，但在图像编辑任务中的应用相对较少。

MGIE的工作原理

MGIE通过两种方式将MLLMs集成到图像编辑过程中：

1. 指令推导: 利用MLLMs从用户输入中推导出富有表现力的指令，为编辑过程提供明确的指导。例如，用户输入“让天空更蓝”，MGIE能够生成“将天空区域的饱和度提高20%”的指令。
2. 视觉想象力生成: 利用MLLM生成编辑所需的潜在表征，用于指导像素级操作。MGIE采用了一种端到端的训练方案，联合优化指令推导、视觉想象和图像编辑模块。

MGIE的编辑能力和特性

MGIE展现出卓越的编辑能力，涵盖了从简单的颜色调整到复杂的对象操作的各种编辑情况。其中，一些重要的特性和功能包括：

• 基于指令的表达式编辑: MGIE生成简洁明了的说明，提高了编辑质量，增强了用户整体体验。
• Photoshop风格修改: 支持常见的Photoshop风格编辑，如裁剪、调整大小、旋转、翻转和添加滤镜。同时，也能执行更高级的编辑，如更改背景、添加或删除对象以及混合图像。
• 全局照片优化: MGIE能够优化照片的整体质量，包括亮度、对比度、清晰度和色彩平衡。此外，还支持应用素描、绘画和漫画等艺术效果。
• 局部编辑: 能够编辑图像中的特定区域或对象，如脸部、眼睛、头发、衣服和配饰。用户可以修改这些区域或对象的属性，包括形状、大小、颜色、纹理和风格。

MGIE的开源项目

MGIE是在GitHub上的一个开源项目，用户可以在该项目中找到代码、数据和预训练模型。此外，该项目还提供了一个演示笔记本，以指导用户如何使用MGIE完成各种编辑任务。

苹果公司通过MGIE向用户展示了其在人工智能领域的创新力，为图像编辑任务带来了更加智能和便捷的解决方案。这一开源项目的推出，也为广大开发者提供了参与和贡献的机会。