独立开发者

项目名称：ARDiffMuseum

项目简介

ARDiffMuseum是一个开源的iOS应用，它使用Stable Diffusion技术在增强现实中生成并展示图像。用户可以指定任何提示（文本）来生成图像，并将它们显示在AR中的墙上。该应用支持在最新的macOS和iOS设备上运行，并且可以作为为iPad设计的应用在Mac上运行。

功能特点

1. 设备端图像生成：使用Stable Diffusion v2在设备上生成图像。

2. 逐步展示生成图像：应用可以展示图像生成的每一步。

3. 保存生成图像：将生成的图像保存在照片库中。

4. AR墙展示：在AR中将生成的图像显示在墙上。

5. 自动切换显示图像：定期自动切换显示的图像。

6. 根据视距自动放大：在户外墙上显示大尺寸投影。

7. 内置样本图像：提供内置的样本图像以供参考。

系统要求

• macOS 13.1或更新版本，Xcode 14.2或更新版本。

• iPhone Pro 12+ iOS 16.2+，iPad Pro搭载M1/M2芯片 iPadOS 16.2+。

考虑事项

• 目前，同时使用CoreML Stable Diffusion库和RealityKit API（如ModelEntity.load(name:)）经常会导致MPS内部错误。

• 作为解决方案，现在已经将图片框架的3D模型替换为一个简单的模型。

相关应用

在GitHub上还有其他相关的应用仓库：

• Img Gen SD2: https://github.com/ynagatomo/ImgGenSD2

• AR Wall Picture: https://github.com/ynagatomo/ARWallPicture

参考链接

• Apple Swift Package / ml-stable-diffusion: https://github.com/apple/ml-stable-diffusion

• Stable Diffusion with Core ML on Apple Silicon, Apple Dec 2022: https://machinelearning.apple.com/research/stable-diffusion-coreml-apple-silicon

• Deploying Transformers on the Apple Neural Engine, Apple June 2022: https://machinelearning.apple.com/research/neural-engine-transformers

• Hugging Face Hub - stabilityai/stable-diffusion-2: https://huggingface.co/stabilityai/stable-diffusion-2

许可证

该项目遵循MIT许可证。