一、引言

NetaYume Lumina是一个文本转图像模型，由Neta.art 实验室开发的高质量动漫风格图像生成模型Neta Lumina进行微调。它基于上海人工智能实验室Alpha-VLLM 团队发布的开源基础模型Lumina-Image-2.0构建。

主要特点：

• 高质量动漫生成：生成具有清晰轮廓、鲜艳色彩和平滑阴影的详细动漫风格图像。

• 改进的字符理解：更好地捕捉字符，特别是来自 Danbooru 数据集的字符，从而产生更连贯和准确的字符表示。

• 增强精细细节：准确生成配饰、服装纹理、发型和背景元素，更加清晰。

二、信息

对于版本 1.0：

• 该模型基于 NetaLumina 模型版本 进行微调neta-lumina-beta-0624-raw，使用包含约 1000 万张图像的自定义数据集。训练在 8× NVIDIA B200 GPU 上进行了 3 周。

对于版本 2.0：

此版本有2个版本：

版本 2.0：

• 我将基础模型切换到 Neta Lumina v1，并在我的自定义数据集上训练该模型，该数据集包含来自 e621 和 Danbooru 的图片。该数据集包含多种语言的注释：30% 的图片使用日语标注，30% 使用中文标注（其中 50% 使用 Danbooru 风格的标签，50% 使用自然语言标注），其余 40% 使用自然英语描述。

• 对于注释，我使用了 ChatGPT 以及其他能够快速优化的模型来提升标签质量。此外，我修改了代码，使其支持多尺度训练，而不是固定使用 1024 的分辨率，并在训练过程中动态调整图像大小，使其在 768 到 1536 之间。

• 注：目前，我仅使用基准测试评估了该模型，因此其全部功能尚不确定。但是，根据我的初步测试，该模型在生成 1312x2048 分辨率的图像时表现相当出色（如我提供的示例图像所示）。

• Moreover, this version the model generates images with the size up to 2048x2048 based on my testing.