本文共 1192 字,大约阅读时间需要 3 分钟。
近年来,随着人工智能技术的快速发展,预测下一个token的能力已经在大语言模型领域取得了显著进展。其中,ChatGPT等模型的成功展示了下一token预测在文本生成中的巨大潜力。然而,在多模态任务中的应用仍显不足。目前,多模态任务主要由扩散模型(如Stable Diffusion)和组合方法(如CLIP视觉编码器与LLM结合)所主导。2024年10月21日,智源研究院发布了原生多模态世界模型Emu3,该模型基于下一个token预测的原理,能够无需扩散模型或组合方法完成文本、图像、视频三种模态数据的理解与生成。这一突破性技术为多模态任务的研究提供了全新的方向。
Emu3在图像生成、视频生成及视觉语言理解等任务中表现优异,超过了诸多知名开源模型(如SDXL、LLaVA、OpenSora等)。其核心优势在于不依赖扩散模型、CLIP视觉编码器或预训练的LLM等技术,而是仅仅依赖下一个token的预测能力。Emu3配备了强大的视觉tokenizer,能够将视频和图像转换为离散token。这些视觉离散token可以与文本tokenizer输出的离散token协同工作,从而实现多模态数据的统一处理。模型输出的离散token同样可以转换为文本、图像和视频,为任何模态间的转换提供了统一的研究框架。这种技术在前一阶段并未有类似模型出现,显得尤为创新。
pip install modelscope
modelscope download --model BAAI/Emu3-Gen
git clone
docker run -it --rm --gpus=all -v /datas/work/zzq:/workspace pytorch/pytorch:2.2.2-cuda12.1-cudnn8-devel bash
-进入项目目录并安装依赖:
cd /workspace/Emu3/Emu3-mainpip install -r requirements.txt -i
在Emu3项目目录下运行以下命令进行图像生成测试:
python image_generation.py
在推理测试过程中可能会遇到显存不足的问题。建议根据实际硬件配置调整模型参数或使用更高效的计算资源。
Emu3模型的发布标志着多模态任务研究的又一个重要里程碑。通过仅基于下一个token预测的原理,它突破了传统依赖扩散模型和组合方法的局限,为人工智能研究提供了全新的思路。未来,随着Emu3模型在更多任务中的应用和优化,其在多模态人工智能领域的影响力将持续扩大。
转载地址:http://kacbz.baihongyu.com/