V-Express
V-Express是由南京大学和腾讯AI实验室共同开发的一项技术，旨在通过参考图像、音频和一系列V-Kps图像来生成说话的头像视频。这项技术可以根据不同的信号，如声音、姿势、图像参考等来控制视频内容，确保即使是弱信号也能有效地影响最终生成的视频，使视频生成更加逼真和多样化。
Magi 的模型是一个可以自动将漫画页转录成文字并生成剧本。Magi 模型是牛津大学工程科学系的视觉几何组开发的，该模型通过识别漫画页面上的面板、文字块和角色，实现了全自动的剧本生成功能。其主要功能包括面板检测，识别漫画页面上的各个面板，以及文本块检测，识别面板中的文本块，通常包含对话或叙述性文本。此外，模型还能够检测页面上的角色形象，并根据其身份进行聚类，以区分不同的角色。
Magi 模型还可以将文本与说话者进行关联，确定哪些文本是由页面上的哪个角色说出的，保证剧本的准确性。同时，模型还会按照漫画的阅读顺序对文本块进行排序，确保剧本的叙述逻辑与原漫画一致，让读者通过阅读文本完整地体验漫画故事。
除了 Magi 模型本身，项目还包含一个名为 Mangadex-1.5M 的数据集，其中包含约150万漫画页面，涵盖多种流派和艺术风格。这个数据集的设计旨在为 Magi 模型的训练提供支持，解决漫画页面的自动理解和剧本生成问题，包括面板检测、文本块和角色检测、角色身份聚类以及文本与说话者之间的关联。
通过这一项目，研究人员希望推动漫画领域的自动化处理和理解技术的发展。
论文：https://arxiv.org/abs/2401.10224
Magi GitHub源码：https://github.com/ragavsachdeva/magi
项目入口：https://top.aibase.com/tool/magi
Magi：自动将漫画页转录成文字并生成剧本
数据统计
相关导航
SEED-Story
SEED-Story是一个腾讯开源的基于大型语言模型（MLLM）的多模态长篇故事生成模型，它能够根据用户提供的图片和文本生成连贯的叙事文本和风格一致的图片。无论是小说创作、剧本编写还是视觉故事，SEED-Story都能提供高质量、多模态的内容，助力创意产业的发展。
SDXL-Lightning
SDXL-Lightning是一款由字节跳动开发的开源免费的文生图开放模型，能根据文本快速生成相应的高分辨率图像。该模型能够在极短的时间内生成高质量和高分辨率的图像，是目前最快的文生图模型之一。
华知大模型
华知大模型是由同方知网与华为合作开发的中华知识大模型。它是一个专注于知识服务与科研行业的全栈自主可控的大模型，旨在覆盖政企文教等多个行业场景，并提供30多项通用能力体系。华知大模型的核心特色能力包括智能写作、学术搜问、AI伴读、标准智能问答、机构业务知识智能问答以及图书馆读者智能服务系统等。
知海图AI
知海图AI是知乎与面壁智能合作开发的中文大模型，于2023年4月13日开始内测。它的主要功能是对知乎热榜上的问题回答进行要素抽取、观点梳理和内容聚合，以便用户能够更快、更全面地了解知友们讨论的热点与焦点。知海图AI在特定场景中的表现与GPT-4相当，显示出强大的语言理解和内容总结能力。此外，知海图AI的发布也标志着知乎在大语言模型领域的进一步布局，旨在赋能创作者、讨论场、信息获取等多个业务场景。
言犀
言犀是京东自营智能人机交互平台，助力企业服务数智化转型。以AI技术驱动，从文字、语音到多模态交互，从对话智能到情感智能，聚焦体验、效率与转化，旨在打造新一代智能人机交互平台，面向不同行业和客户场景助力企业服务和营销实现数智化转型升级。
Lumiere
Lumiere是谷歌发布的一个文本到视频扩散模型，于2024年正式发布。这个模型能够直接生成全帧率、低分辨率视频，通过训练海量文本和视频数据，可以将文字描述直接转化为高质量、真实、多样且连贯动作的视频。适用于多种内容创作和视频编辑应用，如图像到视频、视频修复和风格化生成。
书生·浦语 InternLM
书生·浦语 InternLM 是由商汤科技与上海AI实验室联合香港中文大学和复旦大学共同开发的新一代大型语言模型。它是在过万亿token数据上训练的多语千亿参数基座模型，具有较高的知识水平，尤其在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀。
暂无评论...