MagicTime通过引入变形时间延迟视频的概念，旨在克服这些限制，提高视频生成的质量和动态性。

　　•物理知识编码不足： 现有的T2V模型生成的视频缺乏对现实世界物理规律的准确反映。•有限的动作和变化： 生成的视频动作单一，变化不足，难以反映复杂的变形过程。

　　1.变形时间延迟视频生成： MagicTime专注于生成包含物理知识、长期持续性和强烈变化的变形视频，这些视频比常规视频包含更丰富的物理知识和变形过程。

　　2.MagicAdapter方案： 通过设计MagicAdapter方案，MagicTime能够解耦空间和时间训练，从变形视频中编码更多的物理知识，并转换预训练的T2V模型以生成变形视频。

　　3.动态帧提取策略： 引入动态帧提取策略来适应变化范围更广的变形时间延迟视频，更好地体现物理知识。

　　4.Magic Text-Encoder： 改进了对变形视频提示的理解，提高文本到视频生成的准确性和质量。

　　5.ChronoMagic数据集： 创建了专门的时间延迟视频文本数据集ChronoMagic，为解锁变形视频生成能力提供支持。

　　MagicTime通过生成高质量和动态的变形视频，证明了其对生成时间延迟视频的优越性和有效性，为构建物理世界的变形模拟器开辟了一条有希望的道路。

　　该项目的使命是帮助复现Sora，并提供高质量的视频文本数据和数据注释管道，以支持Open-Sora-Plan或其他基于DiT的T2V模型。MagicTime计划将额外的变形景观时间延迟视频集成到同一注释框架中，以获得ChronoMagic-Landscape数据集，然后使用该数据集微调Open-Sora-Plan v1.0.0，得到MagicTime-DiT模型。

　　从2月26日央视发布《千秋诗颂》开始，从总台到上海台、芒果台，各地广电密集发布了13部AI作品。

　　各家媒体切入AIGC一般以一场动员作为起点 ，媒体们一般会成立一个“工作室”，负责统筹AIGC应用。我们看到的电视台AIGC片段大多以静态图片为基础，再加上动态效果如简单的缩放和移动。

　　2024 年 4 月 9 日东部时间——今天，微软宣布将在未来两年内投资 29 亿美元，以增加其在日本的超大规模云计算和 AI 基础设施。它还将扩大其数字技能培训计划，目标是在下一年内为 300 万人提供 AI 技能培训，在日本开设#first微软亚洲研究院实验室

　　此外，Gemini 1.5 Pro能够对上传到Google AI Studio中的视频进行图像（帧）和音频（语音）的同时推理，意味着这个模型具备了理解和处理视频内容的能力，不仅限于视频的视觉部分（如图像帧），也包括音频部分（如对话、背景音乐等）。

　　1.多模态理解：Gemini 1.5 Pro能够综合视频中的视觉信息和音频信息，进行更全面的内容理解。例如，它可以通过分析视频帧中的场景和物体，同时听取视频中的对话或声音，来更准确地识别和解释视频内容。

　　2.内容索引和搜索：通过对视频图像和音频的深入理解，Gemini 1.5 Pro可以帮助创建更详细的内容索引，使用户能够基于视频内容的视觉和听觉信息进行搜索。

　　3.增强的交互体验：利用对视频的综合理解，可以开发更丰富的交互式应用，比如自动生成视频摘要、基于内容的推荐系统，或者创建互动式学习和娱乐体验。

　　4.视频内容分析：Gemini 1.5 Pro可以用于视频监控、内容审查、情感分析等场景，通过同时理解视频和音频内容，AI可以自动识别视频中的关键事件、情感倾向或者特定的内容标签。

　　5.创意内容生成：对视频图像和音频的综合理解也使得Gemini 1.5 Pro能够在内容创作领域发挥作用，如自动生成视频字幕、配音或者根据给定的脚本制作动画视频。

　　1.系统指令：通过系统指令引导模型响应，现已在Google AI Studio和Gemini API中提供。定义角色、格式、目标和规则来指导模型的行为，以适应特定用例。

　　2.JSON模式：指示模型仅输出JSON对象。该模式支持从文本或图像中提取结构化数据。可以使用cURL开始，并且Python SDK支持即将推出。

　　3.函数调用的改进：现在可以选择模式来限制模型的输出，提高可靠性。选择文本、函数调用或仅函数本身。

　　Google Vids 集多种功能于一体，它可以一键帮助你创作故事板，还会通过AI协助你编辑内容，选择适合的场景、图片和音乐，自动帮你生成一个完整的类似PPT的宣讲视频。

　　Google Vids 的目的是生成各种工作宣讲或者销售视频，无论是 HR 介绍公司文化，培训团队创建数字学习经验，还是销售人员向新客户推销产品。