A Runway lançou, nesta sexta-feira, um novo modelo de geração de vídeo por inteligência artificial (IA) que permite editar elementos em outros vídeos. Denominado Aleph, o modelo de IA video-para-vídeo pode realizar uma ampla gama de edições, incluindo adicionar, remover e transformar objetos; inserir novos ângulos e quadros; alterar ambientes, estações e horários do dia; e modificar estilos. A empresa de IA, sediada em Nova York, anunciou que o modelo de vídeo será disponibilizado em breve para seus clientes corporativos e criativos, além dos usuários da plataforma.
Os modelos de geração de vídeo por IA evoluíram significativamente. Passamos de clipes de alguns segundos de cenas animadas para a geração de vídeos completos com narrativas e até áudio. A Runway tem se destacado nesta inovação com suas ferramentas de geração de vídeo, que são utilizadas por estúdios de produção como Netflix, Amazon e Walt Disney.
O novo modelo Aleph promete editar vídeos de entrada de forma eficaz. Em uma postagem na plataforma X (anteriormente conhecida como Twitter), a empresa o descreveu como um modelo em contexto de última geração, capaz de transformar um vídeo de entrada com simples comandos descritivos.
Em um texto no blog, a empresa também apresentou algumas das capacidades que Aleph oferecerá quando estiver disponível. A Runway mencionou que o modelo será inicialmente disponibilizado para clientes corporativos e criativos, e, nas semanas seguintes, será amplamente lançado para todos os usuários. No entanto, não ficou claro se os usuários do nível gratuito também terão acesso ao modelo ou se ele será reservado apenas para assinantes pagantes.
Entre as capacidades do Aleph, destaca-se a possibilidade de gerar novos ângulos e visões de uma mesma cena a partir de um vídeo de entrada. Os usuários podem solicitar, por exemplo, um ângulo baixo invertido, um close extremo do lado direito ou um plano geral de todo o palco. Além disso, é possível usar o vídeo de entrada como referência para gerar os próximos quadros com base em comandos.
Uma das habilidades mais impressionantes do modelo de vídeo por IA é a capacidade de transformar ambientes, localizações, estações do ano e horários do dia. Isso significa que os usuários podem enviar um vídeo de um parque em uma manhã ensolarada, e o modelo pode adicionar efeitos de chuva, tempestade de areia, neve ou até transformar a cena em um ambiente noturno, mantendo os outros elementos do vídeo inalterados.
O Aleph também pode adicionar objetos ao vídeo, remover elementos como reflexos e edifícios, alterar objetos e materiais completamente, modificar a aparência de um personagem e recolorir objetos. Além disso, a Runway afirma que o modelo pode aplicar um movimento específico de um vídeo a um cenário diferente.
Até o momento, a Runway não divulgou detalhes técnicos sobre o modelo de IA, como duração do vídeo de entrada, proporções suportadas, custos da interface de programação de aplicativos (API) etc. Essas informações provavelmente serão compartilhadas quando a empresa lançar oficialmente o modelo.
