发布日期:2024-03-23 15:29 点击次数:86
近期,生成式东说念主工智能(AIGC)范围又袒显露多款创意通盘的新应用。
今天,钛媒体AGI梳理了免费 AI “神器”系列第九弹,共五款,其中不少家具再一次拓宽了咱们对AI的念念象力。
字节推出的AI视频生成模子——AnimateDiff-Lightning
开源SDXL动漫模子——Animagine XL 3.1
视频自动生成音效的AI用具——Optimizer AI
通过录像头能已毕在纸上弹钢琴的AI应用——Paper Piano 纸钢琴
截图转代码应用——screenshot-to-code
1、 字节版Sora:AnimateDiff-Lightning AI视频模子
家具信息:AnimateDiff-Lightning是字节朝上推出的文生视频大模子,该模子是从AnimateDiff SD1.5v2中索取出来的,包含了1步、2步、4步和8步索取模子的版块。其中,2步、4步和8步模子的生成质料极端好,为视频创作家带来更多了念念象和助力。
家具功能:AnimateDiff-Lightning或者阐发文本形容生成视频,比起蓝本的AnimateDiff模子,速率普及十倍以上。同期还不错与多种不同作风的基础模子勾通使用,将现存视频调度成不同作风的视频。比如将实践作风视频调度成动漫卡通作风,以自负不同视频作风创作需要。此外,AnimateDiff-Lightning撑握多要领蒸馏模子,提供1步、2步、4步和8步的蒸馏模子,用户不错阐发我方的需求,在生成视频的速率和质料之间作念出选拔,以均衡生成速率和视频质料。
体验地址:https://huggingface.co/ByteDance/AnimateDiff-Lightning?ref=top.aibase.com
论文地址: https://arxiv.org/html/2403.12706v1
2、开源SDXL动漫模子——Animagine XL 3.1
家具信息:Animagine XL3.1是由海艺AI与Cagliostro Lab和谐推出的一款开源动漫文生图模子。相较于V3.0版块,Animagine XL 3.1在各方面皆进行显赫的技能性普及,使其对动漫作品和作风的交融愈加深刻,为用户提供愈加弘远的动漫图像生成体验。
家具功能:Animagine XL 3.1或者阐发文本领导生成高质料动漫作风图像。为了提高生成收尾的准确性,Animagine XL3.1接管了标签排序的方式,不错更准确地阐发输入的标签进行生成图像,提高生成收尾准确性。同期,Animagine XL 3.1领有87万张图片的数据集,极大增强了模子对各式动漫变装的识别智商;引入全新主张“好意思学标签”,更新了质料和年份标签,不仅提高了生成图像的视觉诱导力,也确保图像作风一致性,安妥更高条目的审好意思质料尺度。
此外,Animagine XL3.1还措置了3.0版块中的过曝问题,提高了生成图像的质料。通过对算法和检会经由的优化,该模子在生成图像时,或者更好地适度图像的亮度和色调,从而幸免过曝自豪的出现。现在V3.0在Civitai的下载量超7万。
3、视频生成音效的AI用具——Optimizer AI
家具信息:Optimizer AI是一款不错为视频自动生成音效的AI用具,旨在普及游戏开导者、艺术家和视频创作家责任遵循,通过音效为视频增添更多活力。
家具功能:领先,用户输入笔墨领导即可生成适用于视频中各式场景的声息和音效,包括游戏音效、动画配景音和视频配乐。用户还不错通过指定作风标签(如卡通、恐怖等)来指导生成不同作风的声息。
其次,配资门户Optimizer AI撑握声息遵循生成,包括变声功能,或者基于一个参考声息生成多个访佛的声息。
再次,Optimizer AI不错生成用于配景音乐或创建特定氛围的声息,并或者处理和交融文本的信息,保握生成的一致性的同期还不错生成时长更长的声息遵循。
终末,行将推出的视频到声息全面生得胜能将允许用户从视频中径直生成声息遵循,进一步扩张声息创作的可能性。
4、通过录像头追踪在纸上就能弹钢琴的AI应用——Paper Piano 纸钢琴
家具信息: Paper Piano(纸钢琴)是一款通过录像头追踪就能已毕在职何一张白纸上弹钢琴的AI应用。Paper Piano(纸钢琴)的责任旨趣是通过在纸上预界说不同区域来代表钢琴键,当录像头捕捉得手指触摸特定区域时,相应的音符将被生成。
家具功能: 用户只需准备两张A4大小的白纸模拟钢琴键盘,Paper Piano(纸钢琴)通过录像头追踪和手指识别技能捕捉用户的手指挪动,从良友毕在纸上模拟钢琴键按压,奏出奥密音乐。值得属主义是,为了确保手指追踪的准确性,系统条目在网罗录像头的建造上属目角度、高度和距离,同期光芒越强,性能也会越好。
不外,现在该花式尚处于撑握最多两根手指的阶段,昔时将撑握更多手指和更高敏锐度的检会模子,为用户提供更丰富的演奏体验。这一技能的发展可能带来更多真理真理的音乐应用,使用户无需购买着实的钢琴即可享受演奏的乐趣。
5、截图转代码应用——screenshot-to-code
家具信息:screenshot-to-code是一种基于东说念主工智能技能的翻新用具,旨在匡助开导东说念主员将图像或界面缠绵截图调度成可推论的代码。用户只需上传截图,即可得到整洁的网页代码,如HTML、Tailwind CSS和JavaScript等。
家具功能:领先是智能生成代码,通过集成GPT-4Vision,该应用表率或者智能地分析截图并生成相应的HTML、Tailwind CSS和JavaScript代码,提高用户写代码遵循。
其次是DALL-E3生成相同图像,应用表率不仅能生成代码,还不错行使DALL-E3生成与原始截图相同的图像,增强用户体验。
终末是实期间码更新,用户不错径直在应用表率中稽察生成的代码,并在需要时通过与AI互动指示,休养阵势或更新缺失的部分,以自负其需求。
因其浅薄、高效的图转代码功能,screenshot-to-code深受开导者和缠绵者迎接,甘休发稿,该应用在GitHub平台已累计超35000颗星。
(作家|章橙,剪辑|林志佳)