团子AI1.0.11官方正式版

团子AI1.0.11官方正式版

软件介绍

团子AI是在线的人工智能工具箱,提供伴奏人声提取、任意乐器分离、无损升降掉等有趣且实用的功能。零门槛,快,简单,而且好。

团子AI

团子AI核心亮点

●零门槛,快,简单,而且好

优秀的AI背后技术并不简单,但是繁琐复杂的东西交给团子就好了团子精心设计的AI工具没有任何的门槛,开箱即用。

●质量优先,工具,不是玩具

团子的每一项工具均以质量作为与众不同的核心卖点。即便为了提升1%的质量,团子也会不计成本的“堆料”,只为对质量有极端苛刻要求的你。

●提升生产力,“早点做完,早点完事”

试试人工智能,从传统技术中解放出来,一分钟顶半小时。团子的每一项AI工具,均能显著提高你的生产力。

团子AI界面功能

●伴奏人声提取:采用11.0算法,上传任意歌曲,提取该歌曲的伴奏和人声。

●任意乐器分离:采用4.0算法,在歌曲中分离、提取或删除任意乐器和声音。

●无损升降音调:采用2.0算法,利用AI对任意歌曲升降调,但不损失音质。

●混响回声移除:无损的清除人声和乐器中的混响、回声。

●有损音频修复:修复严重有损压缩音频,重建高频能量细节。

●现场氛围清理:清除现场音乐欢呼、拍手、严重混响和轰鸣。

团子AI

团子AI适用场景

●翻唱演出:想翻唱一首冷门歌却苦苦找不到伴奏,不用找了,因为很多歌曲根本没有发布伴奏版本。使用团子的人工智能剥离出歌曲的伴奏,不但可以拿到高保真的伴奏,还可以单独聆听歌曲的人声部分来学习和声的唱法。

●二次创作:想找到一首歌提取其中人声并且Remix它,除了极少数歌曲的作曲官方Remix比赛,否则很少有歌曲会单独放出纯人声部分。停止等待,立刻使用团子的人声增强算法剥离出清晰的人声,并把它用在自己的创意上。

●教育学习:在学习编曲时我们经常被人教导“多扒带找感觉”,但是进入耳朵的都是复杂的混音,使用团子的人工智能剥离出一首歌的各个音轨,清晰的聆听并学习每一个音节的构成,培养音感的同时也来感受混音带来的魅力。

●剪辑创作:上传歌曲时,在算法中找到团子独特的“超清人声提取算法”。移除电影、电视剧中自带的BGM,还能保留最清晰的、连呼吸声都能听到的人声,团子拥有大量剪刀手用户,搭配剪辑片段包,可以低成本剪辑大量视频片段。

●和声保留:翻唱时需要和声怎么办,在以前只能靠一双铁耳慢慢听隐藏在人声下的和声部位。停止损耗耳朵与听力,团子独特“和声保留”算法,消除主要人声但保留和声,无论是拿来学习、转录、扒带还是拿来直接翻唱,十分好用。

●音频降噪:团子的本质是“提取音频中的人声”,那么原曲减去人声所得的就叫“伴奏”。你可以上传一段需要降噪的录音,搭配我们的“超清人声提取算法”,在嘈杂吵闹中仍能提取出清晰的人声,至于提取出的“伴奏”是什么,当然是我们不需要的噪音啦。

团子AI

团子AI软件特色

人工智能

团子每一项工具均 100% 由先进顶级的人工智能制成。经过大量的学习和训练,它如大脑一样认知、理解并处理事务。

在线运行

AI计算庞大耗时耗力,家用电脑很难“带的动”,团子云端集群配置专业 NVIDIA V100 计算卡,无需考虑硬件配置,无需下载笨重的传统软件,一切运行在云端。任何设备随时随地使用。

效果拔群

AI 技术不是噱头,团子每一项工具均比传统软件处理的要更好、更快、更智能。

快,简单,而且好

优秀的 AI 背后技术并不简单,但是繁琐复杂的东西交给团子就好了

团子精心设计的 AI 工具没有任何的门槛,开箱即用

质量优先

工具,不是玩具

团子的每一项工具均以质量作为与众不同的核心卖点。

即便为了提升 1% 的质量,团子也会不计成本的“堆料”,只为对质量有极端苛刻要求的你。

提升生产力

“早点做完,早点完事”

试试人工智能,从传统技术中解放出来,一分钟顶半小时

团子的每一项 AI 工具,均能显著提高你的生产力

无限制

个人、企业、与开发者

团子AI面向全部人开放,无需预约咨询开通;成本透明,按量付费,处理无需排队。

我们还为企业与开发者提供简单、安全且易用的 API 接口,轻松与你的项目或产品进行对接。

团子AI安装步骤

1、在星动下载站下载最新安装包,按提示安装

团子AI

2、安装进行中,完成即可使用

团子AI

团子AI更新日志

26年08月:伴奏人声提取12.0研发中

8月份,我们全部精力用来在伴奏人声提取 12.0系列的研发过程中。

混响回声移除功能中的“人声-去回声”使用了我们全新研发的DangoNet6-Lite架构,它是新架构中的“轻量化”版本,而我们即将制作的伴奏人声提取新系列将使用重型且完整版本的架构。

新架构糅合了团子近一年时间各类实验的落地成果,也可以称为“集大成者”,迁移到新架构、以及更多的训练素材,使得我们的性能马上得到了巨幅提升,SDR从11代的18.41dB来到了18.83dB,从量化指标上来看,这甚至比10代到11代的相对提升还要高,而且这只是到实验的前中期,后期我们还有各类“刀枪剑戟”还没上阵,还能进一步提升很大的空间

SDR的提升未必就代表歌曲“实打实”提取质量提高,实际上全新架构的输出相比上一代,的确解决了部分歌曲中存在的遗留问题,但也增加了一些新的问题,且目前解决起来仍然存在很大阻力这个过程中还是需要巨量的实验来达到某种我们满意的平衡性,在一切都没有完备之前,我们只能继续实验,期待下个月中我们会报告更多好消息。

全新“轻微杂音移除”模型按情况可能发布

在12.0的分支中,我们有可能会发布一款全新的“轻微杂音移除”模型。

该模型属于“伴奏人声提取”功能中的“更好人声提取”里的选项,当开启后将使用本模型从人声中移除轻微杂音。

默认的“更好人声提取”模型适合于在歌曲或嘈杂环境中提取人声,而全新的“轻微杂音移除”模型更适合在本就比较安静的录音环境下进一步移除超小的杂音。比如磕碰声音、衣服摩擦声、录音时轻微的其他杂音、甚至是耳返泄露出的超轻微的、时有时无的伴奏声音。

目前市面暂时没有类似功能,大多数的“提取人声”功能无法移除这些非常精细的声音,只能在一些大的嘈杂声音中提取人声,这因为大多数的模型和架构不够“敏感”,而全新的模型使用团子自研架构,将启动“超级敏感肌”模式任何不是人声的声音都不会被放过,在我们的测试中非常非常非常惊艳,该功能更适合音频后期工作者使用,用来一键将人声的各类小问题清理干净。

不过,该功能目前仍在初步研发阶段,目前和12.0系列类似,遇到了一些阻力,如果问题解决我们将伴随12.0系列一起发布该模型,如仍然无法解决该功能可能延后搁浅。

全新音频工具【频谱查看】和【自动静音】

我们在音频工具新增了这两款工具。

26年07月:现场氛围清理已上线

本月我们发布了全新的现场氛围清理功能,这是团子“移除系”功能的全新一名悍将,它可以从“现场版”音乐或在现场的录音中,移除欢呼、鼓掌、跟唱、尖叫等人声氛围声音,但会保留主唱本身的声音,让嘈杂的现场版音乐还原成录音棚录音一般干净无瑕。

APP、桌面端同步更新

APP和桌面端我们进行了一系列的BUG修补和版本更新,全新的版本立即支持现场氛围清理功能。

桌面端修复了某些特殊文件名导致文件无法下载的问题。

APP端编辑器功能优化使用体验。安卓版支持横屏编辑模式。

12.0系列

本月我们开始正式的12.0系列的研发目前最优先研发12.0【伴奏人声提取】功能,而原有本应最优先研发的【和声保留】系列需要排后。

12.0伴奏人声提取使用完整版DangoNet6神经网络架构,但很遗憾的是,目前在更大的训练规模上,DangoNet6出现了一些意想不到的问题,在训练一段时间后,提取质量反而开始下降,这意味着我们需要推翻并进一步重复试验、改进我们的新架构,熟悉的跳票味道又回来了。

26年06月:现场氛围清理研发中

本月我们主要在“现场氛围清理”的研发进度中,目前研发顺利,模型的训练达到收尾阶段,预计7月底或8月初发布该功能。

该功能可以移除“现场版”录音中的人群欢呼、尖叫、跟唱,并且可选的,该功能还能进一步修复音频声学问题,如过量的人声、氛围的混响,以及现场版“录制”时存在的过量的低音轰鸣问题。

伴奏人声提取-12.0系列开始研发

很多小伙伴们期待12.0系列什么时候开始,在6月下旬,我们已经启动了12.0系列的研发进程。

我们最初预计首先发布12.0“和声保留”,然后发布“更好人声提取”,最后发布“伴奏人声提取”,但目前研发序列可能要改动。

我们在团子新型架构DangoNet6中快速的实验了和声保留效果 ,即便训练刚开始还未收敛,但立刻相比上一代提升了0.2~0.3dB SDR分数,不过在测试效果中,效果没我们“想象中那么好”,存在一定瑕疵问题,我们需要退回进度着重研发,因此发布的序列需要更改。

目前我们着重开始研发“伴奏提取”功能上,而“和声保留”以及“更好人声提取”进度排后,在伴奏提取功能研发过程中,另外两个功能我们会小规模频繁实验直到稳定。

12.0系列中,我们会为每一个功能提供更加清晰的定位:

伴奏人声提取:进一步的接近完美音质的输出,我们有望制作出“从未有过”的音频质量输出,拉开和其他伴奏分离软件“N个世代”级别的差距

更好人声提取:输出更清晰的人声,并且进一步减少杂音问题。

和声保留:在12.0中我们会正视和声提取在某些歌曲效果不佳的问题,并重点尝试解决这些问题。

26年05月:本月我们终于发布了混响回声移除的去“回声”能力,混响回声移除也正式暂时毕业,我们会将精力放到下一个工作当中。

本月团子的研发团队重心在新功能“现场氛围清理(名称暂定)”上,该功能将移除录音中的鼓掌、欢呼、尖叫、人群说话,以及修复现场录音常见的声学问题:过量人声、乐器的混响,以及过量低音的轰鸣声音。

我们将该功能抽象的拆解为人群移除和声学修复两个部分:

首先报告声学修复的进度,在上个月我们经历了数个实验得到了稳定的结果,声学修复行为可行,这也意味着我们会将此功能(外加人群移除功能一起)作为团子单独的功能,而不是放到任意乐器分离作为单独模型提供,提供“一键上传完整的移除现场声音各类问题”的解决方案。

而人群移除部分,目前还无法达到我们理想的状态,在大多数歌曲中它的性能稳定,但部分歌曲仍有一定瑕疵,无法移除我们希望的内容,目前训练的模型达到了某种奇怪的“死胡同”内,和我们的期望有偏差,因此6月份我们仍需要进一步的实验来达到满意的效果。

26年04月:混响回声移除

本月我们仍在训练混响回声移除的去回声能力,很遗憾的是本来我们计划在4月底发布去回声能力,但在最终的测试中,在部分歌曲效果仍然不佳,我们仍然需要一部分的推翻重做,预计可能延迟到5月中旬。

具体来说,部分歌曲的人声回声未必是效果器产生的回声,而是在音乐工程制作时“手动”切出的回声,比如对一首歌的某句话或某个词精准的进行回声,而不对其他的声音做改动,这在我们训练时是没有考虑充分的,当在大量歌曲测试时发现了此问题。

我们已经着手修复此问题,好消息是我们的去回声模型是团子正在实验的新自研架构,可以精准修复该问题,只需要对训练数据进行一定调整即可。

我们将重新微调我们的人声去回声模型,而乐器去回声模型不存在此问题,我们将在5月中旬发布两款去回声模型。

现场音乐清理

该功能已经开始推进,但目前仍然有两个“门槛”

首先,我们原计划是推出一个全新功能“现场声音清理(名称暂定)”,该功能除了可以移除鼓掌、欢呼、尖叫声以外,还会移除现场声音的过量的人声、乐器混响以及糟糕录制设置导致的“低音轰鸣”效果,让用户可以一次性把现场声音的各类声学问题全部“清理干净”,或者分轨一般的自由选择清理哪些、清理多少。但目前在低音轰鸣部分我们的多次试验效果均不佳,简单来说,网络很难去判断什么是“合适”的低音,什么是“过量”的低音。

另一个问题是移除欢呼尖叫鼓掌的模型,在大多数歌曲表现均不错,但部分歌曲会有一定残留问题,我们也在尝试解决此问题。

5月份我们将现场声音清理分为两个部分,一个是人声氛围的移除(欢呼、尖叫、鼓掌),另一个是声学修复(过量低音和混响),这两个内容我们会并行进行试验,如果声学修复部分的实验仍然困难,我们将考虑去掉此分支只保留氛围移除的部分,并取消新功能,而是将氛围移除模型放入“任意乐器分离”功能内,总之这仍需要我们进一步的实验来决定功能的走向,小伙伴敬请期待。

26年03月:本月我们在进行有损音频修复V1-Max的最终研发,并在月底前成功发布。全新的V1-Max不但拥有更大的模型参数,也包含了数个改进地方:支持低采样率失真的修复、支持抖动(Dither)损伤的修复、大幅度减少V1模型的爆音问题,并且生成的高频大幅度减少了因为相位预测错误导致的“预回响(Pre-Echo)”问题,这使得高频的声音会更“紧实”、声音更大、也更清脆。

我们还新增了一个小工具“音频盲测投票”,该功能可以在匿名无偏见的情况下,对多个声音进行评分,并随时可以揭露评分结果,该功能免费,小伙伴有需要可以自助使用。

26年02月:有损音频修复【V1-Max】模型研发中

我们在上个月的研发日志中报告,有损音频修复模型目前对上采样丢失、抖动伪影的支持基本为0,本月我们正在实验全新的模型,皆在支持上述音频损伤特性的修复,目前实验的进度约为50%左右,在一系列样本中修复效果均得到有效提升。

预计该模型将命名为【V1-Max】(而非V2),我们还需实验并解决一个相位修复的问题,该问题会导致在某些罕见的轻微音量的区域出现一些伪影问题。

混响回声移除【去回声】功能研发中

很遗憾的和小伙伴们通知,我们的去回声功能在之前的实验中效果均不佳,回声相比混响要更为复杂且更“长”,尽管目前的模型已经支持一定的短回声移除,但效果仍无法达到我们满意的程度。

我们正在从网络架构入手,团子的人工智能实验室研发了一款新型适配神经网络,预计支持更长的回声移除能力,本月初我们已经进行了数次实验,已经找到了稳定的方法,目前正在全力训练中。

很遗憾目前我们无法解禁更多有关该架构的进一步说明但该架构在我们内部评价为——逆天未来我们的12.0系列伴奏人声提取算法也会沿用此架构的能力,预计会巨量提升“和声保留”算法的稳定性、彻底级别的杜绝主唱和声的识别错误问题。

26年01月:本月我们上线了重磅菜系“有损音频修复”。这是全网首家为有损音频考虑的成熟商业方案,可以“认真的”重建有损音频带来的高频丢失、能量缺损、相位破坏的问题,而不是目前市面其他方案的“糊弄重建”。

有损音频修复设计初衷是修复因为MP3、OGG等有损压缩编码导致音频出现缺陷、发闷发糊问题,而部分小伙伴上传的音频是小于44100的低采样率音频并希望“上采样”到44100/48000的程度,但团子在最初设计中并没有包含该修复能力,所以目前暂不支持该能力的修复。

另外,音频本身的缺陷(如某些杂音)团子无法修复他们,团子拥有严格的“置信点”机制,严格的确保重建后的音频听感上符合原曲,好处是修复不会“乱修”,但相应的,也导致了原曲本身如果有杂音,团子也会忠实的保留这些内容(但其实除非是那种“录音磁带”风格的音频,99.99999%大多数音乐没有什么杂音,不用考虑此问题)

最后,部分小伙伴将团子的其他功能(如伴奏人声提取)的结果发送到有损音频修复,希望增强提取效果,但实际上就像刚才所说,团子的输出严格忠于原曲听感,只会重建高频和中低频能量缺陷,不会“修改”原曲本身的内容,所以无法带来任何的听觉改进,但如果小伙伴本身的音频是MP3等有损音频,可以“先有损修复、后伴奏提取”的流程,理论上可以一定程度的增强伴奏提取的性能,但如果小伙伴有能力直接找到无损音频版本,直接上传原始无损音频到伴奏提取功能当然相较来说是最好的

本月我们还增加了一个新的音频工具“视频音频替换”,顾名思义可以将一个视频内的音频替换成另一个音频,如果小伙伴们身边没有专业工具可以使用该功能“临时顶一顶”。

若想查看更多PC端团子AI版本日志信息,请点击访问官网查看。

2024年6月:任意乐器分离-4代开始研发

本月我们开始了任意乐器分离的4代模型研发,4代中我们暂时不会新增模型,而是将三代模型进行全线的升级,目前研发进度已经完成25%左右,仍需2-3个月和小伙伴们见面,敬请期待。

目前我们已经完成了【电吉他】的训练,相对于上一代,它主要在三个方面进行了提升:

更不容易与人声混淆:在3代算法中,有些歌曲的人声(尤其以女性人声为主)会被AI误认为是电吉他而消除,本代中大幅优化了这种问题。

与低音混淆:同(1),前代中的电吉他经常将贝斯的低音也“扣掉”导致剩下的伴奏低音异常,本代得到改良。

更多的高音:电吉他的特色声音主要聚集在6-8khz下方,而上方的高音部位一般有效信息较少,得益于DangoNet4算法,本代我们不但在 6-8khz下方提取的更好,而且在高频的部位我们提取能力也大幅度增强,本代提取出的电吉他会进一步的“饱满清晰”,而不会发闷发糊。

2024年5月:和声保留10.0已上线

本月上半旬,我们成功发布了和声保留10.0算法,作为10.0系列算法的最后一员,和声保留的训练和实验的过程,相比之前耗时更久,因为我们希望借助我们自研的DangoNet4的高性能架构来一举解决和声内一些提取错误问题,不过这个结果即“成功”又“失败”。 成功在于10.0的提取性能、听觉以及稳定性要比9代更强;在我们测试的复杂和声歌曲中,它相比上一代处理的更好,可以正确的识别和声和主唱的位置,但一些极少部分的复杂的歌曲仍然“难以胜任”,团子希望在10.0的世代就彻底解决和声提取错乱的问题—— 高级修复算法已上线 在我们研发和声保留10.0的同时,我们就已经在内部秘密开发了一种新型的架构,我们遇到的一切“和声保留错误”的问题,归根到底都是我们的AI在某些情况下,无法认知“谁是主唱谁是和声”,由此产生了各种浮于表面的听觉问题。 只要我们解决根本上的“无法识别”问题,和声保留提取错误的问题就可以成为历史,所以我们推出了全新的【可控和声保留】算法,您可以提供一个样本给该算法来辅助它提取和声,而样品就是“您希望删除的人声、它听起来是什么样的”。

团子AI使用方法

团子AI如何修复有损的音频文件

1、打开软件,选择界面首页中的【有损音频修复】功能。

团子AI

2、接着,点击界面顶部的【添加文件】按钮,将要修复的文件添加进来。

团子AI

3、然后,大家还可以点击界面右上角的【修复方案】,这里根据自己的实际需求来进行各项参数的调整。

团子AI

4、参数调整好以后,点击界面中的【开始上传】按钮即可。

团子AI