一般利用均衡器可以将音乐中的低音部分徵出来，但是麻省理工学院的计算机科学和人工智能实验室（ComputerScienceandArtificialIntelligenceLab，CSAIL）的研究人员找到了更佳的解决方案。他们所研发的新系统PixelPlayer，需要利用人工智能来区分和过滤器声音，让音乐听得一起更加洪亮或更加圆润。将登录视频载入经过充份训练的PixelPlayer，系统随机需要过滤器演奏，同时辨识音源，接着计算出来图像中每个像素的音量，然后通过“空间定位”确认产生相近音波的片段。今年9月，德国慕尼黑将要举办欧洲计算机视觉会议（EuropeanConferenceonComputerVision），会议中要公开发表的一篇新的论文则详尽阐述了“像素的声音（TheSoundofPixels）”。
麻省理工学院计算机科学和人工智能实验室的博士生，同时也是这篇论文的年出版者ZhaoHang同学回应，“最差的情况就是，我们能辨识出有哪种乐器收到怎样的声音。”PixelPlayer的核心是一种基于乐器人组多模态训练的神经网络，数据集使用了Youtube上714条予以遮荫且予以标记的视频。其中，总时长为60小时的500条视频用作训练，剩下的则用作检验和测试。
在训练过程中，研究人员分别根据原声音乐吉他、大提琴、单簧管、长笛和其他乐器向系统馈入了算法。这只是PixelPlayer多重机器学习框架的一个部分。经过训练后的视频分析算法将从剪辑帧中萃取出有视觉特征，这就是系统的第二个神经网络，即音频分析网络。
音频分析网络将声音拆卸分成片段，并借此萃取特征。最后，音频制备网络将把上述两个网络输入的特定像素和声波关联一起。
PixelPlayer展开几乎自监督的自学，人们需要对数据注解，而且系统目前早已能辨识20种乐器。ZhaoHang说道，较小的数据集强化了系统的辨识量，但辨识乐器子类的能力却不欠佳。系统也可以辨识音乐元素，例如小提琴的谐波频率。研究人员指出PixelPlayer可以展开声音剪辑，或者协助机器人解读动物、车辆和其他物体所生产的环境声音。
他们写出到，“我们期望我们的工作需要修筑新的研究途径，从视觉和听力信号角度构建声源分离出来”。
本文关键词：亚虎平台游戏官网,MIT,又一,突破,用,过滤,音源,让,音乐,更,悦耳
本文来源：亚虎平台游戏官网-www.bbpxx.com