励志电影推荐

出品｜虎嗅科技组作者｜陈伊凡编辑｜苗正卿头图｜AI生成"AI原生100"是虎嗅科技组推出针对AI原生创新栏目，这是本系列的第「15」篇文章。"我们确信不久的将来会有一个‘大饼’掉下一个，虽然具体什么时候掉下来我们不知道，但我们要先把盘子做好、做大，否则掉下来了我们也接不住。"姜涛如此描述自己现在做的事。说这句话时，姜涛正坐在音潮办公室的会客区里。他亲历了中国AI音乐发展全过程，在过去的十多年时间，他几乎没有离开过AI音乐赛道，如今，他是一家专注音乐大模型和AI音乐产品的公司——音潮的CEO。如果第一次见到姜涛，很容易将他和音乐人联系在一起，但你很难想到这是一位从事了多年AI算法的技术男。他穿着米色休闲亚麻西装，有时候还会带着一个圆形礼帽，很像一个玩爵士乐的"老炮儿"。他会给妻子做歌，把女儿稚嫩的声音编进旋律，浪漫得不像理工男。但从他的表达中，却能看出他的算法功底，例如他会用"技术栈"来比喻团队成员的不同能力，他对AI音乐发展史信手拈来，说到AI发展的每一个里程碑事件时，他会提高语气。1938年，第一台电子语音合成器Voder在贝尔实验室建造成功，这是AI第一次和音频结缘。1957年，Lejaren Hiller和Leonard Isaacson实现的人类历史上第一支由计算机创作的音乐作品《Illiac Suite》，通过算法将变量替换成音符生成了四个乐章。但此后漫长的岁月里，AI 音乐像是被按下了慢放键——马尔可夫链在旋律里打转，循环神经网络困在节奏的迷宫里，卷积神经网络也跨不过全链条生成的门槛，进展缓慢得让人几乎忘了它的存在。直到2016年，谷歌推出了用于音乐生成的Magenta项目，利用深度学习TensorFlow等框架，展示了AI音乐生成的能力。彼时的姜涛正在快手的办公室里，对着屏幕上混乱的音频波形发愁——他正试图解决人声与伴奏音乐分离的难题，这个困扰行业多年的痛点，在此前的技术框架下始终是块难啃的硬骨头。偶然间注意到Spotify（瑞典一家在线音乐流服务平台）的一些科学家尝试用医疗影像中血管分离的模型解决这个问题，姜涛觉得很有创意，他也写了个模型尝试了一下，没想到效果出奇的好，分离出来的人声异常干净。姜涛后来常对人说起那个时刻，他第一次深刻感知到深度学习的能力，之前很多认为不可解的问题在这一刻完美解决了。也是在那一年，他找到快手 CEO 宿华，提出要做 AI 音乐生成。"当时大家觉得这事儿太玄幻了。" 但宿华非常的支持，同时还分享了其上学时用音乐排解其苦闷的故事。转头又给他找了个特殊的顾问——曾给张惠妹、萧敬腾等一众知名歌手填词作曲的专业音乐人"阿怪"，陈志翰。那段时间，快手的办公室里总飘着奇奇怪怪的旋律。姜涛带着算法团队和阿怪挤在同一个隔间，一边用代码训练模型，一边听阿怪讲和弦走向、编曲等乐理知识。这种奇妙的碰撞，成为了他音乐素养的启蒙。2021年，Transformer为架构的大模型的出现。2024年，Suno横空出世，被称为音乐界的"ChatGPT"，第一次实现了歌词、人声、伴奏等一系列音乐内容一次性AI生成。姜涛知道，那个"天上的饼"可能快要掉下来了。也是在这一年，音潮诞生了。即使现在看来，音乐生成依然还是一个小众却好玩的赛道。在中国科技领域，做语音和音频生成的人并不多，音乐生成又是其中最小众的一批人，国内的专家一只手都数得过来。在这个领域的人，既是玩音乐的人中最懂算法的，也是做算法的人中最懂音乐的。但姜涛总觉得，这里藏着和快手当年一样的机会——每个人都能拍视频让短视频实现了平权，那当每个人都能做歌的时候，音乐是否也能实现平权？他还记得快手上那个把李荣浩《爸爸妈妈》唱火的农民工，记得蒙古牧民哼着听不懂的调子却让人汗毛倒竖的瞬间。"外卖小哥的故事，环卫工的生活，为什么不能写成歌？"他给妻子写的歌，每年都会拿出来听，里面还留着女儿小时候含糊不清的童声。姜涛说，如果短视频的平权，塑造了快手和抖音，那么音乐平权是不是也能塑造出伟大的公司？快手的启蒙虎嗅：你是如何切入AI音乐赛道？姜涛：我在中科院计算所工作了三年。我可能是所里唯一做应用声学相关研究的。那时海外听歌识曲的APP应用Shazam特别火，我就在所里开发了国内的第一款听歌识曲APP--"音乐耳朵"，上线了App Store应用市场。几年后QQ音乐、网易云等才上线了该功能。这段经历让我进入音乐信息检索（Music Information Retrieval）这个赛道。我经历过深度学习之前的专家系统、隐含马尔科夫模型、知识向量机等多个模型阶段，以及当下的大模型阶段。其实深度学习出来的时候我很兴奋，2016年左右我在快手做了一个音乐和伴奏分离的模型，这个问题在这之前一直做不好，效果很差，深度学习出来之后，我们借鉴了Spotify发表的一篇论文，这个算法将医疗图像上的血管分离用于语谱图中人声和伴奏的分离。这个想法非常的巧妙，我们实现以后发现效果特别棒。这是我从内心相信深度学习的原因，一个自己多年来求而不得结果，深度学习一下就解决得很好。这个感觉非常的让人兴奋和幸福。我很感谢我的导师，哈工大的韩纪庆教授，以及郑贵滨、郑铁然两位师兄的帮助。韩老师是一个对科研非常认真，对学生的指导倾尽心血。我当时的研究方向和实验室的主流方向有差异，但是韩老师给予了极大的支持和鼓励。没有韩老师和实验室给我打牢的知识基础，我很难在AI音乐这个领域有所发展。 虎嗅：但你的经历中其实并没有选择进入一些语音识别的公司。姜涛：有时候可能真是被选择，投身了一个小众又好玩的赛道。整个算法圈的人员分布基本是这样的，首先是自然语言最多，然后是CV视觉，最少的是音频相关。音频当中，做语音识别的人最多，其次是合成，然后才是音乐。音乐在过去20到30年时间，一直处于一个既不算落寞但也不火热的状态。音乐研究人员的匮乏，资源也非常有限，导致这个领域比较封闭，国内从事这个方面研究的屈指可数。当年与北大的陈晓鸥教授合作时，他为了让学生出国参加会议，把凑了三四张经费卡，才凑够学生的出行费用。这个行业确实有一些比较有趣的人，龚嵘老师拿了欧洲文化基金，录入了国内最大的京剧数据集，最近他还做口吃的识别和矫正。北邮的李荣锋老师一直在做古乐谱-工尺谱翻译研究。Gus夏光宇老师做了能与人合奏的弹钢琴机器人、能够指导人唱歌时呼吸的硬件设备等好玩的东西。这个方向很难招人，只有复旦李伟老师等几个学校有少量的学生。更多情况，我们都是在公司内部培养，找一些知识背景接近又对这个方向感兴趣的同学。虎嗅：到快手负责哪块业务？姜涛：2016年，我去了快手。当时快手大概一两百人多人，是快手飞速发展的阶段，快手的DAU从几百万到几千万，又迅速上升到几亿的阶段。我是快手的第一位音频相关的算法工程师，我们从零开始建立快手的音频和音乐相关的算法团队。最开始我们做的工作一部分是把一些违规的音频内容过滤掉，同时把音频内容做聚合和打散。虎嗅：在快手的经历中有没有印象深刻的事情？ 姜涛：当时的快手是一个有趣的状态——混乱的高速发展，但是效率非常非常高。没有职级，但你需要什么帮助， 在企业微信里找到这个人，只要能帮到你就一定会全力帮你。虎嗅：当时的快手有OKR或者KPI吗？姜涛：没有，那个时候是一个风口，上涨很快，你可以感受站在风口的感觉，就是你做点什么事情，都会有大批用户喜欢。虎嗅：抖音在那个时候是个什么状态？姜涛：那时候是很有趣的状态，抖音刚起来。因为我当时一直关注各种音乐流量的变化情况，我发现抖音音乐流量起来了，内部还讨论过是否学习抖音的模式。不过最后快手选择了自己的路线，我认为这两种都没有错，都发展成了现象级的产品。 虎嗅：这两条路线是什么样的？姜涛：快手更强调短视频平权，宿华的个人理想是相信每个人都有平等机会成为世界明星，只要你拍摄，快手就会给你一个平等的展示权利。那时快手的slogan还是"记录世界、记录你"。快手的群众基础是东北老铁，其实流量起源于同城，你可以看到整个区域内的内容，还可以看到其他区域的人发的视频什么风格，这个非常有趣，也是当时快手快速起量的原因。抖音更强调一二线城市的年轻人，流量会集中打一个单独的品类。我们当时开玩笑地说过一句话，这是人类历史上仅有的两个产品，DAU都过亿，但还能保持高速增长，那就是中国的抖音和快手。他们选择了两条完全不同的增长曲线，这两条都很性感，都成长成了伟大的公司。 虎嗅：你在快手呆了4年多，这四年多的时间，除了见证它的高速发展，有经历过快手一些至关重要的转型时刻吗？姜涛：快手完成了短视频的教育，但后续抖音完成了第一波收割，微信视频号完成了第二波收割。快手能迅速发展起来，得益于几个因素的叠加，智能手机的普及、移动互联网的加速和降费、深度学习的红利等。每个人手机上都有一个摄像头，能够随时随地的拍摄作品并快速传播给全世界。 虎嗅：快手是一个非常典型的移动互联网原生的产品，和我们现在讨论的AI原生产品一样。姜涛：是的，快手、抖音都吃到了上一波深度学习的红利。快手发展时，深度学习刚起来，我们这个组叫MMU，Multimedia Understanding。组长李岩对算法和业务都有非常深刻的理解，是快手AI技术研发的核心人员。我们的主要工作就是给短视频做理解，知道作品的场景、人、物、情绪、语音等等。有了这些理解后，就可以很方便地进行流量分发。把作品精准发给喜欢它的人群。如果没有那个时候深度学习的爆发，流量分发将会很困难。快手内部对算法的重视程度极高，宿华本身是一个非常技术范的人，智商超群、情商超群、精力也超群。我们一直说，他写代码的速度只受限于他的手速。有一年大家春节回家，他自己默默把快手底层C++库做了升级。虎嗅：当时卷吗？姜涛：不太好称之为"卷"，更多是高速增长，因为业务发展太快了。这个东西你不做，其他人就会做。当时没有任何资源限制和岗位限制，可以内部合作。其实更多的是成就感，希望自己做到东西可以服务广大的用户，帮助公司更加快速的成长。虎嗅：当时内部是一个鼓励创新的氛围？姜涛：是的，那时候百花齐放，如果你有好的想法，公司就会让你做。2016年我提议做AI音乐，当时谷歌开源了一个实时音乐模型叫做Mamenta，这是上一波深度学习阶段标志性的事件。AI音乐生成在2016年还是一个很玄幻的方向，商业化还不清晰。当时宿华和李岩都很支持，还给配了一个业务顾问——阿怪老师（陈志翰），他给张惠妹、萧敬腾等很多歌手作曲，我们一周三个半天面对面聊，那段时间，我的音乐素养完成了蜕变。虎嗅：阿怪给你带来了什么？姜涛：他是一个很有趣的人，他号称自己是整个音乐圈代码写的最好的。他也是音乐圈里对算法最热爱的，他喜欢深度学习。他自己有很高的音乐素养，但他也很明白大众需要什么，他知道艺术有时候就是生意。他让我对音乐的世界观发生了转变，也意识到音乐是可以拿模型来做的。虎嗅：你们一起磨合了多久？ 姜涛：我们一起做了三年，阿怪老师2019年心梗去世了，2020年左右我们全套模型做完，上线了一个产品叫做"小森唱"，用比较特殊的方式把一些小模型串在一起，用户给一个主题就能做出一首歌，但这个产品太超前了，产品上线之后，发现市场并不是特别认可。我也是在那个时候离开了快手。其实做"小森唱"的时候，也是希望是给阿怪老师的一份特殊礼物，希望他在另一个世界可以快乐地玩音乐、玩算法。"Aha moment"：见证了智能涌现的时刻虎嗅：离开快手的原因是什么？姜涛：在快手遇到了自己成长的瓶颈，想要在一个新的环境中获得成长。 虎嗅：接着你选择了腾讯音乐，为什么做这个选择？姜涛：我到腾讯音乐的时候抱着一个理想，希望有更多训练数据。虎嗅：你到腾讯音乐的时候，做了哪些事？姜涛：当时腾讯音乐算法团队比较分散，不利于将算法研发深化。我去了之后，花了半年时间把零零散散的小团队组建成了一个大团队，叫做天琴实验室，这个实验室最后承接了QQ音乐、全民K歌两个大平台所有音视频算法需求。我们上线了各种有趣的功能，例如K歌的多维度打分、智能修音、无损音乐超