Magenta RT：实时音乐生成的开源工具

你是否想过，能否在自己的电脑上实时生成一段音乐，甚至还能随时调整它的风格？今天，我要和你聊聊 Magenta RT，一个由 Google DeepMind 开发的开源工具，它让这一切成为可能。无论你是音乐爱好者还是开发者，Magenta RT 都能为你打开一扇探索实时音乐生成的大门。在这篇文章中，我会带你了解它是什么、如何安装和使用，以及它的未来计划。所有内容都来自官方文档，确保真实可靠。准备好了吗？让我们开始吧！

Magenta RT 是什么？

Magenta RT 是一个 Python 库，专门用来在你的本地设备上实时生成流式音乐音频。它是 MusicFX DJ Mode 和 Lyria RealTime API 的开源版本，可以看作是它们的“本地化伴侣”。简单来说，它能让你在电脑上生成一段接一段的音乐音频，而且还能根据你的输入调整音乐风格。

它是怎么工作的？

Magenta RT 的核心在于“块生成”。它每次生成 2 秒钟的音频块，同时参考前 10 秒的音频上下文。为了让这些块听起来连贯，它使用了交叉淡入淡出的技术，减少块与块之间的突兀感。想象一下，你在拼一块音乐拼图，每块都自然衔接，组成一首完整的曲子。

这个工具由三个主要部分组成：

  1. SpectroStream：负责把音频变成“标记”（tokens），就像把音乐翻译成一种机器能懂的语言。它支持高保真音频（48kHz，立体声）。
  2. MusicCoCa：一个可以将文本和音频混合成“风格嵌入”的模型。比如，你可以说“放点放克风”或者“加点重金属味”，它就能帮你调出想要的风格。
  3. 语言模型（LLM）：根据之前的音频和风格，生成新的音频标记，再由 SpectroStream 解码成声音。

这些组件一起工作，让 Magenta RT 既能快速生成音乐，又能灵活调整风格。

它有什么特别的地方？

  • 实时性：它能在 1.25 秒内生成 2 秒的音频（在免费 Colab TPU 上），足够快到支持现场表演。
  • 灵活控制：你可以用文字或音频片段告诉它想要的风格，甚至还能混搭。
  • 开源：代码和模型权重都公开，任何人都可以下载、修改和使用。

不过，它也有局限。比如，它主要基于西方器乐训练，对其他音乐传统或歌词支持有限；而且因为每次只看 10 秒上下文，它没法自动生成很长的曲子结构。但对于短段实时创作，它的表现已经很出色了。

如何安装 Magenta RT？

想试试 Magenta RT？安装它并不复杂。根据你的设备情况，可以选择不同的方式。以下是具体步骤：

通过 pip 安装

如果你只是想快速上手，可以用 Python 的包管理工具 pip 安装：

  • 支持 GPU 的版本：

    pip install 'git+https://github.com/magenta/magenta-realtime#egg=magenta_rt[gpu]'

  • 支持 TPU 的版本：

    pip install 'git+https://github.com/magenta/magenta-realtime#egg=magenta_rt[tpu]'

  • 只用 CPU 的版本：

    pip install 'git+https://github.com/magenta/magenta-realtime'

这些命令会从 GitHub 上拉取最新版本。如果你有 GPU 或 TPU，推荐选择对应的版本，速度会更快。

克隆源码安装

如果你想自己改代码，或者更深入研究，可以克隆整个项目：

git clone https://github.com/magenta/magenta-realtime.git && cd magenta-realtime
pip install -e .[gpu]

这种方式会把代码下载到本地，安装后还能随时编辑。注意，最后的 [gpu] 可以根据需要换成 [tpu] 或去掉。

需要什么准备？

  • 一个支持 Python 的环境（推荐 3.8 或以上）。
  • 如果用 GPU 或 TPU，确保驱动和相关库已安装。
  • 网络连接，因为要下载代码和依赖。

安装好了吗？接下来我们看看怎么用它生成音乐。

如何使用 Magenta RT 生成音乐？

Magenta RT 的使用很简单，它提供了一些 Python 接口，让你可以轻松生成和调整音乐。我们一步步来看几个例子。

生成一段音乐

想听 10 秒的放克风音乐？试试这个代码：

from magenta_rt import audio, system
from IPython.display import display, Audio

num_seconds = 10  # 生成 10 秒
mrt = system.MagentaRT()  # 创建 Magenta RT 实例
style = system.embed_style('funk')  # 设置放克风格

chunks = []  # 存储音频块
state = None  # 初始状态为空
for i in range(round(num_seconds / mrt.config.chunk_length)):
    state, chunk = mrt.generate_chunk(state=state, style=style)  # 生成一个块
    chunks.append(chunk)
generated = audio.concatenate(chunks, crossfade_time=mrt.crossfade_length)  # 拼接块
display(Audio(generated.samples.swapaxes(0, 1), rate=mrt.sample_rate))  # 播放

这段代码会生成 10 秒的音频，每次 2 秒一小块，最后拼起来播放。你可以在 Jupyter Notebook 或 Colab 上运行，马上听到结果。

混合不同的音乐风格

想把自己的音频和某个风格混搭？Magenta RT 的 MusicCoCa 模型可以做到。看看这个例子：

from magenta_rt import audio, musiccoca
import numpy as np

style_model = musiccoca.MusicCoCa()  # 创建 MusicCoCa 实例
my_audio = audio.Waveform.from_file('myjam.mp3')  # 加载你的音频文件
weighted_styles = [  # 定义风格和权重
    (2.0, my_audio),  # 你的音频，权重 2
    (1.0, 'heavy metal'),  # 重金属风格，权重 1
]
weights = np.array([w for w, _ in weighted_styles])  # 提取权重
styles = style_model.embed([s for _, s in weighted_styles])  # 生成嵌入
weights_norm = weights / weights.sum()  # 归一化权重
blended = (weights_norm[:, np.newaxis] * styles).mean(axis=0)  # 计算混合嵌入

这个代码把你的音频和“重金属”风格按 2:1 的比例混合。你可以用这个混合嵌入（blended）替换前面例子的 style，生成新音乐。

把音频变成标记再还原

好奇 Magenta RT 怎么处理音频？可以用 SpectroStream 试试：

from magenta_rt import audio, spectrostream

codec = spectrostream.SpectroStream()  # 创建 SpectroStream 实例
my_audio = audio.Waveform.from_file('jam.mp3')  # 加载音频
my_tokens = codec.encode(my_audio)  # 编码成标记
my_audio_reconstruction = codec.decode(my_tokens)  # 解码回音频

这个过程展示了音频如何被“数字化”再还原。虽然听起来差别不大，但这正是 Magenta RT 内部生成音乐的基础。

Magenta RT 的未来计划是什么？

Magenta RT 目前只是个预览版，团队还有很多计划：

  • 技术报告：很快会发布，详细介绍模型架构和方法。
  • 微调的 Colab：让你可以根据自己的需求调整模型。
  • 实时音频输入：未来可以用麦克风直接控制音乐生成。

这些功能预计在未来几周推出。如果你有想法，可以去 GitHub 上提建议。

使用它需要注意什么？

Magenta RT 是开源的，但也有规则：

许可

  • 代码：Apache 2.0 许可，自由使用和修改。
  • 模型权重：Creative Commons Attribution 4.0 International 许可，需要标注来源。

注意事项

  • 不要生成侵犯版权的内容。
  • 输出内容由你负责，Google 不拥有这些音乐。
  • 它是“按原样”提供的，没有任何保证，用的时候要自己评估风险。

总结一下

Magenta RT 是一个很有潜力的工具。它让实时音乐生成变得简单又有趣，不管你是想现场即兴表演，还是开发互动音效，都能用得上。它开源、灵活，而且还在不断改进。如果你对音乐和编程感兴趣，不妨试试看，可能会给你带来不少惊喜。

FAQ

Magenta RT 是什么？

Magenta RT 是一个 Python 库，能在本地设备上实时生成流式音乐音频，是 MusicFX DJ Mode 和 Lyria RealTime API 的开源版本。

我能在哪里用 Magenta RT？

你可以在自己的电脑上安装运行，也可以用 Google Colab 的免费 TPU 试试官方演示。

怎么安装 Magenta RT？

可以用 pip 安装，支持 GPU、TPU 或 CPU，也可以从 GitHub 克隆源码本地安装。

它能生成什么样的音乐？

它擅长生成器乐，风格可以由文字或音频定义，但不支持歌词和长篇结构。

Magenta RT 免费吗？

是的，它完全开源，代码和模型权重都免费提供，只需遵守许可协议。

HowTo

如何用 Magenta RT 生成音乐？

  1. 用 pip 或 GitHub 安装 Magenta RT。
  2. 导入 audio 和 system 模块。
  3. 创建 MagentaRT 实例。
  4. 用 embed_style 设置风格（比如“funk”）。
  5. 循环调用 generate_chunk 生成音频块。
  6. 用 audio.concatenate 拼接块。
  7. 用 Audio 播放结果。

如何混合音乐风格？

  1. 创建 MusicCoCa 实例。
  2. 加载你的音频文件（比如 MP3）。
  3. 定义风格和权重（比如音频和“重金属”）。
  4. 用 embed 生成嵌入。
  5. 计算加权平均，得到混合风格。
  6. 用这个风格生成音乐。

如何测试音频标记化？

  1. 创建 SpectroStream 实例。
  2. 加载音频文件。
  3. 用 encode 转为标记。
  4. 用 decode 还原音频，比较效果。