CATransformers：实现碳感知AI的模型与硬件协同优化框架

引言：AI发展背后的碳足迹挑战

近年来，人工智能技术的快速发展带来了显著的计算资源消耗。研究表明，训练一个大型语言模型的碳排放量可能相当于五辆汽车整个生命周期的排放总量。在这样的背景下，如何平衡模型性能与可持续发展目标，成为学界和工业界共同关注的问题。

CATransformers应运而生——这是一个由Meta研究院团队开发的「碳感知神经网络与硬件架构协同优化框架」。它通过联合优化模型结构与硬件配置，在保证精度的前提下，显著降低AI系统的碳足迹。本文将深入解析这一工具的核心功能与实践方法。

框架核心能力解析

1. 多维度优化目标

CATransformers支持五种优化模式：

「碳足迹优先」：在延迟约束下优化精度与总碳排放
「延迟优先」：直接优化推理速度与模型精度
「能耗优先」：专注降低运行时的操作碳排放
「全维度优化」：同时平衡精度、碳排与延迟
「硬件专项优化」：固定模型架构下的硬件配置优化

2. 主流模型支持

当前支持四大类前沿模型架构：

自然语言处理：Bert、Llama 2/3
多模态模型：CLIP
视觉模型：ViT
支持扩展新模型需满足：
在HuggingFace Transformers中可用
兼容Phaze硬件评估框架
CLIP模型需适配OpenCLIP标准

环境配置与安装指南

1. 基础环境搭建

git clone --recurse-submodules https://github.com/facebookresearch/CATransformers.git
conda env create -f env.yaml
conda activate env
./setup.sh

2. 关键路径配置

在~/.bashrc中添加：

export THIRD_PARTY_PATH=$(pwd)/phaze/third_party_for_phaze
export WHAM_PATH=$THIRD_PARTY_PATH/wham/
export SUNSTONE_PATH=$THIRD_PARTY_PATH/sunstone/
export ACT_PATH=$THIRD_PARTY_PATH/ACT/
export PYTHONPATH=$THIRD_PARTY_PATH:$WHAM_PATH:$SUNSTONE_PATH:$ACT_PATH:$PYTHONPATH

3. HuggingFace认证

huggingface-cli login

快速启动指南

基本优化命令

python main.py --metric=<优化模式> --name=<实验名称> <--hf>

参数说明：

--metric：选择carbon/latency/energy/all/all-hw
--hf：使用HuggingFace模型时必加（CLIP除外）

数据准备要点

「CLIP模型」：需准备MSCOCO数据集，按OpenCLIP标准格式存放于/dataset
「其他模型」：自动完成数据预处理

高级配置实践

1. 搜索空间定制

修改配置文件：

configurations.py：CLIP模型参数
configurations_hf.py：其他模型参数

关键配置项：

MODEL_ARCH = "vit_base_patch16_224"  # 指定模型架构
TRIALS = 50                         # 优化迭代次数
MAX_LATENCY = 100ms                 # 延迟约束阈值
CARBON_REGION = "europe-west4"      # 碳强度计算区域

2. 硬件约束调整

「算力约束」：TOPS（Tera Operations Per Second）
「面积约束」：芯片物理尺寸限制
「能效比」：每瓦特性能指标

后优化处理流程

CLIP模型专项处理

1. 剪枝后训练

使用定制化OpenCLIP进行模型微调：

# 提交SLURM任务
sbatch final_model_training/train_slurm.sh

2. 基准测试

python final_model_training/benchmark_cli.py eval \
  --model ViT-B-32 \
  --pretrained datacomp_xl_s13b_b90k \
  --load-checkpoint pruned_model.pt \
  --vision-layers 10 \
  --vision-embed-dim 768 \
  --text-layers 6

结果汇总：

clip_benchmark build benchmark_*.json --output summary.csv

通用模型处理

参考eval/model_eval_hf.py实现：

自动化精度验证
延迟测量模块
碳排放估算器

技术架构解析

/ 
├── phaze/            # 硬件评估引擎
├── optimization/     # 多目标优化算法
├── open_clip_custom/ # 定制化CLIP训练
├── eval/             # 模型评估模块
└── configurations*   # 优化参数配置

学术引用与许可

论文引用

@article{wang2025carbon,
  title={Carbon Aware Transformers Through Joint Model-Hardware Optimization},
  author={Wang, Irene and Ardalani, Newsha and Elhoushi, Mostafa and Jiang, Daniel and Hsia, Samuel and Sumbul, Ekin and Mahajan, Divya and Wu, Carole-Jean and Acun, Bilge},
  journal={arXiv preprint arXiv:2505.01386},
  year={2025}
}

许可协议

核心框架：CC-BY-NC
Phaze组件：MIT License
OpenCLIP适配器：MIT License

应用场景展望

「绿色云计算」：优化数据中心AI服务能效
「边缘设备部署」：平衡端侧设备性能与功耗
「可持续AI研究」：量化评估模型环境成本
「硬件设计辅助」：指导专用加速芯片开发

通过将模型压缩率提升30%同时降低40%的碳排放，CATransformers为构建环境友好的AI生态系统提供了切实可行的技术路径。其开箱即用的特性使得研究人员无需深入硬件细节，即可实现跨层级的联合优化。

❝

「实践建议」：初次使用时建议从--metric=latency模式入手，通过观察延迟-精度的帕累托前沿，逐步理解框架的优化机制。进阶用户可尝试修改硬件搜索空间，探索不同工艺节点对碳足迹的影响规律。

❞

碳感知AI革命：如何通过模型硬件协同优化降低40%碳排放？