大模型预训练:数据过滤正在毁掉你的模型?最新研究:不过滤才是最高级操作

1个月前 高效码农

大模型预训练的数据过滤:为什么“不过滤”可能是最好的选择? 本文欲回答的核心问题:在大规模语言模型预训练中,花费大量算力和人力去过滤“低质量”数据,真的有必要吗? 当算力足够大、模型参数足够多时,最好 …