本文作者:访客

Meta 发布 ReasonIR-8B:破解复杂推理检索难题

访客 2025-05-01 15:58:47 4
Meta 发布 ReasonIR-8B:破解复杂推理检索难题摘要: 5月1日消息,科技媒体marktechpost昨日(4月30日)发布博文,报道称MetaAI推出ReasonIR-8B模型,专为推理密集型检索设计,不仅在检索精度上取得突破,其低成...
5月1日消息,科技媒体marktechpost昨日(4月30日)发布博文,报道称MetaAI推出ReasonIR-8B模型,专为推理密集型检索设计,不仅在检索精度上取得突破,其低成本和高效率也使其成为实际应用的理想选择。当前检索增强生成(RAG)系统在处理复杂推理任务时,常常因检索器性能不足而受限。传统检索器多针对简短事实性问题训练,擅长文档级别的词语或语义匹配,但面对长篇或跨领域查询时,难以整合分散知识,这种缺陷会导致错误信息传递,影响后续推理效果。MetaAI推出的ReasonIR-8B模型直击这一痛点,基于LLaMA3.1-8B训练,结合创新数据生成工具ReasonIR-SYNTHESIZER,构建模拟真实推理挑战的合成查询和文档对,更精准支持复杂任务。
ReasonIR-8B采用双编码器(bi-encoder)架构,将查询和文档独立编码为嵌入向量,通过余弦相似度评分。其训练数据包括长达2000个token的多样长度查询(VLQueries)和需逻辑推理的困难查询(HQ),有效提升模型处理长上下文和抽象问题的能力。
在BRIGHT基准测试中,该模型原查询得分达24.4nDCG@10,结合Qwen2.5重新排序后提升至36.9,远超更大的Rank1-32B模型,且计算成本低至后者的1/200。此外,在MMLU和GPQA等RAG任务中,模型分别带来6.4%和22.6%的显著提升。
MetaAI目前已在HuggingFace上开源ReasonIR-8B模型、训练代码及合成数据工具,鼓励研究社区进一步探索多语言和多模态检索器的开发。附上参考地址

Meta 发布 ReasonIR-8B:破解复杂推理检索难题

阅读
分享