Efficient Tool Use with Chain-of-Abstraction Reasoning
Silin Gao1,2∗, Jane Dwivedi-Yu2, Ping Yu2, Xiaoqing Ellen Tan2, Ramakanth Pasunuru2, Olga Golovneva2, Koustuv Sinha2 Asli Celikyilmaz2, Antoine Bosselut1†, Tianlu Wang2† 1EPFL, 2FAIR @ Meta
Abstract
To achieve faithful reasoning that aligns with human expectations, large language models (LLMs) need to ground their reasoning to real-world knowledge (e.g., web facts, math and physical rules). Tools help LLMs access this external knowledge, but there remains challenges for fine-tuning LLM agents (e.g., Toolformer) to invoke tools in multi-step reasoning problems, where inter-connected tool calls require holistic and efficient tool usage planning.
中文速览
让大语言模型（LLM）在多步推理中可靠地调用外部工具（如计算器、搜索引擎）一直很棘手——现有方法要求模型边生成文字边等待工具返回结果，既容易出错又拖慢速度。为此，研究者提出了"抽象链推理"（Chain-of-Abstraction，CoA）：先让模型生成带有占位符的抽象推理链（例如把具体数值写成 y1、y2），完整推理链生成后再统一调用工具填入真实结果，从而把推理规划与知识获取彻底解耦。这样一来，模型在微调时学到的是通用推理策略而非死记硬背具体数值，同时因为工具调用只发生一次、且可与后续样本的解码并行进行，推理速度也大幅提升。在数学推理和维基百科问答两个任务上，CoA 相比基线方法平均提升约 6% 的准确率，推理速度平均加快约 1.4 倍，人工评估也显示推理错误减少约 8%，为工具增强型 LLM 的高效、可靠推理提供了一条切实可行的新路径。
原文 arXiv:2401.17464;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2401.17464v3