Dupc的文章

贾维斯

AI头像


tools的介绍

大模型在文本生成方面表现出色,但在信息抽取任务中,输出的结果可能不够精确和可控。本文将介绍使用tools和大模型结合,完成结果格式化的信息抽取任务。tool还可以扩展模型功能的外部函数或方法。通过定义和使用工具,模型可以在生成响应时调用这些外部函数,从而实现更复杂和多样化的功能

Blog Image

    tool如何使用

  • 1.首先调用大模型所得到结果精度和模型自身的强度相关,但是遇到一些特定的问题可能会让模型变得模棱两可,这里可以添加tools,使得大模型调用提前写好的函数执行
  • 2.这里我们举个简单的列子,假设你要执行数学计算泰勒公式的展开,大模型不一定能做对,我们这里以add函数模拟复杂数学函数
  • 3. Blog Image
  • 4.提前定义好tools,tools的格式没有固定,可以根据不同的要求定义不同的格式,但通常包含的信息是一样的
  • 5. Blog Image
  • 6. 由上图可以知道,像大模型输入这个tool以后,大模型返回的结果会依据上图返回固定结构,像参数a,b需要大模型从文本信息中提取以后放入函数,这并不难
  • 7.我这里以调用大模型deepseek的接口为列,不会调用的可以看官方文档 deepseek
  • Blog Image
  • 8.不同的tool结构需要写不同的对response的处理,这里我这个tool结构为列
  • Blog Image

    如果调用了对应的tools,则会返回tools的名称,然后调用本地对应函数然后输出,并且大模型返回的初始结构会有tool calls参数,通过判断是否有这个参数来判断是否调用了tools的工具

  • 6. Blog Image
  • 7.有了以上猜想,既然可以调用函数,那么我们做的事情就多了,输入一段话,告诉大模型做什么,然后大模型再调用相应的工具,下面据一个交互的列子