复旦大学自然语言处理实验室用户2245
UnifiedToolHub-数据集介绍
输入“/”快速插入内容
UnifiedToolHub-数据集介绍
UnifiedToolHub-数据集介绍
用户2245
用户4779用户9203
用户7042用户9671+2
整体情况
我们定义
1.
每个“由用户发起询问-模型使用若干工具后进行回复”的过程为一轮对话，存在多个这样过程的数据为多轮工具使用（Multi-turn Tool Use）数据；
2.
模型通过多个“工具调用-分析工具调用返回值”生成回复的过程为多步工具使用（Multi-step Tool Use）；
3.
模型也可以在一步中同时调用多个工具，这是（单步）多工具使用（Multiple-tool-per-step Tool Use）；
4.
如果模型在一步调用中的多个工具之间存在参数依赖关系，则属于有依赖的多工具使用；
5.
同理，存在 多步-多工具使用 和 多轮-多步-多工具使用 等类型的数据。
我们的标准数据格式中规定 多轮工具使用 和 多步工具使用 的数据中必须给出每一轮工具调用的返回值，现存的部分数据集中并没有给出返回值，我们尽可能地尝试补上返回值，使其成为合格的数据。部分数据集的改造工作
MTU-Bench
我们对数据内容进行以下修改：
1.
基本保留原有的数据 id，以 "MTU-Bench_{id}" 的方式编号，并将多轮数据中 _0/_1/_2 的子数据合并到一起；
2.
修复了 OOD 数据中编号重复的问题，按在原文件中的出现顺序依次按照 0,1,2,3,…… 编号；
3.
原始数据规定了特殊格式 system prompt 和 chat history，我们忽略它们的格式，仅从中提取出候选工具和对话历史，以适应不同的大语言模型；
4.
统一记录数据的时间为 2024-01-04 Monday，以适配不同大模型的时间模板；
5.
注意到原始数据中的部分 tool_call 的参数依赖未被使用工具，我们为这些数据增加了相应的工具使用（详见下文示例）；
6.
M-M 和 OOD 中的部分数据缺少 tool_call 对应的 tool_response ，我们使用简单的规则帮其补上（详见下文介绍）。
7.
"M-M_19" 出现了两次，内容基本一致，忽略第二次出现的数据
8.
"M-S_78", "M-M_60" 数据有问题，忽略
缺失 tool_call 的数据修复示例
依赖未被使用工具的数据：
代码块
[ERROR]MTU-Bench_S-M_12:FindProvider not found in MTU-Bench_S-M_12
[ERROR]MTU-Bench_S-M_12:FindProvider not found in MTU-Bench_S-M_12
[ERROR]MTU-Bench_S-M_12:FindProvider not found in MTU-Bench_S-M_12
[ERROR]MTU-Bench_S-M_25:Dr not found in MTU-Bench_S-M_25
[ERROR]MTU-Bench_S-M_25:Dentist appointment with Dr not found in MTU-Bench_S-M_25
[ERROR]MTU-Bench_S-M_34:Dr not found in MTU-Bench_S-M_34
[ERROR]MTU-Bench_S-M_34:Dental check-up with Dr not found in MTU-Bench_S-M_34
[ERROR]MTU-Bench_S-M_50:PlaySong not found in MTU-Bench_S-M_50
[ERROR]MTU-Bench_M-M_1:get_current_temperature not found in MTU-Bench_M-M_1
以 S-M_12 为例：
代码块
{
"id": "S-M_12",
"question": "[..., {\"name\": \"FindProvider\", \"description\": \"Find a dentist by location and optionally by services offered. The format for values of parameters related to date is \\\"^\\\\d{4}-\\\\d{2}-\\\\d{2}$\\\", and for parameters related to time, it is \\\"HH:MM\\\". Values for parameters indicating yes or no should use the boolean type.\", \"required_parameters\": [\"city\"], \"optional_parameters\": {\"offers_cosmetic_services\": \"dontcare\"}, \"result_parameters\": [\"dentist_name\", \"phone_number\", \"address\", \"city\", \"offers_cosmetic_services\"]}, ...]\nUser: I am looking for the date of a concert in New York, followed by the weather forecast for that day. And I want to find a dentist, book an appointment at 10:00 on Febrary 2nd. And please add the dentist's phone to my contact list.\n",
"answer": {
"FindEvents": {
"event_type": "concert",
"city": "New York"},
"GetWeather": {
"city": "New York",
"date": "FindEvents.date"},
"BookAppointment": {
"dentist_name": "FindProvider.dentist_name",
"appointment_time": "10:00",
"appointment_date": "2024-02-02"},
"add_new_contact": {
"contact_name": "FindProvider.dentist_name",
"phone_number": "FindProvider.phone_number"}
}
}