复旦大学自然语言处理实验室飞书用户2245
暑期集训-2025-homework-3
输入“/”快速插入内容
暑期集训-2025-homework-3
暑期集训-2025-homework-3
飞书用户2245
飞书用户3172飞书用户3416飞书用户97178月15日修改
必做内容
1.
使用 Qwen3-8B 做为基座模型，为其添加特殊词符(Special Token) <|AGENT|> 和 <|EDIT|>。然后用 Tokenizer 解码文件 query_and_output.json 中的内容，将答案保存在 hw3_1.json 中。（不用加载模型，只需使用 Tokenizer）hw3_1.json 中需要包含加入 special token 后的 Token IDs。
2.
设计不同的系统提示词（System Prompt），让模型在不训练的情况下，尽可能的生成包含这些特殊词符的输出结果，将答案保存在 hw3_2.json 中。生成答案后可以使用 output_checker.py 检查答案，因为模型没有经过训练，完全使用 prompt 的方式未必能使模型完全按照自己预期输出，大家尽力完成即可。
参考文件
•
•
模型位置：
•
实验室集群：/remote-home1/share/models/Qwen3-8B
•
蓝耘的位置：/data-mnt/data/downloaded_ckpts/Qwen3-8B
蓝耘数据挂载有时候会出现bug，如果在上述路径没有找到，可以看看/data-mnt/data-mnt/data-mnt/data-mnt/data-mnt/data-mnt/data-mnt/data/downloaded_ckpts/Qwen3-8B
需要提交的文件
以用户目录为根目录，需要提交以下文件（请勿提交 Tokenizer 的文件）：
day-3/README.md （个人小节，可选）
day-3/hw3_1.py
day-3/hw3_1.json
day-3/hw3_2.py
day-3/hw3_2.json
任务背景与文件说明
我们希望训练 Qwen3-8B 担任 Github Copilot 中的主控模型，并且能自动识别模式
•
代理模式（<|AGENT|>）：通过调试分析代码的问题，然后进行修改
•
编辑模式（<|EDIT|>）：直接修改代码，合并修改的片段和完整的代码
该模型可以使用两种工具，编辑模式仅使用 editor，而代理模式会先使用 python 再使用 editor
•
代码执行器（python）
•
代码编辑器（editor）
工具描述
代码块
{
"type": "function",
"function": {
"name": "python",
"description": "Execute Python code for debugging and analysis",
"parameters": {
"type": "object",
"properties": {
"code": {
"type": "string",
"description": "Python code to execute"
}
},
"required": ["code"]
}
}
},
{
"type": "function",
"function": {
"name": "editor",
"description": "Edit and merge code by comparing original and modified versions",
"parameters": {
"type": "object",
"properties": {
"original_code": {
"type": "string",
"description": "Original code before modification"
},
"modified_code": {
"type": "string",
"description": "Modified code after fixing"
}
},
"required": ["original_code", "modified_code"]
}
}
}