文档爬取工具

gpt-crawler 是由 BuilderIO 发起的一个开源项目，旨在帮助用户通过爬取网站内容来生成知识文件，从而创建自定义的 GPT。这个工具特别适用于希望基于特定网站内容（例如文档、教程、FAQ等）构建定制化问答系统的场景。