crawlergo 0.1.2

Fix:

• #7 默认端口识别错误
• #8 部分URL解析错误

优化中断退出体验。

crawlergo 0.1.1

Fix: 错误原因开启了DEBUG，关闭DEBUG输出。

crawlergo 0.1.0

Features:

• 原生浏览器环境，协程池调度任务
• 表单智能填充、自动化提交
• 完整DOM事件收集，自动化触发
• 智能URL去重，去掉大部分的重复页面
• 全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz
• 支持Host绑定，自动添加Referer。

欢迎大家试用转发！使用前请确认阅读并同意免责声明。