记得n年前项目需要一个灵活的爬虫工具，就组织了一个小团队用Java实现了一个爬虫框架，可以根据目标网站的结构、地址和需要的内容，做简单的配置开发，即可实现特定网站的爬虫功能。因为要考虑到各种特殊情形，开发还耗了不少人力。后来发现了Python下有这个Scr……

阅读全文