2 repositories on SrcLog
gocrawler, go分布式爬虫框架
基于Pipeline的爬虫框架, 工作流非常简单、直观, 而且支持异步。light-weight high-level web-crawling framework