scrapy框架下的allowed_domains不会限制start requests

熟悉scrapy爬虫框架的人来说,allowed_domains是一个很好用的东西,它可以帮你对请求的地址进行

阅读更多