【重磅推荐】在Pycharm中调试scrapy爬虫的两种方法（有坑，务必注意）
本文共 826 字，大约阅读时间需要 2 分钟。
第二种方式：参考链接：
pycharm调试scrapy常用的命令配置：
scrapy crawl <scrapy_name> （scrapy_name不是文件名，而是Spider的属性name的值）
scrapy runspider scrapy_first/spider/book.py
第一种模式（常用模式）.使用scrapy.cmdline的execute方法
首先，在项目文件scrapy.cfg的同级建立main.py文件（注意，必须是同级建立），在其中键入如下代码：
在其余爬虫文件中设置断点后，运行main.py,即可实现在pycharm中的调试。from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))单文件调试模式一：runspider+需要执行的spider的name.py文件execute(['scrapy', 'runspider', 'scrapy_first/spiders/book.py'])单文件调试模式二：crawl+需要执行的spider_name！！这里的spider_name不是文件名,而是继承scrapy.spiders.Spider子类的name属性名字(必须是唯一的)# execute(['scrapy', 'crawl', "spider_name"])execute(['scrapy', 'crawl', 'test'])
class Test1Spider(Spider): name属性就是spider_name,【scrapy crawl spider_name】执行的文件名(必须是唯一) name = 'test' def parse(self, response): pass
转载地址：http://pimmz.baihongyu.com/
你可能感兴趣的文章
MySQL in 太多过慢的 3 种解决方案
查看>>
Mysql Innodb 锁机制
查看>>
MySQL InnoDB中意向锁的作用及原理探
查看>>
MySQL InnoDB事务隔离级别与锁机制深入解析
查看>>
Mysql InnoDB存储引擎 —— 数据页
查看>>
Mysql InnoDB存储引擎中的checkpoint技术
查看>>
Mysql InnoDB存储引擎中缓冲池Buffer Pool、Redo Log、Bin Log、Undo Log、Channge Buffer
查看>>
MySQL InnoDB引擎的锁机制详解
查看>>
Mysql INNODB引擎行锁的3种算法 Record Lock Next-Key Lock Grap Lock
查看>>
mysql InnoDB数据存储引擎 的B+树索引原理
查看>>
mysql innodb通过使用mvcc来实现可重复读
查看>>
mysql interval显示条件值_MySQL INTERVAL关键字可以使用哪些不同的单位值？
查看>>
Mysql join原理
查看>>
mysql order by多个字段排序
查看>>
MySQL Order By实现原理分析和Filesort优化
查看>>
mysql problems
查看>>
mysql replace first,MySQL中处理各种重复的一些方法
查看>>
MySQL replace函数替换字符串语句的用法（mysql字符串替换）
查看>>
Mysql Row_Format 参数讲解
查看>>
mysql select， from ，join ，on ，where groupby,having ,order by limit的执行顺序和书写顺序
查看>>