最近学习爬虫(base on scrapy),看的一个教程是windows的,而我的机器是mac,遇到debug无法进入breakpoint的情况,此处记录一下:
1、Step1, 参照课程使用cmdline.execute("scrapy crawl quotes")
报错'str' object doesn't support item deletion
2、Step2,(自作聪明的)以为mac和windows不同,使用os.system("scrapy crawl quotes")
调用程序,程序运转正常,但quotes_spider.py 文件中parse的方法的breakpoint不能正常工作
3、目前参考 https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects ,使用的是 cmdline.execute("scrapy crawl quotes".split())
程序目录结构如下图:
其他环境信息:
2019-12-26 14:56:12 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: tutorial)
2019-12-26 14:56:12 [scrapy.utils.log] INFO: Versions: lxml 4.4.2.0, libxml2 2.9.10, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.7.5 (default, Dec 25 2019, 13:07:13) - [Clang 11.0.0 (clang-1100.0.33.16)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d 10 Sep 2019), cryptography 2.8, Platform Darwin-19.2.0-x86_64-i386-64bit