一般創(chuàng)建了scrapy文件夾后，可能需要寫多個爬蟲，如果想讓它們同時運(yùn)行而不是順次運(yùn)行的話，得怎么做？
第一步;
在spiders目錄的同級目錄下創(chuàng)建一個commands目錄，并在該目錄中創(chuàng)建一個crawlall.py，將scrapy源代碼里的commands文件夾里的crawl.py源碼復(fù)制過來，只修改run()方法即可 （文件夾下面必須要有init文件）
crawl.py文件內(nèi)容
import os
from scrapy.commands import ScrapyCommand
from scrapy.utils.conf import arglist_to_dict
from scrapy.utils.python import without_none_values
from scrapy.exceptions import UsageError
class Command(ScrapyCommand):
requires_project = True
def syntax(self):
return "[options] <spider>"
def short_desc(self):
return "Run all spider"
def add_options(self, parser):
ScrapyCommand.add_options(self, parser)
parser.add_option("-a", dest="spargs", action="append", default=[], metavar="NAME=VALUE",
help="set spider argument (may be repeated)")
parser.add_option("-o", "--output", metavar="FILE",
help="dump scraped items into FILE (use - for stdout)")
parser.add_option("-t", "--output-format", metavar="FORMAT",
help="format to use for dumping items with -o")
def process_options(self, args, opts):
ScrapyCommand.process_options(self, args, opts)
try:
opts.spargs = arglist_to_dict(opts.spargs)
except ValueError:
raise UsageError("Invalid -a value, use -a NAME=VALUE", print_help=False)
if opts.output:
if opts.output == '-':
self.settings.set('FEED_URI', 'stdout:', priority='cmdline')
else:
self.settings.set('FEED_URI', opts.output, priority='cmdline')
feed_exporters = without_none_values(
self.settings.getwithbase('FEED_EXPORTERS'))
valid_output_formats = feed_exporters.keys()
if not opts.output_format:
opts.output_format = os.path.splitext(opts.output)[1].replace(".", "")
if opts.output_format not in valid_output_formats:
raise UsageError("Unrecognized output format '%s', set one"
" using the '-t' switch or as a file extension"
" from the supported list %s" % (opts.output_format,
tuple(valid_output_formats)))
self.settings.set('FEED_FORMAT', opts.output_format, priority='cmdline')
def run(self, args, opts):
#獲取爬蟲列表
spd_loader_list=self.crawler_process.spider_loader.list()#獲取所有的爬蟲文件。
print(spd_loader_list)
#遍歷各爬蟲
for spname in spd_loader_list or args:
self.crawler_process.crawl(spname, **opts.spargs)
print ('此時啟動的爬蟲為：'+spname)
self.crawler_process.start()
第二步：
settings.py配置文件還需要加一條。
COMMANDS_MODULE = ‘項目名稱.目錄名稱’
例如：COMMANDS_MODULE = 'spider.commands'
第三部
最后啟動crawlall即可！
當(dāng)然，安全起見，可以先在命令行中進(jìn)入該項目所在目錄，并輸入scrapy -h,可以查看是否有命令crawlall 。如果有，那就成功了，可以啟動了
我是寫了個啟動文件，放在第一級即可
要不直接在命令臺cmd里輸入 scrapy crawlall 就行了
