中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

scrapyd schedule.json setting 傳入多個值問題

發布時間:2020-10-09 13:51:48 來源:腳本之家 閱讀:232 作者:apuyuseng 欄目:web開發

使用案例:

import requests
adder='http://127.0.0.1:6800'
data = {
    'project':'v1',
    'version':'12379',
    'setting':['ROBOTSTXT_OBEY=True','CONCURRENT_REQUESTS=32']
}
resp = requests.post(adder,data=data)

問題解決思路:

版本1.2文檔中:

◦setting (string, optional) - a Scrapy setting to use when running the spider

setting 是字符串,那么多個字符串該如何呢。

通過源碼 site-packages/scrapyd/webservice.py

class Schedule(WsResource):
  def render_POST(self, txrequest):
    args = native_stringify_dict(copy(txrequest.args), keys_only=False)
    settings = args.pop('setting', [])
    settings = dict(x.split('=', 1) for x in settings)
    args = dict((k, v[0]) for k, v in args.items())
    project = args.pop('project')
    spider = args.pop('spider')
    version = args.get('_version', '')
    spiders = get_spider_list(project, version=version)
    if not spider in spiders:
      return {"status": "error", "message": "spider '%s' not found" % spider}
    args['settings'] = settings
    jobid = args.pop('jobid', uuid.uuid1().hex)
    args['_job'] = jobid
    self.root.scheduler.schedule(project, spider, **args)
    return {"node_name": self.root.nodename, "status": "ok", "jobid": jobid}

 可以發現 setting 在這里是list對象,且里面元素是字符,字符串必須包含=符號。

以此我們嘗試傳入setting:['DEBUG=True','HOST_NAME=axdda']

結果真的可以。對于比較復雜的設置,下次有需求再研究吧。

總結

以上所述是小編給大家介紹的scrapyd schedule.json setting 傳入多個值問題,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對億速云網站的支持!
如果你覺得本文對你有幫助,歡迎轉載,煩請注明出處,謝謝!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

宣城市| 南皮县| 凤翔县| 彭泽县| 北宁市| 繁峙县| 武宣县| 肇东市| 关岭| 九寨沟县| 闻喜县| 芦溪县| 修文县| 保亭| 太仆寺旗| 饶平县| 普安县| 比如县| 淮安市| 普陀区| 平湖市| 西平县| 舞阳县| 台州市| 北宁市| 定兴县| 丹凤县| 宜宾市| 苍南县| 宜良县| 六安市| 久治县| 宁南县| 阿拉善盟| 长寿区| 北流市| 锡林郭勒盟| 宜章县| 河西区| 闸北区| 格尔木市|