在scrpy.spyder上啟動請求似乎無法正常工作

我希望你能就我的問題給我一些提示。

我正在嘗試從txt源獲取有序數據。代碼運行良好,直到我從txt源打印數據,所以它讀取它。但有一次我啟動了一個循環,從txt文件中讀取每一行,然后我“print(origdato)”檢查它是否工作正常,但它沒有。

也許是循環,也許是斯派德的要求,我真的不知道。

你能幫幫我嗎?

代碼如下:

    # packages
    import scrapy
    from scrapy.crawler import CrawlerProcess
    from scrapy.selector import Selector
    import json 
    import datetime
    
    # scraper class 
    class myfile(scrapy.Spider):
        # scraper name
        name= 'whatever'
        
        base_url = 'https://www.whatever.com/'
    
        headers =  {'...'
          }  
        
        custom_settings =  {
            'CONCURRENT_REQUEST_PER_DOMAIN': 1,
            'DOWNLOAD_DELAY': 1,
        }
            
        current_page = 2
    
        origdatos= []
    
        
        def __init__(self):
         
            content = ''
    
          with open('origdatos.txt', 'r') as f:
                for line in f.read():
                    content += line
    
            # parse content
            self.origdatos= content.split('\n')
           # print(self.origdatos) // Till heree works fine 
    
           # crawler
            def start_requests(self):
                self.current_page = 2
    
                # loop over datos
                for origdato in self.origdatos:
                 print(origdato) #In this print Python does not show me data, so it appears the loop does not work properly, maybe
                 
          #driver
        if __name__ == '__main__':
        # run scraper
        process = CrawlerProcess()
        process.crawl(myfile)
        process.start()
? 最佳回答:

可能這是代碼的格式問題。如果它的格式如問題所示,那就是。嘗試取消代碼中start_requests方法的標識,看看它是否修復了問題。

以下措施也應起作用:

import scrapy
from scrapy.crawler import CrawlerProcess

class myfile(scrapy.Spider):
    name = 'whatever'

    def __init__(self):
        with open('origdatos.txt', 'r') as f:
            self.origdatos = f.readlines()

    def start_requests(self):
        for origdato in self.origdatos:
            print(origdato)
            
if __name__ == '__main__':
    process = CrawlerProcess()
    process.crawl(myfile)
    process.start()

但是,這仍然會在執行結束時產生錯誤,因為start_requests應該返回一個iterable。

主站蜘蛛池模板: 精品乱人伦一区二区| 中文无码精品一区二区三区| 日本一区二区免费看| 国产精品一区视频| 无码人妻久久久一区二区三区| 国产一区高清视频| 亚洲av色香蕉一区二区三区| 精品无码av一区二区三区| 国模无码一区二区三区不卡| 日本一区视频在线播放| 无码人妻aⅴ一区二区三区| 精品国产鲁一鲁一区二区 | 亚洲一区二区三区久久| 亚洲啪啪综合AV一区| 国产福利电影一区二区三区久久老子无码午夜伦不 | 无码人妻精品一区二区三区在线 | 日韩欧美一区二区三区免费观看 | 无码人妻AⅤ一区二区三区水密桃 无码欧精品亚洲日韩一区夜夜嗨 无码毛片一区二区三区中文字幕 无码毛片一区二区三区视频免费播放 | 高清一区二区三区视频| 亚洲精品日韩一区二区小说| 亚洲国产精品综合一区在线 | 国产一区在线视频观看| 国产一区美女视频| 精品在线一区二区三区| 日本精品一区二区三区在线视频一 | 亚洲宅男精品一区在线观看| 91一区二区视频| 99精品一区二区三区无码吞精| 97av麻豆蜜桃一区二区| 精品无码成人片一区二区98| 亚洲av综合av一区二区三区| 国产精品一区在线播放| 国产精品无码一区二区在线观| 国产精品视频一区国模私拍| 国产成人高清亚洲一区91| 一区二区三区四区电影视频在线观看| 一区二区三区美女视频| 亚洲综合无码精品一区二区三区| 国产AV午夜精品一区二区三区| 蜜臀AV一区二区| 日本在线视频一区二区三区|