下载器限流

    使用@Downloader注解实现。

    注解

    @Downloader

    类名:\Yurun\Crawler\Module\Crawler\Annotation\Downloader

    为这个爬虫对象下所有爬虫项目设置一个缺省的下载器

    参数:

    名称描述默认值
    class下载器类名Yurun\Crawler\Module\Downloader\Handler\YurunHttpDownloader
    queue下载器队列名defaultDownloader
    limit限流数量,小于等于0时不限制null
    limitUnit限流单位时间,默认为:秒(second);支持:microsecond、millisecond、second、minute、hour、day、week、month、yearlimitUnit
    limitWait限流等待时间,单位:秒60
    timeout单个工作超时时间,单位:秒60