Metadata-Version: 1.0
Name: Crwy
Version: 1.0.6
Summary: A Simple Web Crawling and Web Scraping framework
Home-page: https://github.com/wuyue92tree/crwy
Author: wuyue
Author-email: wuyue92tree@163.com
License: BSD
Description: Crwy
        ===================
        .. image:: https://img.shields.io/pypi/v/Crwy.svg
           :target: https://pypi.python.org/pypi/Crwy
           :alt: PyPI Version
        .. image:: https://travis-ci.org/wuyue92tree/crwy.svg?branch=1.0.6
           :target: https://travis-ci.org/wuyue92tree/crwy
           :alt: Build Status
        .. image:: https://readthedocs.org/projects/crwy/badge/?version=1.0.6
           :target: http://crwy.readthedocs.io/zh_CN/1.0.6/?badge=1.0.6
           :alt: Documentation Status
        
        简介
        ===================
        Crwy是一个轻量级的爬虫抓取框架，参考Scrapy框架结构开发而来。该框架提供了实用的爬虫模板，旨在帮助大家快速实现爬虫任务，高效开发。新增了gevent，使爬虫异步执行，速度更快。
        
        运行环境
        ===================
        
         * Python2.7
         * Works on Linux, Mac OSX
        
        依赖包
        ===================
         * beautifulsoup4>=4.5.1
         * requests==2.12.0
         * configparser>=3.5.0
         * SQLAlchemy>=1.0.14
         * pyssdb>=0.1.2
         * redis>=2.10.5
         * gevent>=1.2.1
        
        安装
        ===================
        
        快速安装::
        
            pip install crwy
        
        or
        前往下载: https://pypi.python.org/pypi/Crwy/1.0.6/
        
        使用手册
        ===================
        在这里: http://crwy.readthedocs.io/zh_CN/1.0.6/
        
        友情链接
        ===================
        - https://pypi.python.org/pypi/beautifulsoup4/
        - https://pypi.python.org/pypi/requests/
        - https://pypi.python.org/pypi/configparser/
        - https://pypi.python.org/pypi/SQLAlchemy/
        - https://pypi.python.org/pypi/gevent/
        
        修改日志
        ===================
        
        2017-09-21  v1.0.6
        
        - 日志新增timedRtLogger模板及自定义Logger调用接口
        - 爬虫执行脚本新增thread支持
        - 修改项目创建脚本，配置文件固定在conf目录
        
        2017-06-13  v1.0.5
        
        - 解决pypi版本问题。
        
        2017-06-12  v1.0.4
        
        - 修改默认日志conf模板，RedisSet模块添加返回Set所有内容。
        
        2017-06-01  v1.0.4
        
        - 日志模块/邮件模块关联剥离。
        
        2017-05-19  v1.0.4
        
        - 下载器更换为requests, 并新增打文件下载方式;
        - 新增RedisSet模块充当网页去重过滤器;
        - 新增RedisHash模块，用于存储cookies等需持久化参数;
        - 新增Logger模块，将默认日志集成到spider中，简化templates;
        - 将内置的多进程启动更换为多协程，多进程直接由外部方式实现，框架不再支持;
        - 优化templates。
        
        2017-04-17  v1.0.3
        
        - 修改下载器，支持自定义headers传入。
        
        2017-04-04  v1.0.3
        
        - 加入gevent，实现pycurl与gevent异步调用；
        - 新增async异步模板；
        - 修改HtmlDownloader返回值，返回Response对象。
        
        2017-03-22  v1.0.2
        
        - docs更新多进程，redis/ssdb队列文档。
        
        2017-02-14  v1.0.2
        
        - runspider模块新增多进程支持。
        
        2017-02-07  v1.0.2
        
        - 更改RedisQueue模块路径，新增SsdbQueue模块。
        
        2017-01-09  v1.0.2
        
        - 修复模板中的BUG；
        - 去除mysqldb依赖，用户根据自行需求进行安装；
        - 讲utils中的sqlite包名称更改为db，且功能上更新为通用数据链接。
        
        
Platform: UNKNOWN
