Metadata-Version: 2.1
Name: bwt-scrapy-proxy
Version: 0.1.0
Summary: My short description for my project.
Home-page: https://github.com/gendobr/scrapyproxy
Author: Hennadii Dobrovolskyi
Author-email: gen.dobr@gmail.com
License: MIT
Description: 
        # Подключение ротации прокси-серверов к проекту на scrapy
        
        Подключение выполняется в Downloader Middleware.
        
        Чтобы его подключить, надо
        
        0) Инсталлировать 
            ```
            pipenv run python -m pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
            ```
            или
            ```
            pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
            ```
        
        0) в settings.py в словарь DOWNLOADER_MIDDLEWARES добавить
           ```
           'bwt_scrapy_proxy.ProxyRotationMiddleware':530
           ```
        
        0) в settings.py добавить параметры
           ```
              X_BWT_PROXY_MEDIATOR = "http://192.168.11.82:5001"
              X_BWT_PARSERNAME = "test"
           ```
           Сейчас mitmproxy работает на 192.168.11.82 и слушает порт 5001
        
           X_BWT_PARSERNAME = "test" - уникальный идентификатор парсера
        
        0) в базу данных (таблица parsers) внести уникальный идентификатор парсера
           (параметр X_BWT_PARSERNAME из settings.py)
           и максимальное количество коннектов (parsers.threads_limit)
           Это делает админ БД парсеров.
        
Platform: UNKNOWN
Classifier: License :: OSI Approved :: MIT License
Classifier: Programming Language :: Python
Classifier: Programming Language :: Python :: 3
Classifier: Programming Language :: Python :: 3.6
Classifier: Programming Language :: Python :: Implementation :: CPython
Classifier: Programming Language :: Python :: Implementation :: PyPy
Requires-Python: >=3.6.0
Description-Content-Type: text/markdown
