Metadata-Version: 2.1
Name: bwt-scrapy-proxy
Version: 0.1.0
Summary: My short description for my project.
Home-page: https://github.com/gendobr/scrapyproxy
Author: Hennadii Dobrovolskyi
Author-email: gen.dobr@gmail.com
License: MIT
Platform: UNKNOWN
Classifier: License :: OSI Approved :: MIT License
Classifier: Programming Language :: Python
Classifier: Programming Language :: Python :: 3
Classifier: Programming Language :: Python :: 3.6
Classifier: Programming Language :: Python :: Implementation :: CPython
Classifier: Programming Language :: Python :: Implementation :: PyPy
Requires-Python: >=3.6.0
Description-Content-Type: text/markdown
Requires-Dist: scrapy


# Подключение ротации прокси-серверов к проекту на scrapy

Подключение выполняется в Downloader Middleware.

Чтобы его подключить, надо

0) Инсталлировать 
    ```
    pipenv run python -m pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
    ```
    или
    ```
    pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
    ```

0) в settings.py в словарь DOWNLOADER_MIDDLEWARES добавить
   ```
   'bwt_scrapy_proxy.ProxyRotationMiddleware':530
   ```

0) в settings.py добавить параметры
   ```
      X_BWT_PROXY_MEDIATOR = "http://192.168.11.82:5001"
      X_BWT_PARSERNAME = "test"
   ```
   Сейчас mitmproxy работает на 192.168.11.82 и слушает порт 5001

   X_BWT_PARSERNAME = "test" - уникальный идентификатор парсера

0) в базу данных (таблица parsers) внести уникальный идентификатор парсера
   (параметр X_BWT_PARSERNAME из settings.py)
   и максимальное количество коннектов (parsers.threads_limit)
   Это делает админ БД парсеров.


