К основному содержимому
Octoparse

Настройка прокси в веб-скрапере Octoparse

Kate avatar
Автор: Kate
Обновлено более года назад

Octoparse — это современный и простой в использовании софт для извлечения веб-данных. Он автоматически извлечет контент практически с любого веб-сайта и сохранит его в виде чистых структурированных данных в формате по выбору.

Алгоритм настройки прокси:

1. Скачайте и откройте софт Octoparse.

2. В верхнем левом меню нажмите кнопку «Create Task».

Если задача уже есть, можно перейти к шагу 5 😎

3. Для тестирования создайте новую задачу. В меню выбора нажмите «Advanced Mode».

4. В поле «Website» введите веб-сайт, с которого вы хотите извлечь данные. К примеру, https://etherscan.io/.

Как только вы это сделаете, нажмите кнопку «Save URL».

5. В открытом Task tab нажмите «Settings».

6. Во всплывающем меню прокрутите вниз до «Anti-blocking settings» и установите флажок «Use IP proxies».

Кнопка «Settings» станет активной, нажмите её, пожалуйста.

7. Во всплывающем окне «Proxy Settings» укажите параметры для подключения к прокси, которые вы хотите использовать.

Обратите внимание!
Octoparse предлагает авторизацию только по IP:Port.

Потому необходимо внести свой IP в Вайтлист, создать фильтр для IP авторизации и при необходимости — прокси-лист.

8. После внесения параметров IP:Port задайте желаемый интервал в «Switch interval». Нажмите «ОК».

9. Если все сделано правильно, рядом с параметром «Settings» в разделе« Anti-blocking settings» появится галочка.

10. Нажмите «Save».

Отличная работа 🚀

Вы успешно подключили прокси через Octoparse.

Нашли ответ на свой вопрос?