Puppeteer — популярный инструмент для веб-скрейпинга и парсинга сайтов. Установить и подключить к нему прокси легко и быстро.
Прежде всего для работы с Puppeteer установите Node.js. Скачать последнюю версию Node.js можно с официального сайта: Node.js Downloads.
В качестве примера мы покажем подключение через IP авторизацию. Вот шаги, которые помогут вам установить Puppeteer и запустить проект:
1. Создайте папку для вашего проекта Puppeteer;
2. Откройте командную строку;
3. Создайте путь до вашего проекта - cd C:\path\to\your\project
4. Создайте проект Node.js. Запустите следующую команду, чтобы создать файл package.json для вашего проекта: npm init -y
5. Установите Puppeteer с помощью следующей команды: npm install puppeteer
6. Создайте файл JavaScript в папке вашего проекта и вставьте в него имеющийся у вас скрипт Puppeteer. Вы можете открыть файл с помощью Блокнота, вставить скрипт и сохранить его. Пример имени prjct.js
7. Запустите Puppeteer скрипт с помощью следующей команды: node prjct.js
Поздравляем, все готово!
Запустив Puppeteer, в секции ‘proxy-server’, внесите данные IP прокси сервера и номер порта: ( например, proxy.soax.com:10000):
const puppeteer = require('puppeteer');
async () => {
const browser = await puppeteer.launch({
headless: false,
args: ['--proxy-server=proxy.soax.com:10001']
});
const page = await browser.newPage();
await page.authenticate();
await page.goto('https://soax.com/');
await page.screenshot({path: 'example.png'});
await browser.close();
})();
Для более подробной информации ознакомьтесь с документацией на официальном сайте.