FAQ по добыче прокси
АНОНИМНОСТЬ
ПОМОЩЬ
БЕСПЛАТНЫЕ PROXY
В этой статье мы рассмотрим следующие способы добычи прокси: Сканирование, Сёрчинг, Личинг, Граббинг.
Так же рассмотрим некоторые методы проверки, сортировки, фильтрации, определения страны и т.д.
Я не буду здесь описывать, что такое прокси сервер, для чего они нужны, об этом можно почитать в нашей базе знаний.
Сканирование ip адресов и последующая их проверка (чек) на прокси
Диапазоны
Диапазоны стран можно взять на сайтах:
- http://www.proxyserverprivacy.com/ipaddress_range.php
- http://www.ipaddresslocation.org/ip_ranges/get_ranges.php
- http://www.find-ip-address.org/ip-country/
- http://www.proxysecurity.com/ip-address-range.php
Весь диапазон ip адресов: 0.0.0.0-255.255.255.255
Сканировать можно по стране или по определенному диапазону на определённые порты.
Порты
Мы будем сканировать на основные порты:
- Http: 80, 8080, 3128
- Socks4 и Socks5: 1080
Весь диапазон портов: 0-65535.
Есть очень много других хороших портов, на которых есть http прокси, например: 81, 82, 6855, 8000, 8082, 8090, 8888 и т. д.
Как же узнать, на какие порты сканировать?
Есть много способов, я предложу один из простых и верных.
Регистрируемся на нескольких прокси форумах:
- http://proxyfire.net/forum/
- http://dcsproxy.com
- http://forum.my-proxy.com
- http://proxygod.com/forum/
Собираем все прокси, что там выкладывают за сегодня, удаляем дубликаты (как их удалить читайте ниже) и чекаем оставшиеся (как прочекать прокси - читайте ниже).
Proxyfire
Качаем Proxyfire Master Suite Free 1.22 или покупаем ProxyFire Master Suite Professional 1.22($29).
Можно найти крякнутую версию, Google в помощь.
Proxyfire - это целая лаборатория для работы с прокси. Можно выкидывать весь старый софт! Вам больше не нужны: сканнеры, грабберы, личеры, сёрчеры, чеккеры, бат-криейдеры, фильтры, дубликат-ремоуторы, парсеры отчётов сканнера и прочий мусор. Proxyfire объединяет все эти утилиты в одной компактной программе, поэтому мы будем работать с ним. Proxyfire не требует установки и с ним очень удобно работать на дедике. Есть скрытый режим.
Вкладка: Settings
Здесь есть окно редактирование прокси судей (Proxy Judges).Их можно нагуглить, а можно сделать свои, надёжные.Для этого вам понадобиться зарегистрировать несколько хостингов и разместить там скрипт azenv.php:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
<title>AZ Environment variables 1.04</title>
</head>
<body>
<pre>
<?php
foreach ($_SERVER as $header => $value ) {
if(strpos($header , 'REMOTE')!== false || strpos($header , 'HTTP')!== false || strpos($header , 'REQUEST')!== false) {
echo $header.' = '.$value."\n";
}
}
?>
</pre>
</body>
</html>
В программе указать путь к этому файлу, нажмите "Add" и пропишите как на скриншоте выше.
На самом деле легче это сделать вручную, заходим в папку с программой, открываем файл check.ini и пишем в нём:
[0] Status=BAD Verify_http=1 Verify_tunnel=1 Verify_ssl=0 Deleted=0 Url=http://jerry4.freehostia.com/judges/azenv.php azenv=1 custom=0 UrlCustom=http://www.google.com/intl/zh-CN/ StrLevel1=<title>Google StrLevel2=<title>Google StrLevel3=<title>Google StrIP= TunnelHost=www.google.com TunnelPort=443 SSLUrl=https://www.google.com/accounts/ManageAccount SSLKeyword=<title>Google Checked=1 [1] Status=OK Verify_http=1 Verify_tunnel=1 Verify_ssl=1 Deleted=0 Url=http://joshua2.freehostia.com/judges/azenv.php azenv=1 custom=0 UrlCustom=http://www.google.com/intl/zh-CN/ StrLevel1=<title>Google StrLevel2=<title>Google StrLevel3=<title>Google StrIP= TunnelHost=www.google.com TunnelPort=443 SSLUrl=https://www.google.com/accounts/ManageAccount SSLKeyword=<title>Google Checked=1 [2] Status=OK Verify_http=1 Verify_tunnel=1 Verify_ssl=1 Deleted=0 Url=http://leroy2.freehostia.com/judges/azenv.php azenv=1 custom=0 UrlCustom=http://www.google.com/intl/zh-CN/ StrLevel1=<title>Google StrLevel2=<title>Google StrLevel3=<title>Google StrIP= TunnelHost=www.google.com TunnelPort=443 SSLUrl=https://www.google.com/accounts/ManageAccount SSLKeyword=<title>Google Checked=1
и т.д. Потом сохраняем и перезагружаем программу, заходим во вкладку Settings и видим наши пути к прокси судьям: 10 будет достаточно, подходящий хостинг из бесплатных freehostia.com
Вкладка: Proxy Filter
Все мы знаем, что прокси могут иметь разный вид, к порту приписывают различную информацию, порт 8080 и 808 (это одно и то же), переодически нужно удалять дубликаты, перемешивать прокси листы, удалять прокси с ненужными портами и т.д.
Современнее и новороченнее фильтра-парсера, чем в Proxyfire я не встречал - это машина для работы с прокси листами.
В окно "In" можно пихать любой мусор, Proxyfire вытащит из него прокси.
Вкладка: P-Scan
Вкладка "Scanner". Здесь можно включить "Auto Check", задать приоритет "Scan process Priority". Устанавливаем количество потоков "Threads". Если у вас интернет канал 6 метров и более ставим 3000 потоков. Проверить скорость интернет соединения можно здесь: http://2ip.ru
Таймаут "Timeout(s)" ставим от 5 до 20. Выбираем метод сканирования "TCP" (метод "SYN" сейчас не работает, на сколько мне известно). Далее вбиваем диапазоны, которые будем сканировать, диапазоны должны быть вида:
xxx.xxx.xxx.xxx xxx.xxx.xxx.xxx
Можно сканировать диапазоны определённой страны, можно сканировать просто свои диапазоны, а можно создать диапазоны из хороших прокси.
Для этого переходим на вкладку "Make IP Ranges", вбиваем хорошие прокси в окно "Input proxies here", выставляем на сколько расширять диапазоны до и после "Up Expand" и "Down Expand" 1000 - оптимальное число. Можно отсеять по странам, жмём кнопку "Sel..." и выбираем страны. Далее жмём "Go" видим в соседнем окне сгенерированные диапазоны и ниже порты.
Жмём "Copy to Scanner" и мы опять во вкладке "Scanner".
Proxyfire сканирует на 1 порт, на тот, что первый прописан в списке.
Вкладка: P-Search
Очень эффективный способ поиска прокси. Если вам нужно быстро найти рабочие прокси - это то что вам нужно.
Здесь всё просто, выбираем поисковый движок: Google, Baidu, Yahoo! или MSN. Далее меняем код, жмём "Edit" напротив интересующего нас поисковика.
[search]
name=Google
engine=http://www.google.com/search?hl=en&lr=&as_epq=%KEYWORD%&start=%PAGE%
link_start=<li class=g>
link_end=</a>
Baidu
[search]
name=Baidu
engine=http://www.baidu.com/s?wd=%22%KEYWORD%%22&cl=3&pn=%PAGE%
link_start=<td class=f>
link_end=target="_blank"
Yahoo!
[search]
name=Yahoo!
engine=http://search.yahoo.com/search?p=%22%KEYWORD%%22&ei=UTF-8&b=%PAGE%
link_start=<a class=
link_end=</a>
MSN
[search]
name=MSN
engine=http://search.msn.com/results.aspx?q=%22%KEYWORD%%22&first=%PAGE%
link_start=<h3>
link_end=onmousedown
После выбора поисковика устанавливаем количество потоков "Serch Threads:" (в free версии оно ограниченно пятью!).
Можно так же включить "Auto Check" проверка прокси после достижения установленного вами количества найденных прокси.
Жмём "Keywords" и пишем там хорошие прокси с портами, их и будем искать + то, что вместе с ними выкладывают. Жмём "Go".
Вкладка: P-Leecher
Другими словами граббер прокси. Тут так же всё просто, устанавливаем "Loop" и "Auto Check" если надо. Указываем количество потоков и количество тем. Жмём "Edit Forum List" вбиваем туда наши прокси листы.
Прокси листы можно легко нагуглить
Вкладка: Check
Прокси чеккер. Жмём кнопку "Options...", далее выставляем потоки "Threads:" я ставлю 300 как то больше и не надо. Повтор "Retry:" 0
Далее указываем, нужно ли прогонять, через уже настроенный нами фильтр, прокси перед чеком "Filter proxies in the Proxy Filter Tab before Check"
Показать время отклика "Show response time"
Тут есть одна хитрая кнопка на панели "SOCKS4/5" нажав на нее, откроются 2 текстовых файла с разделёнными Socks4 и Soсks5 прокси
Вкладка: Proxylist
Если ваш компьютер случайно выключиться, вам нужно зайти сюда, чтобы забрать прокси, которые вы сканировали или искали.
Дата створення/оновлення: 25.05.2018