FAQ по видобутку проксі

У цій статті ми розглянемо такі способи видобутку проксі: Сканування, Сёрчінг, Лічінга, граббінг.

Так само розглянемо деякі методи перевірки, сортування, фільтрації, визначення країни і т.д.

Я не буду тут описувати, що таке проксі сервер, для чого вони потрібні, про це можна почитати в нашій базі знань .

Сканування ip адрес і подальша їх перевірка (чек) на проксі

діапазони

Діапазони країн можна взяти на сайтах:

Весь діапазон ip адрес: 0.0.0.0-255.255.255.255

Сканувати можна по країні або за певним діапазону на певні порти.

порти

Ми будемо сканувати на основні порти:

  • Http: 80, 8080, 3128
  • Socks4 і Socks5: 1080

Весь діапазон портів: 0-65535.

Є дуже багато інших хороших портів, на яких є http проксі, наприклад: 81, 82, 6855, 8000, 8082, 8090, 8888 і т. Д.

Як же дізнатися, на які порти сканувати?

Є багато способів, я запропоную один з простих і вірних.

Реєструємося на декількох проксі форумах:

Збираємо все проксі, що там викладають за сьогодні, видаляємо дублікати (як їх видалити читайте нижче) і чекаєм залишилися (як прочекали проксі - читайте нижче).

Proxyfire

Качаємо Proxyfire Master Suite Free 1.22 або купуємо ProxyFire Master Suite Professional 1.22 ($ 29).

Можна знайти крякнута версію, Google в допомогу.

Proxyfire - це ціла лабораторія для роботи з проксі. Можна викидати весь старий софт! Вам більше не потрібні: сканери, грабери, лічери, сёрчери, Чеккер, бат-кріейдери, фільтри, дублікат-ремоутори, парсери звітів сканера і інше сміття. Proxyfire об'єднує всі ці утиліти в одній компактній програмі, тому ми будемо працювати з ним. Proxyfire не вимагає установки і з ним дуже зручно працювати на Дедик. Є у прихованому режимі.

Вкладка: Settings

Proxyfire

Тут є вікно редагування проксі суддів (Proxy Judges). Б.

Їх можна нагугліть, а можна зробити свої, надійні. Б.

Для цього вам знадобитися зареєструвати кілька хостингів і розмістити там скрипт azenv.php:


<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
<title>AZ Environment variables 1.04</title>
</head>
<body>
<pre>
<?php
foreach ( $_SERVER as $header => $value ) {
if(
strpos ( $header , 'REMOTE' )!== false || strpos ( $header , 'HTTP' )!== false || strpos ( $header , 'REQUEST' )!== false ) {
echo
$header . ' = ' . $value . "\n" ;
}
}
?>
</pre>
</body>
</html>

У програмі вказати шлях до цього файлу, натисніть "Add" і пропишіть як на скріншоті вище.

Насправді легше це зробити вручну, заходимо в папку з програмою, відкриваємо файл check.ini і пишемо в ньому:

	 [0]
	 Status = BAD
	 Verify_http = 1
	 Verify_tunnel = 1
	 Verify_ssl = 0
	 Deleted = 0
	 Url = http: //jerry4.freehostia.com/judges/azenv.php
	 azenv = 1
	 custom = 0
	 UrlCustom = http: //www.google.com/intl/zh-CN/
	 StrLevel1 = <title> Google
	 StrLevel2 = <title> Google
	 StrLevel3 = <title> Google
	 StrIP =
	 TunnelHost = www.google.com
	 TunnelPort = 443
	 SSLUrl = https: //www.google.com/accounts/ManageAccount
	 SSLKeyword = <title> Google
	 Checked = 1
	 [1]
	 Status = OK
	 Verify_http = 1
	 Verify_tunnel = 1
	 Verify_ssl = 1
	 Deleted = 0
	 Url = http: //joshua2.freehostia.com/judges/azenv.php
	 azenv = 1
	 custom = 0
	 UrlCustom = http: //www.google.com/intl/zh-CN/
	 StrLevel1 = <title> Google
	 StrLevel2 = <title> Google
	 StrLevel3 = <title> Google
	 StrIP =
	 TunnelHost = www.google.com
	 TunnelPort = 443
	 SSLUrl = https: //www.google.com/accounts/ManageAccount
	 SSLKeyword = <title> Google
	 Checked = 1
	 [2]
	 Status = OK
	 Verify_http = 1
	 Verify_tunnel = 1
	 Verify_ssl = 1
	 Deleted = 0
	 Url = http: //leroy2.freehostia.com/judges/azenv.php
	 azenv = 1
	 custom = 0
	 UrlCustom = http: //www.google.com/intl/zh-CN/
	 StrLevel1 = <title> Google
	 StrLevel2 = <title> Google
	 StrLevel3 = <title> Google
	 StrIP =
	 TunnelHost = www.google.com
	 TunnelPort = 443
	 SSLUrl = https: //www.google.com/accounts/ManageAccount
	 SSLKeyword = <title> Google
	 Checked = 1
	

і т.д. Потім зберігаємо і перезавантажуємо програму, заходимо у вкладку Settings і бачимо наші шляхи до проксі суддям: 10 буде достатньо, відповідний хостинг з безкоштовних freehostia.com

Вкладка: Proxy Filter

Всі ми знаємо, що проксі можуть мати різний вигляд, до порту приписують різну інформацію, порт 8080 і 808 (це одне і те ж), періодично потрібно видаляти дублікати, перемішувати проксі листи, видаляти проксі з непотрібними портами і т.д.

Сучасніше і новороченнее фільтра-парсеру, ніж в Proxyfire я не зустрічав - це машина для роботи з проксі листами.

У вікно "In" можна пхати будь-яке сміття, Proxyfire витягне з нього проксі.

Proxy Filter

Вкладка: P-Scan

Вкладка "Scanner". Тут можна включити "Auto Check", задати пріоритет "Scan process Priority". Встановлюємо кількість потоків "Threads". Якщо у вас інтернет канал 6 метрів і більше ставимо 3000 потоків. Перевірити швидкість інтернет з'єднання можна тут: http://2ip.ru

Таймаут "Timeout (s)" ставимо від 5 до 20. Вибираємо метод сканування "TCP" (метод "SYN" зараз не працює, на скільки мені відомо). Далі вбиваємо діапазони, які будемо сканувати, діапазони повинні бути виду:

xxx.xxx.xxx.xxx xxx.xxx.xxx.xxx
Proxyfire

Можна сканувати діапазони певної країни, можна сканувати просто свої діапазони, а можна створити діапазони з хороших проксі.

Для цього переходимо на вкладку "Make IP Ranges", вбиваємо хороші проксі в вікно "Input proxies here", виставляємо на скільки розширювати діапазони до і після "Up Expand" і "Down Expand" 1000 - оптимальне число. Можна відсіяти по країнам, тиснемо кнопку "Sel ..." і вибираємо країни. Далі тиснемо "Go" бачимо в сусідньому вікні згенеровані діапазони і нижче порти.

Proxyfire

Тиснемо "Copy to Scanner" і ми знову у вкладці "Scanner".

Proxyfire сканує на 1 порт, на той, що перший прописаний в списку.

Вкладка: P-Search

Дуже ефективний спосіб пошуку проксі. Якщо вам потрібно швидко знайти робочі проксі - це те що вам потрібно.

Тут все просто, вибираємо пошуковий движок: Google, Baidu, Yahoo! або MSN. Далі змінюємо код, тиснемо "Edit" навпроти обраного нас пошукача.

Google


[search]
name=Google
engine=http://www.google.com/search?hl=en&lr=&as_epq=%KEYWORD%&start=%PAGE%
link_start=<li class=g>
link_end=</a>

Baidu


[search]
name=Baidu
engine=http://www.baidu.com/s?wd=%22%KEYWORD%%22&cl=3&pn=%PAGE%
link_start=<td class=f>
link_end=target="_blank"

Yahoo!


[search]
name=Yahoo!
engine=http://search.yahoo.com/search?p=%22%KEYWORD%%22&ei=UTF-8&b=%PAGE%
link_start=<a class=
link_end=</a>

MSN


[search]
name=MSN
engine=http://search.msn.com/results.aspx?q=%22%KEYWORD%%22&first=%PAGE%
link_start=<h3>
link_end=onmousedown

Після вибору пошуковика встановлюємо кількість потоків "Serch Threads:" (в free версії воно обмежено п'ятьма!).

Можна так само включити "Auto Check" перевірка проксі після досягнення встановленого вами кількості знайдених проксі.

Тиснемо "Keywords" і пишемо там хороші проксі з портами, їх і будемо шукати + те, що разом з ними викладають. Тиснемо "Go".

Proxyfire

Вкладка: P-Leecher

Proxyfire

Іншими словами граббер проксі. Тут так само все просто, встановлюємо "Loop" і "Auto Check" якщо треба. Вказуємо кількість потоків і кількість тем. Тиснемо "Edit Forum List" вбиваємо туди наші проксі листи.

Проксі листи можна легко нагугліть

Вкладка: Check

Проксі Чеккер. Тиснемо кнопку "Options ...", далі виставляємо потоки "Threads:" я ставлю 300 як то більше й не треба. Повтор "Retry:" 0

Далі вказуємо, чи потрібно проганяти, через уже налаштований нами фільтр, проксі перед чеком "Filter proxies in the Proxy Filter Tab before Check"

Показати час відгуку "Show response time"

Proxyfire

Тут є одна хитра кнопка на панелі "SOCKS4 / 5" натиснувши на неї, відкриються 2 текстових файли з розділеними Socks4 і Soсks5 проксі

Proxyfire

Вкладка: Proxylist

Якщо ваш комп'ютер випадково вимкнутися, вам потрібно зайти сюди, щоб забрати проксі, які ви сканували або шукали.

Proxyfire