?? 各種代理綜述.txt
字號:
1、HTTP代理
HTTP代理可以把我們的HTTP請求通過HTTP代理服務器轉發(fā)到我們要訪問的HTTP服務器,再把結果返回給我們,以達到代理的目的。但其功能單一,只能實現(xiàn)HTTP的代理,具體可以查看RFC 2068、2616等相關RFC文檔。
正常情況下,我們請求HTTP服務是這樣的:首先和目的服務器的HTTP服務端口建立TCP連接,然后做類似“GET /index.html HTTP/1.0”的請求,HTTP服務器返回結果。當通過HTTP代理的時候是這樣工作的:首先和HTTP代理服務器的服務端口建立TCP連接,然后做類似“GET http://目標服務器地址/index.htm HTTP/1.0”的請求,代理服務器對你的目標服務器做請求后返回結果給你。
相關的代碼在網上很容易可以找到,這里就不列舉了。
2、socks代理
socks是一個簡單靈活的協(xié)議框架,包括4和5兩個版本,sock5是由IETF核準的基于TCP/IP協(xié)議的基本應用程序代理協(xié)議,socks由兩個部分組成,服務端和客戶端。具體信息可以查看RFC 1928相關文檔,在網上也可以搜索到許多基于socks5的開源項目,對照RFC文檔,你可以了解這個協(xié)議的使用。
『以下信息來直接摘自互聯(lián)網』
sock5代理客戶端的工作程序是:
1.客戶端向代理方服務器發(fā)出請求信息。
2.代理方服務器應答
3.客戶端接到應答后發(fā)送向代理方服務器發(fā)送目的ip和端口
4.代理方服務器與目的連接
5.代理方服務器將客戶端發(fā)出的信息傳到目的方,將目的方發(fā)出的信息傳到客戶端。代理完成。
由于網上的信息傳輸基本上都是運用tcp或udp進行的,所以使用socks5代理可以辦到網上所能辦到的一切,而且不用擔心目的方會查到你的ip,既安全又方便。
如何用代理TCP協(xié)議:
1.向服務器的1080端口建立tcp連接。
2.向服務器發(fā)送 05 01 00 (此為16進制碼,以下同)
3.如果接到 05 00 則是可以代理
4.發(fā)送 05 01 00 01 + 目的地址(4字節(jié)) + 目的端口(2字節(jié)),目的地址和端口都是16進制碼(不是字符串)。 例202.103.190.27 - 7201 則發(fā)送的信息為:05 01 00 01 CA 67 BE 1B 1C 21 (CA=202 67=103 BE=190 1B=27 1C21=7201)
5.接受服務器返回的自身地址和端口,連接完成
6.以后操作和直接與目的方進行TCP連接相同。
如何用代理UDP連接
1.向服務器的1080端口建立udp連接
2.向服務器發(fā)送 05 01 00
3.如果接到 05 00 則是可以代理
4.發(fā)送 05 03 00 01 00 00 00 00 + 本地UDP端口(2字節(jié))
5.服務器返回 05 00 00 01 +服務器地址+端口
6.需要申請方發(fā)送 00 00 00 01 +目的地址IP(4字節(jié))+目的端口 +所要發(fā)送的信息
7.當有數(shù)據(jù)報返回時 向需要代理方發(fā)出00 00 00 01 +來源地址IP(4字節(jié))+來源端口 +接受的信息
注:此為不需要密碼的代理協(xié)議,只是socks5的一部分,完整協(xié)議請看RFC1928
在網絡程序設計過程中,我們經常要與各種類型的代理服務器打交道,比如在企業(yè)內部網通過代理去訪問Internet網上的服務器等等,一般代理服務器支持幾種常見的代理協(xié)議標準,如Socks4,Socks5,Http代理,其中Socks5需要用戶驗證,代理相對復雜。我在查閱RFC文檔和相關資料后,特總結一些TCP協(xié)議穿透代理服務器的程序片斷,希望對大家有所幫助。
//使用到的結構
struct sock4req1
{
char VN;
char CD;
unsigned short Port;
unsigned long IPAddr;
char other[1];
};
struct sock4ans1
{
char VN;
char CD;
};
struct sock5req1
{
char Ver;
char nMethods;
char Methods[255];
};
struct sock5ans1
{
char Ver;
char Method;
};
struct sock5req2
{
char Ver;
char Cmd;
char Rsv;
char Atyp;
char other[1];
};
struct sock5ans2
{
char Ver;
char Rep;
char Rsv;
char Atyp;
char other[1];
};
struct authreq
{
char Ver;
char Ulen;
char Name[255];
char PLen;
char Pass[255];
};
struct authans
{
char Ver;
char Status;
};
//通過Socks4方式代理
if( !ClientSock.Connect( g_ProxyInfo.m_strProxyIP,g_ProxyInfo.m_nProxyPort) )
{
m_sError = _T("不能連接到代理服務器!");
ClientSock.Close();
return FALSE;
}
char buff[100];
memset(buff,0,100);
struct sock4req1 *m_proxyreq;
m_proxyreq = (struct sock4req1 *)buff;
m_proxyreq->VN = 4;
m_proxyreq->CD = 1;
m_proxyreq->Port = ntohs(GetPort());
m_proxyreq->IPAddr = inet_addr(GetServerHostName());
ClientSock.Send(buff,9);
struct sock4ans1 *m_proxyans;
m_proxyans = (struct sock4ans1 *)buff;
memset(buff,0,100);
ClientSock.Receive(buff,100);
if(m_proxyans->VN != 0 || m_proxyans->CD != 90)
{
m_sError = _T("通過代理連接主站不成功!");
ClientSock.Close();
return FALSE;
}
//通過Socks5方式代理
if( !ClientSock.Connect( g_ProxyInfo.m_strProxyIP,g_ProxyInfo.m_nProxyPort) )
{
m_sError = _T("不能連接到代理服務器!");
ClientSock.Close();
return FALSE;
}
char buff[600];
struct sock5req1 *m_proxyreq1;
m_proxyreq1 = (struct sock5req1 *)buff;
m_proxyreq1->Ver = 5;
m_proxyreq1->nMethods = 2;
m_proxyreq1->Methods[0] = 0;
m_proxyreq1->Methods[1] = 2;
ClientSock.Send(buff,4);
struct sock5ans1 *m_proxyans1;
m_proxyans1 = (struct sock5ans1 *)buff;
memset(buff,0,600);
ClientSock.Receive(buff,600);
if(m_proxyans1->Ver != 5 || (m_proxyans1->Method!=0 && m_proxyans1->Method!=2))
{
m_sError = _T("通過代理連接主站不成功!");
ClientSock.Close();
return FALSE;
}
if(m_proxyans1->Method == 2)
{
int nUserLen = strlen(g_ProxyInfo.m_strProxyUser);
int nPassLen = strlen(g_ProxyInfo.m_strProxyPass);
struct authreq *m_authreq;
m_authreq = (struct authreq *)buff;
m_authreq->Ver = 1;
m_authreq->Ulen = nUserLen;
strcpy(m_authreq->Name,g_ProxyInfo.m_strProxyUser);
m_authreq->PLen = nPassLen;
strcpy(m_authreq->Pass,g_ProxyInfo.m_strProxyPass);
ClientSock.Send(buff,513);
struct authans *m_authans;
m_authans = (struct authans *)buff;
memset(buff,0,600);
ClientSock.Receive(buff,600);
if(m_authans->Ver != 1 || m_authans->Status != 0)
{
m_sError = _T("代理服務器用戶驗證不成功!");
ClientSock.Close();
return FALSE;
}
}
struct sock5req2 *m_proxyreq2;
m_proxyreq2 = (struct sock5req2 *)buff;
m_proxyreq2->Ver = 5;
m_proxyreq2->Cmd = 1;
m_proxyreq2->Rsv = 0;
m_proxyreq2->Atyp = 1;
unsigned long tmpLong = inet_addr(GetServerHostName());
unsigned short port = ntohs(GetPort());
memcpy(m_proxyreq2->other,&tmpLong,4);
memcpy(m_proxyreq2->other+4,&port,2);
ClientSock.Send(buff,sizeof(struct sock5req2)+5);
struct sock5ans2 *m_proxyans2;
memset(buff,0,600);
m_proxyans2 = (struct sock5ans2 *)buff;
ClientSock.Receive(buff,600);
if(m_proxyans2->Ver != 5 || m_proxyans2->Rep != 0)
{
m_sError = _T("通過代理連接主站不成功!");
ClientSock.Close();
return FALSE;
}
//通過HTTP方式代理
if( !ClientSock.Connect( g_ProxyInfo.m_strProxyIP,g_ProxyInfo.m_nProxyPort) )
{
m_sError = _T("不能連接到代理服務器!");
ClientSock.Close();
return FALSE;
}
char buff[600];
sprintf( buff, "%s%s:%d%s","CONNECT ",GetServerHostName(),GetPort()," HTTP/1.1\r\nUser-Agent: MyApp/0.1\r\n\r\n");
ClientSock.Send(buff,strlen(buff)); //發(fā)送請求
memset(buff,0,600);
ClientSock.Receive(buff,600);
if(strstr(buff, "HTTP/1.0 200 Connection established") == NULL) //連接不成功
{
m_sError = _T("通過代理連接主站不成功!");
ClientSock.Close();
return FALSE;
}
我們一般先與代理服務器連通,然后向代理服務器發(fā)送代理驗證的用戶名和密碼(如果需要,如Socks5代理),驗證成功后,再向代理服務器發(fā)送需要連接的目的地址和端口。以上代碼僅用于TCP連接,如果在內部網偵聽或通過UDP協(xié)議發(fā)送信息,可查閱RFC1928等文檔資料。
3、加密代理
這個嗎啥都可以代理,而且是加密的,安全的,常用openssl來架設加密代理服務器,你可以去http://www.openssl.org(這是一個開源的項目)去了解詳細信息,就不要自己編寫了,工程太大,用現(xiàn)成的就好了。 ^_^
/////////////////////////////////////////////////////////////////////////////////////////////////////
1,先從PORTMAP說起。
所謂端口映射舉通俗的例子來說就是說把自己計算機上的某個端口A上
輸入輸出的所有信息都傳到別的計算機或別的端口B上去,就好象從插座
A那里接過來一個電源插板.此時你訪問A其實就相當于訪問B,就好象直
接插在插座上和插在連接在插座上的插板上效果一樣.
實驗1:
隨便裝個端口映射軟件例如porttunnel或wingate等設置一個端口映射
.
一般至少包括三個設置"本地端口","遠程IP","遠程端口",或許還有其
他的例如ip范圍控制,速度限制等.高級的軟件還有專門針對ftp或是http
協(xié)議的智能選項這些等一下再說.
在這里設置本地端口為23,遠程ip為202.112.58.200,遠程端口為23,然
后telnet你的ip就可以連上smth.
2,功能強大的socks代理。
socks代理是nec公司開發(fā)的一套firewall系統(tǒng)并免費提供透明代理的客
戶端.socks代理目前有三版SOCKS4/SOCKS4A/SOCKS5.SOCKS4 SOCKS4A只
支持tcp,后者比前者多了身份驗證的功能, SOCKS5比前兩個多了支持udp
的功能.
工作的原理是這樣的.使用socks代理的client先連接scocks代理,告訴
代理要連接到的目的ip和port,socks代理就把目的ip的port像1所說的
那樣映射到自己.從此以后你對socks代理發(fā)送和接受的所有信息都被如
實地傳給你的目的ip和端口.
NEC公司提供了透明代理客戶端.包括sockscape和eborder.使用他們以
后就會使任何程序通過socks代理而對這些程序來說就好象沒有通過代
理一樣.sockscape是hook API,eborder大概是通過在tcpip上再加一層
協(xié)議來實現(xiàn)的.
socks代理的最大特點是支持bind命令,這個是專門針對port模式的ftp
的.
實驗2:
用flashfxp或flashget通過socks代理去連接一個ftp并注意看連接信息
.重點注意下pasv和port模式下的區(qū)別.
3,捉襟見肘的HTTP1.0代理.
簡單得說HTTP協(xié)議是這樣的:
client對WEB Server的80端口發(fā)送一個字符串 GET /index.htm
WEBServer就讀/index.html并傳給Client.
簡單得說HTTP代理的協(xié)議是這樣的:
client對HTTP代理的8080端口發(fā)送一個字符串 GET http://smth.org/
index.htm
HTTP代理就讀http://smth.org/index.htm并傳給Client.
所以client并沒有直接去連目的,只是讓代理去讀一個文件自己再讀代
理上的這個文件.于是代理就可以cache這個文件等下次別人來讀一樣的
地址的時候就把上次得到的文件傳給他只需要發(fā)送一個modify的命令去
問一下是否改變就可以了.
mfc的api讀本地文件和遠程http或ftp上的文件都用一樣的函數(shù),所以用
mfc寫一個http代理并不是一件難事.只要寫一個filter的ISAPI的dll就
可以把iis設置成代理.
在linux下,可以修改apache設置使他不拒絕形如http://????的請求,于
是就成了一個代理.
實驗3:
telnet webserverip 80
然后輸入 GET / 兩個回車
看得到的信息。
telnet 代理ip 端口
然后輸入 GET http://smth.org/ 兩個回車
看得到的信息。
4,相當于一半socks代理的HTTP1.1代理.
由于上面的原因HTTP1.1代理擴展了以下特征:
i,CONNECT這個是為ssl準備的.同socks代理的connect特征.支持這個命
令的代理一般只限制目的端口為443,所以并不是所有的SSL代理都可以
用來ftp或SOCKS2HTTP。socks2http就是利用這個特征.proxyexpert的
socks2http功能也是這個原理。所以所有的socks2http頂多可以執(zhí)行connect
命令不可能支持udp或bind命令,從這個意義上來說http代理轉socks4
代理是部分可行的,轉socks5就是吹牛了,不過是用了socks5的標志字
節(jié)而已其實支持不了socks5比socks4多出來的功能。
ii,keepalive,在對代理發(fā)送這個命令以后,代理在傳完一個文件以后不
斷開繼續(xù)傳第二個文件.斷開由另外一些長度參數(shù)控制.當有大量小圖片
的時候例如163的主頁這個命令就要起作用了.如果修改ie的設置為http1
.0代理然后通過proxyexpert的代理調度去看163的主頁總會有少量的圖
片不能顯示就是因為對這個命令支持不好。proxyhunter和multiproxy
也有這個問題。幸好ie的默認屬性是通過http1.0代理,所以一般人是
不會發(fā)現(xiàn)的。wingate和squid就支持得很好我正在研究中......
實驗4:
把flashfxp里設置http代理或socks代理為127.0.0.1:2003仔細觀察flashfxp
的信息和mtserver的日志。
5,代理調度
所謂代理調度莫過于兩種:一種是不斷修改internet設置例如proxyfox
,這種方法適用范圍窄。另一種是根據(jù)目的ip構造不斷變化的portmap
把自己的某個端口映射到某個最快的代理或是直接連接。proxyexpert
proxyhunter multiproxy都是這個做的。由于每種代理都有自己特定
的標志,所以可以用一個端口進行所有類型代理的調度,識別一下標志
然后switch一下就可以了。multiproxy比較傻只會傻乎乎做portmap所
以multiproxy完全可以當成一個portmap軟件使用而其他兩個則需要對
協(xié)議進行分析所以不能這么用。
實驗5:
仔細觀察MTServer的日志。
6,代理驗證
說白了就是通過這個代理去連接某個url看是不是能把文件下回來。所
以能寫出調度程序的人一定能寫出驗證程序反之則不然。
實驗6:
啟動proxyexpert用proxyhunter等驗證代理127.0.0.1:2003注意觀察MTServer
的日志。
7,代理搜索
根據(jù)本人的大量統(tǒng)計表明在國外網站公布的代理(國際上使用的代理)
中cernet的代理只占3%弱,所以我們搜索代理是很艱巨的任務。一般來
說有過代理的網段再出現(xiàn)代理的幾率要比從來沒有出現(xiàn)過代理的網段大
很多。所以搜索代理要將策略,先大概統(tǒng)計一下以前出現(xiàn)過的代理的密
度(這里的密度并不是指次數(shù)是指代 理個數(shù)/C類)規(guī)律在密度最大的
地方搜。我很少搜代理只是偶爾檢驗一下自己的理論是不是對,經過長
期的試驗,這個理論是沒有錯的。
實驗7:
用proxyhunter搜一下你現(xiàn)在正在使用的代理的c類,看他同c類的是不
是還有。
?? 快捷鍵說明
復制代碼
Ctrl + C
搜索代碼
Ctrl + F
全屏模式
F11
切換主題
Ctrl + Shift + D
顯示快捷鍵
?
增大字號
Ctrl + =
減小字號
Ctrl + -