?? htmlparser.cpp
字號:
// HtmlParser.cpp: implementation of the CHtmlParser class.
//
//////////////////////////////////////////////////////////////////////
#include "stdafx.h"
#include "image.h"
#include "HtmlParser.h"
#include <afxinet.h>
#ifdef _DEBUG
#undef THIS_FILE
static char THIS_FILE[]=__FILE__;
#define new DEBUG_NEW
#endif
/*
const int g_nValidFiles=9;
static char * g_aszValidFiles[g_nValidFiles]=
{
".htm",
".html",
".shtm",
".htms",
".shtml",
".aspx",
".jsp",
".php",
".jhtml",
};
*/
const int g_nValidFiles=1;
static char * g_aszValidFiles[g_nValidFiles]=
{
".swf",
};
const int g_nValidImages=6;
static char *g_aszValidImages[g_nValidImages]=
{
".gif",
".jpg",
".jpeg",
".bmp",
".pnp",
".tiff",
};
//////////////////////////////////////////////////////////////////////
// Construction/Destruction
//////////////////////////////////////////////////////////////////////
CHtmlParser::CHtmlParser(Option &option,int unlikelevel)
{
m_image_type=option.image_type;
m_max_length=option.max_length;
m_max_width=option.max_width;
m_min_length=option.min_length;
m_min_width=option.min_width;
m_unlike_level=unlikelevel;
m_exclusive_level=option.exclusive_level;
m_site_maxlevel=option.max_level;//本變量用來記住本網站要下載的最大層的層數
//i=0;
}
CHtmlParser::~CHtmlParser()
{
}
bool CHtmlParser::FindToken(const char *pTokens, const char *pBuffer, int &nIndex, int nMaxLen)
{
int nTokenCount=strlen(pTokens);
bool bQuote=false;
//while we haven't run out of buffer space...
while(nIndex<nMaxLen)
{
for(int i=0;i<nTokenCount;i++)
{
if(pBuffer[nIndex]==pTokens[i])
return (true);
}
nIndex++;
}
return false;
}
void CHtmlParser::ParseText(char *pBuffer, int nMaxLen)
{
int nIndex=0;
//Initialize some work flags
//m_strTag.Empty();
//m_arrparapair.RemoveAll();
while(nIndex < nMaxLen)
{
if(GetTag(pBuffer,nIndex,nMaxLen))
{
ProcessTag();
}
}
}
//最后nIndex的值為指向pTerminals的索引，這和原來的定義有差別
CString CHtmlParser::GetString(const char *pTerminals, const char *pBuffer, int &nIndex, int nMaxLen)
{
int nOldIndex=nIndex;
CString strText;
//跳過前面的空格
while(nIndex<nMaxLen && pBuffer[nIndex]==' ')
nIndex++;
//查詢pTerminals指向的字符
if(FindToken(pTerminals,pBuffer,nIndex,nMaxLen))
{
/*下面的內容為我自己加的原來的代碼為
* nIndex++;
* strText=nBuffer+nOldIndex;
* strText=strText.left(nIndex-nOldIndex-1);
*/
strncpy(strText.GetBuffer(nIndex-nOldIndex),pBuffer+nOldIndex,nIndex-nOldIndex);
strText.ReleaseBuffer();
}
return strText;
}
//是否完整，以后再說
bool CHtmlParser::WantTag()
{
if(m_strTag=="frame"||m_strTag=="a"||m_strTag=="area"||
m_strTag=="img"||m_strTag=="body"||m_strTag=="embed"||m_strTag=="input"
||m_strTag=="param")
return true;
return false;
}
bool CHtmlParser::GetTag(const char *pBuffer, int &nIndex, int nMaxLen)
{
m_strTag.Empty();//要放此次分析得到tag
m_arrparapair.RemoveAll();//此數組要放tag對應的屬性和屬性對應的值
//找到tag的起始點
if(FindToken("<",pBuffer,nIndex,nMaxLen))
{
//現在把nIndex指向tag?
int nStart=++nIndex;//+1;
//nIndex++;
//判斷是否是一個有效的tag
if(pBuffer[nIndex]==' '||pBuffer[nIndex]=='>'||pBuffer[nIndex]=='!')
return false;
//找到tag的結束位置
if(FindToken(">",pBuffer,nIndex,nMaxLen))
{
//取得tag的值 only the tag ,not the parameter and value such as
//<a href="http://www.china.com">
m_strTag=GetString(" >\r\n",pBuffer,nStart,nIndex+1);
m_strTag.MakeLower();
//CString script;
//bool noFind=true;
//if(m_strTag=="script")
//{
// while(noFind)
// {
// FindToken("<",pBuffer,nStart,nMaxLen);
// nStart++;
// if(nStart>=nMaxLen)
// break;
// _tcsncpy(script.GetBuffer(8),pBuffer+nStart,7);
// script.ReleaseBuffer();
// if(script=="/script")
// noFind=false;
// }
// nStart+=7;
//處理script內容
// nIndex=nStart;
//}
//else
if(WantTag())
{
GetParaPair(pBuffer,nStart,nIndex+1);
return true;
}
}
}
return false;
}
bool CHtmlParser::ProcessTag()
{
CString strText;
CString temp;
int ii;
int level;
//需要加入input 類型對于像www.eluxury.com類型的網站
if(m_strTag=="frame" ||m_strTag=="a"||m_strTag=="area"||m_strTag=="input")
{
for(int i=0;i<m_arrparapair.GetSize();i++)
{
strText=m_arrparapair[i].GetPara();
/*
*我們感興趣的有onclick=""之類的東西
*
*/
level=m_nLevel;
CString substr;
if(strText=="onclick")
{
strText=m_arrparapair[i].GetValue();
substr=strText.Left(11);
substr.MakeLower();
if(substr=="window.open")
{
//處理相http://wwww.shoebuy.com一類的網站
int begin=strText.Find('(');
if(begin!=-1)
substr=strText.Mid(begin+1);
else
substr=strText.Mid(11);
substr.TrimLeft();
if(substr.Left(1)=="\"")
substr=substr.SpanExcluding("\"");
else if(substr.Left(1)=="'")
substr=substr.SpanExcluding("'");
else
substr=substr.SpanExcluding(" ,");
//現在str為window.open的第一個參數也既是url
MakeQualifiedUrl(substr,level);
if(level>0)
{
URL_LEVEL url_level;
url_level.m_url=substr;
url_level.level=level;
m_url_level.Add(url_level);
}
}
else if(substr=="javascript:"){
//留下來供將來擴充
}
}
else if(strText=="href")
{
//定做要在本段中進行大量的改造,需要留下擴充的接口
strText=m_arrparapair[i].GetValue().SpanExcluding("?;");
strText.MakeLower();
if(strText.Left(11)=="javascript:")
{
//定做主要在本部分完成而且要返回
substr=strText.Mid(11);
//CString temp=substr.Left(
if(substr.Left(5)=="popup")
{
//本部分要處理的網站是www.zappos.com
CString url,tmp;
substr=substr.SpanExcluding(")");
int index=substr.Find("(",0);
substr=substr.Mid(index+1);
//url是PopUp的第一個參數
url=substr.SpanExcluding(",");
index=substr.Find(",");
substr=substr.Mid(index+1);
//現在tmp是PopUp的第二個參數
tmp=substr.SpanExcluding(",");
tmp.MakeLower();
index=tmp.Find("large",0);
//如果不含large則不是我們感興趣的東西退出
if(index==-1)
return true;
tmp=tmp.SpanExcluding("l");
for(index=0;index<url.GetLength();index++)
if(url[index]=='\\'||url[index]=='\'')
url.SetAt(index,' ');
//現在url是已經提取的第一個參數
url.TrimLeft();
url.TrimRight();
for(index=0;index<tmp.GetLength();index++)
if(tmp[index]=='\\'||tmp[index]=='\'')
tmp.SetAt(index,' ');
//現在tmp是我們需要的第二個參數
tmp.TrimLeft();
tmp.TrimRight();
//url是我們要求的超鏈
substr=url+"?product_id="+tmp+"&color_id=";
MakeQualifiedUrl(substr,level);
if(level>0)
{
URL_LEVEL url_level;
url_level.m_url=substr;
url_level.level=level;
m_url_level.Add(url_level);
}
}else if(substr.Left(11)=="executelink")//現在要處理的網站是www.coldwatercreek.com
{
strText=m_arrparapair[i].GetValue();
int ss=strText.Find(',');
if(ss!=-1)
{
strText=strText.Mid(ss+1);
strText=strText.SpanExcluding(")");
for(ss=0;ss<strText.GetLength();ss++)
if((strText[ss]=='\'')||(strText[ss]=='"'))
strText.SetAt(ss,' ');
strText.TrimLeft();
strText.TrimRight();
if(strText.Find("productlist")==-1)
{
substr=strText.Mid(15);
substr="/aspx/product.aspx"+substr;
}
else
substr="/"+strText;
MakeQualifiedUrl(substr,level);
if(level>0)
{
URL_LEVEL url_level;
url_level.m_url=substr;
url_level.level=level;
m_url_level.Add(url_level);
}
}//end if(ss!=-1)
}//end else if(substr.Left(11)=="executelink")
continue;
}//end if(strText.Left(11)=="javascript:")//下面判斷是否是郵件的鏈接如果是簡單的返回true
else if(strText.Left(7)=="mailto:")
continue;
//此鏈接為指向本頁面內的一個鏈接ignore it
else if(strText.Left(1)=="#")
continue;
else if(WantFileType(strText))
{
//下面被我修改看是否可以實現本網站的下載
strText=m_arrparapair[i].GetValue();
MakeQualifiedUrl(strText,level);
if(level>0)
?? 快捷鍵說明
復制代碼
Ctrl + C
搜索代碼
Ctrl + F
全屏模式
F11
切換主題
Ctrl + Shift + D
顯示快捷鍵
?
增大字號
Ctrl + =
減小字號
Ctrl + -