//================================================================================
// CLASS   : Extract
// FUNCTION: 提取網(wǎng)頁內(nèi)容，去除html標簽。
// AUTHOR  : 2006-05-21 Created by navy
// REFER   : 輸入文件名（*.htm/html）
// NOTE    : Extract.h , interface for the Extract class.
//================================================================================

#if !defined(AFX_EXTRACT_H__48E70F2B_E88D_451C_8A7E_0B2342370622__INCLUDED_)
#define AFX_EXTRACT_H__48E70F2B_E88D_451C_8A7E_0B2342370622__INCLUDED_

#if _MSC_VER > 1000
#pragma once
#endif // _MSC_VER > 1000
/********************************************************************************/
//用戶配置文件 0:否；1:是
#define STR_USEFUL "<TITLE>,<TR>,<TD>,<P>,<BR>,<DIV>"
#define STR_A       0          //是否刪除<A></A>及其之間的內(nèi)容［a<A>b</A>c變?yōu)閍c］

#define STR_SPACE   0          //是否刪除所有空格
#define STR_REPLACE_VERTICAL 1 //是否將|替換成空格
#define STR_TI_CAPITAL   1     //是否要將小寫(title)變?yōu)榇髮?TITLE)
#define STR_TR_CAPITAL   1     //是否要將小寫(tr)變?yōu)榇髮?TR)
#define STR_TD_CAPITAL   1     //是否要將小寫(td)變?yōu)榇髮?TD)
#define STR_P_CAPITAL    1     //是否要將小寫(p)變?yōu)榇髮?P)
#define STR_BR_CAPITAL   1     //是否要將小寫(br)變?yōu)榇髮?BR)
#define STR_DI_CAPITAL   1     //是否要將小寫(div)變?yōu)榇髮?DIV)
#define STR_A_CAPITAL    1     //是否要將小寫(a)變?yōu)榇髮?A)
#define STR_XML_CAPITAL  1     //是否要將小寫(xml)變?yōu)榇髮?XML)  注：一般為小寫
/********************************************************************************/
#include "io.h"
#include "iostream"
#include "fstream"
#include "string"
#include "vector"
using namespace std;

class Extract  
{
public:
	Extract();
	void funProcessFile(string strFileName);
	//strDirSour:源目錄、strDirDest:目標目錄、strExteName:擴展名
	void funProcessDirectory(string strDirSour,string strDirDest,string strExteName);
	virtual ~Extract();

private:
	void funProcess(string filename);
	void funResult(string strResult);
	void funOutput(char* filename);
	void funReplace(string& strLine,string strOld,string strNew);
	void funConvCapital(string& strLine);
	void funPreProcess(string& strLine);
	//funCountSymbol函數(shù)：返回位置i,j間的symbol個數(shù)。
	int  funCountSymbol(string strResult,int i,int j,string symbol);
	void funDelete(string& strResult,string separator);
	void funDelete2(string& strResult,string separator,int nPos);
	void funKeepListLabel(string& strResult,int nPosOld);
	void funDestFilename(const char* filename,char* sResultFile);
	//void funReplace(string& strLine,string strOld,string strNew);
	void funReplace(wstring& strLine,wstring strOld,wstring strNew); //處理寬字符
	void funDelSideSpace(string& strLine);
	void funDelBegAnd(string& strResult,int nPos);   //去除以&開頭以;結(jié)束的字符串
	void funDelUselessLink(string& strResult);       //刪除無用鏈接


private:
	vector<string> vecTmp;    // store sentences 
	vector<string> vecResult; //存放結(jié)果，一個向量中存一行。
	string strUseful;	
	string strDirSource;
	string strDirDestination;
};

#endif // !defined(AFX_EXTRACT_H__48E70F2B_E88D_451C_8A7E_0B2342370622__INCLUDED_)