eMule源代碼解析 -2 2006-10-16 17:4

1分塊機制--正確傳輸資源的保證 為了加快內容分發的速度，分塊處理是一種簡單有效的方法。emule中對每個文件都進行了分塊處理。另外分塊還有一個好處就是如果保留了每一分塊的hash值，就能在只下載到文件的一部分時判斷出下載內容的有效性。

emule在獲取每個共享文件的信息時，就對它進行了分塊處理，因此如果要知道emule中的分塊處理和恢復機制，看CKnownFile::CreateFromFile函數的實現就行了。 

這個函數中牽涉到的和分塊處理以及hash計算相關的類都在SHAHashSet.cpp和SHAHashSet.h中。

下面介紹其中幾個主要的類：

 CAICHHash類只負責一塊hash值，提供兩個CAICHHash類之間的直接賦值，比較等基本操作。CAICHHashAlgo是一個hash算法的通用的接口，其它hash算法只要實現這種接口都能使用，這樣，可以很方便得使用不同的hash算法來計算hash值。CAICHHashTree則是一個樹狀的hash值組織方式，它有一個左子樹和右子樹成員變量，類型是指向CAICHHashTree的指針，這是一個典型的實現樹狀結構的方法。CAICHHashSet中包含了一個CAICHHashTree類型的變量，它直接向CKnownFile負責，代表的是一個文件的分塊信息。 SHAHashSet.h文件的開始的注釋部分向我們解釋了它的分塊的方式。這里要用到兩個常量9728000和184320，它們分別是9500k和180k。這是emule中兩種不同粒度的分塊方式，即首先把一個很大的文件分割成若干個9500k的塊，把這些塊組織成一顆樹狀的結構，然后每一個這樣的塊又分解成若干個180k的塊(52塊，再加一個140k的塊)，仍然按照樹狀的結構組織起來。最后總的結構還是一顆樹。 CKnownFile::CreateFromFile方法是在讀取目標文件的內容時，逐步建立起這樣一顆樹的。CAICHHashTree::FindHash能夠根據讀取到的目標文件的偏移量和下一塊的大小，來找出對應的樹枝節點(就是一個指向CAICHHashTree的指針)。如果有必要的話，還會自動創建這些樹枝節點。因此在進行分塊操作的時候，把文件從頭到尾讀一邊，整個CAICHHashTree就建立起來了，對應的分塊hash值也賦值好了。

最后我們還需要注意的就是CKnownFile類中的hashlist變量。就是說它還單獨保留直接以9728000字節為單位的所有分塊的MD4算法的hash值。這樣對于一個文件就有了兩套分塊驗證的機制，能夠適應不同場合 網絡基礎設施--網絡基礎設施的基礎設施 MFC中已經有一些網絡基礎設施類，如CAsyncSocket等。但是emule在設計中，為了能夠更加高效得開發網絡相關的代碼，構建了另外的一些類作為基礎設施，這些基礎設施類的代碼也有很高的復用價值。

 首先是CAsyncSocketEx類。AsyncSocketEx.h中對這個類的特點已經給出了一定的說明。它完全兼容CAsyncSocket類，即把應用程序中所以的CAsyncSocket換成CAsyncSocketEx，程序仍然能夠和原來的功能相同，因此在使用上更加方便。但是在這個基礎上，它的效率更高，主要是在消息分發機制上，即它處理和SOCKET相關的消息的效率要比原始的MFC的CAsyncSocket類更高。

另外，CAsyncSocketEx類支持通過實現CAsyncSocketExLayer類的方式，將一個SOCKET分成若干個層，從而可以很方便得實現許多網絡功能，如設置代理，或者是使用SSL進行加密等。 

另外還有ThrottledSocket.h中定義的ThrottledControlSocket類和ThrottledFileSocket類，這兩個類只定義了兩個接口。任何其它的網絡套接字類如果想實現限速的功能，只需要在其默認的發送函數(如Send或Sendto)中不發送數據而是把數據緩存起來，然后在實現ThrottledControlSocket或者ThrottledFileSocket接口中的SendFileAndControlData或SendControlData方法時才真正把數據發送出去，這樣就能實現上傳限速，而這也是需要UploadBandwidthThrottler類進行配合，UploadBandwidthThrottler是一個WinThread的子類，平時單獨運行一個線程。下一次會詳細描述它是如何控制全局的上傳速度的。 網絡基礎設施--全局限速器UploadBandwidthThrottler UploadBandwidthThrottler是emule中使用的全局的上傳限速器。它繼承了CWinThread類，且在該類被創建的時候，就新創建一個線程開始單獨運行。在該類被析構時也會自動停止相應的線程。這個線程的目標函數就是RunProc，然后為了避免在RunProc函數不能使用this指針的情況，它使用了RunInternal來實際完成工作線程的工作。在emule中，還有另外一個類LastCommonRouteFinder有類似的結構。 UploadBandwidthThrottler中保存了若干的套接字(Socket)隊列，這些隊列的處理方式略有不同。在標準隊列(m_StandardOrder_list)里面排隊的都是實現了ThrottledFileSocket接口的類，通常這些類能夠傳輸文件內容也可以傳輸控制信息。

而其它四個隊列都是實現ThrottledControlSocket接口的類的隊列，在這些隊列中的類主要以傳輸控制信息為主。

這四個隊列為臨時高優先級，臨時普通優先級，正式高優先級，正式普通優先級。和把套件字直接添加到普通隊列(AddToStandardList)不同，

QueueForSendingControlPacket把要添加到隊列的套接字全部添加到兩個臨時隊列。根據它們的優先級添加到普通的臨時隊列。在RunInternal的大循環中，臨時隊列中的項目先被移到普通隊列中，然后再進行處理。 

UploadBandwidthThrottler使用了兩個臨界區，兩個事件。pauseEvent是用來暫停整個大循環的動作的。而threadEndedEvent是標志整個線程停止的事件。sendLocker是大循環中使用的主要的臨界區，而tempQueueLocker是為兩個臨時隊列額外添加的鎖，這樣可以一邊發送已有隊列中的套界字要發送的數據，一邊把新的套接字加到隊列中。 

UploadBandwidthThrottler的RunInternal中的大循環是該工作線程的日常操作。這個大循環中做了以下事情，計算本次配額，即本次循環中能夠發送多少字節，好安排調度，計算本次循環應該睡眠多少時間，然后進行相應的睡眠，從而進行限速。操作控制信息隊列，發送該隊列中的數據，注意，控制隊列中的套接字(m_ControlQueueFirst_list和m_ControlQueue_list)只使用一次就離開隊列。而標準隊列中的套接字不會這樣。在一輪循環結束后，如果還有沒有用完的發送數據的配額，則會有部分配額保存到下一輪。 網絡基礎設施--emule套接字CEMSocket CEMSocket是CAsyncSocketEx和ThrottledFileSocket的子類，它把若干功能整合到了一起，因此可以作為emule使用起來比較方便的套接字。例如它可以很方便得指定代理，把CAsyncSocketEx中的創建一個新的代理層并且添加到列表中的功能對外屏蔽了。另外它可以分出狀態，如當前是否在發送控制信息等。

 CEMSocket中我們需要仔細考察的是它的SendControlData和SendFileAndControlData方法。如前所述，這些方法是用來和UploadBandwidthThrottler進行配合，以便完成全局的限速功能的。它的功能應該是按照UploadBandwidthThrottler的要求，在本次輪到它發送數據時發送指定數量的字節數。因此，應用程序的其它部分在使用CEMSocket時，如果要達到上傳數據限速的目的，不應該直接調用標準的Send或者SendTo方法，而是調用SendPacket。這里就有了另外一個結構Packet，它通常包含一個emule協議中完整的包，例如有協議的頭部數據等，還內置了PackPacket和UnPackPacket方法，可以自行進行壓縮和解壓的功能。SendPacket把要發送的Packet放到自己的隊列中，這個隊列也有兩個，控制信息包隊列，和標準信息包隊列。如果有必要，把自己加入到UploadBandwidthThrottler的隊列中。 我們注意到CEMSocket的SendControlData和SendFileAndControlData方法其實都是調用自己的另一個重載的Send方法。而且我們也已經知道這個方法是在UploadBandwidthThrottler的工作線程中的大循環中被調用的，而這個Send方法的內容本身也是一個大循環，但是意義很明了，就是在不超過自己本次發送的配額的情況下，把自己的包隊列中的包取出來，并且發出去。同樣，這里也用到了一個臨界區，它是為了保證從包隊列中取出包來發送和把包往隊列中放的操作是互斥的。因此，如果把它和UploadBandwidthThrottler結合起來，我們就看到了一個兩層的隊列，即所有的套接字組成了一個發送隊列，在UploadBandwidthThrottler的控制下保證了對速度的限制，而每個套接字即將發送的數據包又組成了一個隊列，保證了每次進行數據發送的時候都會滿足UploadBandwidthThrottler的要求。