断点续传和多线程下载编程
断点续传和多线程下载编程
5、功能模块的调用 这些模块的调用可以安排在线程对象的Execute方法中，如下所示：void __fastcall THttpGetThread::Execute(){ FrepeatCount=5; for(int i=0;i<FRepeatCount;i++) { StartHttpGet(); GetWEBFileSize(); DoHttpGet(); EndHttpGet(); if(FSuccess)break; } // 发出下载完成事件 if(FSuccess)DoOnComplete(); else DoOnError();} 这里执行了一个循环，即如果产生了错误自动重新进行下载，实际编程中，重复次数可以作为参数自行设置。实现断点续传功能 在基本下载的代码上实现断点续传功能并不是很复杂，主要的问题有两点：1、 检查本地的下载信息，确定已经下载的字节数。所以应该对打开输出文件的函数作适当修改。我们可以建立一个辅助文件保存下载的信息，如已经下载的字节数等。我处理得较为简单，先检查输出文件是否存在，如果存在，再得到其大小，并以此作为已经下载的部分。由于Windows没有直接取得文件大小的API，我编写了GetFileSize函数用于取得文件大小。注意，与前面相同的代码被省略了。DWORD THttpGetThread::OpenOutFile(void){ …… if(FileExists(FOutFileName)) { DWORD dwCount=GetFileSize(FOutFileName); if(dwCount>0) { iFileHandle=FileOpen(FOutFileName,fmOpenWrite); FileSeek(iFileHandle,0,2); // 移动文件指针到末尾 if(iFileHandle==-1) throw(Exception("Error：FileCreate")); DoOnStatusText("ok:OpenFile"); return dwCount; } DeleteFile(FOutFileName); } ……}2、 在开始下载文件（即执行InternetReadFile函数）之前，先调整WEB上的文件指针。这就要求WEB服务器支持随机读取文件的操作，有些服务器对此作了限制，所以应该判断这种可能性。对DoHttpGet模块的修改如下，同样省略了相同的代码：void THttpGetThread::DoHttpGet(void){ DWORD dwCount=OpenOutFile(); if(dwCount>0) // 调整文件指针 { dwStart = dwStart + dwCount; if(!SetFilePointer()) // 服务器不支持操作 { // 清除输出文件 FileSeek(iFileHandle,0,0); // 移动文件指针到头部 } } ……}多线程下载 要实现多线程下载，最主要的问题是下载线程的创建和管理，已经下载完成后文件的各个部分的准确合并，同时，下载线程也要作必要的修改。1、下载线程的修改 为了适应多线程程序，我在下载线程加入如下成员变量：int FIndex; // 在线程数组中的索引DWORD dwStart; // 下载开始的位置DWORD dwTotal; // 需要下载的字节数DWORD FGetBytes; // 下载的总字节数 并加入如下属性值：__property AnsiString URL = { read=FURL, write=FURL };__property AnsiString OutFileName = { read=FOutFileName, write=FOutFileName};__property bool Successed = { read=FSuccess};__property int Index = { read=FIndex, write=FIndex};__property DWORD StartPostion = { read=dwStart, write=dwStart};__property DWORD GetBytes = { read=dwTotal, write=dwTotal};__property TOnHttpCompelete OnComplete = { read=FOnComplete, write=FOnComplete }; 同时，在下载过程DoHttpGet中增加如下处理，void THttpGetThread::DoHttpGet(void){ …… try { …… while(true) { Application->ProcessMessages(); // 修正需要下载的字节数，使得dwRequest + dwCount <dwTotal; if(dwTotal>0) // dwTotal=0表示下载到文件结束 { if(dwRequest+dwCount>dwTotal) dwRequest=dwTotal-dwCount; } …… if(dwTotal>0) // dwTotal <=0表示下载到文件结束 { if(dwCount>=dwTotal)break; } } } …… if(dwCount==dwTotal)FSuccess=true;}2、建立多线程下载组件 我先建立了以TComponent为基类、名为THttpGetEx的组件模块，并增加以下成员变量：// 内部变量THttpGetThread **HttpThreads; // 保存建立的线程AnsiString *OutTmpFiles; // 保存结果文件各个部分的临时文件bool *FSuccesss; // 保存各个线程的下载结果// 以下是属性变量int FHttpThreadCount; // 使用的线程个数AnsiString FURL;AnsiString FOutFileName; 各个变量的用途都如代码注释，其中的FSuccess的作用比较特别，下文会再加以详细解释。因为线程的运行具有不可逆性，而组件可能会连续地下载不同的文件，所以下载线程只能动态创建，使用后随即销毁。创建线程的模块如下，其中GetSystemTemp函数取得系统的临时文件夹，OnThreadComplete是线程下载完成后的事件，其代码在其后介绍：// 分配资源void THttpGetEx::AssignResource(void){ FSuccesss=new bool[FHttpThreadCount]; for(int i=0;i<FHttpThreadCount;i++) FSuccesss[i]=false; OutTmpFiles = new AnsiString[FHttpThreadCount]; AnsiString ShortName=ExtractFileName(FOutFileName); AnsiString Path=GetSystemTemp(); for(int i=0;i<FHttpThreadCount;i++) OutTmpFiles[i]=Path+ShortName+"-"+IntToStr(i)+".hpt"; HttpThreads = new THttpGetThread *[FHttpThreadCount];}// 创建一个下载线程THttpGetThread * THttpGetEx::CreateHttpThread(void){ THttpGetThread *HttpThread=new THttpGetThread(this); HttpThread->URL=FURL; …… // 初始化事件 HttpThread->OnComplete=OnThreadComplete; // 线程下载完成事件 return HttpThread;}// 创建下载线程数组void THttpGetEx::CreateHttpThreads(void){ AssignResource(); // 取得文件大小，以决定各个线程下载的起始位置 THttpGetThread *HttpThread=CreateHttpThread(); HttpThreads[FHttpThreadCount-1]=HttpThread; int FileSize=HttpThread->GetWEBFileSize(); // 把文件分成FHttpThreadCount块 int AvgSize=FileSize/FHttpThreadCount; int *Starts= new int[FHttpThreadCount]; int *Bytes = new int[FHttpThreadCount]; for(int i=0;i<FHttpThreadCount;i++) { Starts[i]=i*AvgSize; Bytes[i] =AvgSize; } // 修正最后一块的大小 Bytes[FHttpThreadCount-1]=AvgSize+(FileSize-AvgSize*FHttpThreadCount); // 检查服务器是否支持断点续传 HttpThread->StartPostion=Starts[FHttpThreadCount-1]; HttpThread->GetBytes=Bytes[FHttpThreadCount-1]; bool CanMulti=HttpThread->SetFilePointer(); if(CanMulti==false) // 不支持，直接下载 { FHttpThreadCount=1; HttpThread->StartPostion=0; HttpThread->GetBytes=FileSize; HttpThread->Index=0; HttpThread->OutFileName=OutTmpFiles[0]; }else { HttpThread->OutFileName=OutTmpFiles[FHttpThreadCount-1]; HttpThread->Index=FHttpThreadCount-1; // 支持断点续传，建立多个线程 for(int i=0;i<FHttpThreadCount-1;i++) { HttpThread=CreateHttpThread(); HttpThread->StartPostion=Starts[i]; HttpThread->GetBytes=Bytes[i]; HttpThread->OutFileName=OutTmpFiles[i]; HttpThread->Index=i; HttpThreads[i]=HttpThread; } } // 删除临时变量 delete Starts; delete Bytes;} 下载文件的下载的函数如下：void __fastcall THttpGetEx::DownLoadFile(void){ CreateHttpThreads(); THttpGetThread *HttpThread; for(int i=0;i<FHttpThreadCount;i++) { HttpThread=HttpThreads[i]; HttpThread->Resume(); }} 线程下载完成后，会发出OnThreadComplete事件，在这个事件中判断是否所有下载线程都已经完成，如果是，则合并文件的各个部分。应该注意，这里有一个线程同步的问题，否则几个线程同时产生这个事件时，会互相冲突，结果也会混乱。同步的方法很多，我的方法是创建线程互斥对象。 const char *MutexToThread="http-get-thread-mutex";void __fastcall THttpGetEx::OnThreadComplete(TObject *Sender, int Index){ // 创建互斥对象 HANDLE hMutex= CreateMutex(NULL,FALSE,MutexToThread); DWORD Err=GetLastError(); if(Err==ERROR_ALREADY_EXISTS) // 已经存在,等待 { WaitForSingleObject(hMutex,INFINITE);//8000L); hMutex= CreateMutex(NULL,FALSE,MutexToThread); } // 当一个线程结束时，检查是否全部认为完成 FSuccesss[Index]=true; bool S=true; for(int i=0;i<FHttpThreadCount;i++) { S = S && FSuccesss[i]; } ReleaseMutex(hMutex); if(S)// 下载完成，合并文件的各个部分 { // 1. 复制第一部分 CopyFile(OutTmpFiles[0].c_str(),FOutFileName.c_str(),false); // 添加其他部分 int hD=FileOpen(FOutFileName,fmOpenWrite); FileSeek(hD,0,2); // 移动文件指针到末尾 if(hD==-1) { DoOnError(); return; } const int BufSize=1024*4; char Buf[BufSize+4]; int Reads; for(int i=1;i<FHttpThreadCount;i++) { int hS=FileOpen(OutTmpFiles[i],fmOpenRead); // 复制数据 Reads=FileRead(hS,(void *)Buf,BufSize); while(Reads>0) { FileWrite(hD,(void *)Buf,Reads); Reads=FileRead(hS,(void *)Buf,BufSize); } FileClose(hS); } FileClose(hD); }}?
1 楼 enefry 2010-12-25 咕~~(╯﹏╰)b