首页  编辑  

数据压缩传输

Tags: /超级猛料/Web.互联网开发技术/   Date Created:

数据压缩传输

一直用SocketConnection和服务端的传输数据在三层数据库中,从来没有注意到它们之间的数据传输,只是想着,管它了,网络的事,前段时间在Delphi中的Demos中发现Demos\Midas\Intrcpt.dpr例子,呵呵,再看了半天的VCL发现可以将Client端发送的给Server的数据,和Server发送给Client的数据是可以进行压缩的。呵呵,不敢藏私,Share给大家。

1:

准备工作,先delphi光盘中的\info\extras\zlib\zlib.pas进行编绎,然后copy 到lib路径中,因为要压缩数据,必须要有压缩功能,这个delphi已经自带,它是基于流的方式对接口IDataBlock(TDataBlock实现,其实就是对TMemoryStream的操作)数据进行压缩和解压的。做了这个后,才能进行下面的工作。

2:

Open \Demos\Midas\Intrcpt\Intrcpt.dpr

complier....(如没有做第一步,嘿嘿...)

生成Intrcpt.dll

将Intrcpt.dll copy to System directory,或者你的程序下面。

注册它:regsrvr32 Intrcpt.dll (为什么,这个嘛...)

记住Intrcpt.dpr的那个GUID,你也可以自己重新生成一个(按Shift+Ctrl+G)

3:

Server:

Open scktsrvr.exe,相信各位都很熟悉那界面,端口(TListbox),Thread Cache Size(TEdit), GUID(TEdit),好,我们要做的事,就是将注册的Intrcpt.dll那个GUID填到这个GUID(TEdit)框框中,

只需填自己程序的的那个端口的GUID啊,别乱填,如果有别人用这个程序,出了什么,别找我。OK,Apply.

Client:

你写的程序中肯定有TSocketConnection,它有个属性InterceptGUID: string;好了,将Intrcpt.dll的GUID填上去,它是跟Server中的一样的。OK.还有别忘了,Regsrvr32 intrcpt.dll 在你的客户端。不然,程序虽不会raise,但是Server传过来的数据是压缩的....  

好了,呵呵。就这些了。3步骤,很清楚吧(不会吧,还不懂,倒)

原理

scktsrvr.exe其实是一堆TServerSocket,一个端口代表了一个TServerSocket,每个TServerSocket是基于多线程方式与客户端进行数据交换。它写了个TServerClientThread(在服务端中的客户端)的扩展

,多加了对客户端数据接收的管理解析,还有ActivityDateTime,GUID,一般不管它。但是我们用到的压缩只是跟这个GUID有关,其它费话少说。

Server接受一个Client连接,则加一个TServerClientThread到本地中,用来监控Client Read 和Close事件,所以Server中的scktsrvr中我们只要了解了TServerClientThread动作方式就行了。

(

题外话:Server Socket中有客户端连接后,记录ClientSocket.Handle,并且将根据这个Handle产生一个TServerClientWinSocket对象加入到Connections(TList)对象中,当任何对这个Client的动作也就是说Server 发送和接收数据都是根据这个Client Handle来进行的,相应的ServerSocket中的Connections中的ClientSocket也发生相应的变化。

)

有两个类跟这个TServerClientThread(实现ISendDataBlock接口)有关

1: TDataBlockInterpreter(对发送过来的数据进行解析InterpretData(Data: IDataBlock))

 解析数据(水平有限,对它真是还是一知半解,有错请指出)

   接口类IDataBlock,由TDataBlock通过TMemoryStream的读写来实现,其中Signature是其主要标识,说明这个IDataBlock的数据类型    ,TDataBlockInterpreter根据Signature来对应进行相应的调用,  如:

   Client端连接后,在Server要运行应用服务器(Application Server),

   Client端需要得到ServerName 列表,

   Client端得到Server 的DataBroker的列表,

   Client端断开连接后,Server要Close应用服务器(Application Server),

   Client和Server的数据交换,也是由它来解析。

所以这个IDataBlock的数据很重要,而我们的压缩和解压就是针对于它,但是TDataBlockInterpreter是得到Data才对它解析,因而我们要在Send 和Recv 之前对它解压和压缩。这个任务在TSocketTransport身上。    

2: TSocketTransport;(数据进行发送和接收, 实现ITransport接口)

 Server端:

   在Server端,TSocketTransport其实就是一个用来管理对ClientSocket实例,它将ClientSocket.Handle生成一个对象后,ClientSocket发送和接收过来的Data,在发送Data之前,它将调用InterceptOutgoing(Data: IDataBlock)函数,这个函数的功能是:

如果InterceptGUID <> '',那么它将根据这个GUID生成一个COM(Obj)对象,Obj.DataOut(Data: IDataBlock),也就是我们注册的那个压缩的DLL中的那个压缩函数,将压缩过后的Data再发送出去。这就完成compress and send Data.(我试过那个压缩功能,压缩比大概是1/9,像zip压缩比差不多).

由客户端传过来的数据调用InterceptIncoming(Data: IDataBlock)函数,这就不多说了,Data := 解压后的Data.  压缩和解压过后的Data交由TDataBlockInterpreter去解析,完成一次数据交换。  

 Client端:

   说完Server端,客户端的道理也是差不多的。唯一不同的是Server端中不调用ITransport.SetConnected()方法,因为它是根据ClientSocket.Handle生成的对象,也就是它是已经连接的对象,而Client端的TSocktConnection调用Connected := True时,其实就是调用ITransport.SetConnect将一个ClientSocket连接到Server端中的TServerSocket中,然后TServerSocket根据这个ClientSocket.Handle生成了一个TServerClientThread对象保存在本地中,开始对这个ClientSocket的监控(FD_Read, FD_Close消息事件).

注:

 IDataBlock由TDataBlock实现,主要是管理TMemoryStream来存放数据

 ITransport由TSocketTransport实现,主要是用TClientSocket来连接TServerSocket,并和它进行交换数据。

 ISendDataBlock在Scktsrvr.exe中由TServerClientThread实现,通过TSocketTransport来发送数据.

说了这么多,想必各们很明白了吧。:)

各位还可以扩展一下,对压缩之外,还可以对这个流(Data:IDataBlock)进行加密,那更过瘾,如果实现了,多谢告诉我一声

mail:copy_paste@21cn.com