系分論文9

論改進(jìn)Web服務(wù)器性能的有關(guān)技本——論文2：數(shù)字圖書館類的應(yīng)用

【摘要】

    一個(gè)大中型的圖書館信息系統(tǒng)涉及到許多方面的技術(shù)與方案，本文著重討論與Web服務(wù)器性能有關(guān)的一些內(nèi)容。

    本人有幸作為項(xiàng)目負(fù)責(zé)人之一參與了某大型圖書館數(shù)字化信息系統(tǒng)的設(shè)計(jì)和基于Web應(yīng)用軟件的開發(fā)工作。由于在數(shù)字化圖書館信息系統(tǒng)中流通著的大多是數(shù)字化的索引、文摘、全文、圖像或音頻視頻等多媒體信息，對(duì)Web服務(wù)器性能有著較高的要求。

    結(jié)合實(shí)際工程的經(jīng)驗(yàn)，本文將從硬件實(shí)現(xiàn)手段（緩存服務(wù)器、均衡負(fù)載設(shè)備、Web雙機(jī)鏡像、CPU和網(wǎng)卡的提升、網(wǎng)絡(luò)帶寬擴(kuò)充）和軟件實(shí)現(xiàn)手段（三層C/S軟件結(jié)構(gòu)設(shè)計(jì)、應(yīng)用程序部署）等兩個(gè)大方面論述如何提高Web服務(wù)器的性能，以便使用戶能夠更快捷、高效、安全地使用應(yīng)用系統(tǒng)。

【正文】

    隨著Intranet信息技術(shù)的發(fā)展，圖書館為了更好地發(fā)揮其圖書流通、資料檢索和學(xué)術(shù)交流的職能，圖書館的數(shù)字信息化工程也勢(shì)在必行。某圖書館為了盡快地步入世界先進(jìn)圖書館的行列，已經(jīng)啟動(dòng)了一部分的數(shù)字圖書館工程。

    該數(shù)字圖書館工程主要包括對(duì)外信息Web發(fā)布系統(tǒng)，交互式檢索網(wǎng)、后臺(tái)館藏信息管理系統(tǒng)、多媒體資料采集制作以及VOD點(diǎn)播系統(tǒng)等。本人有幸作為項(xiàng)目負(fù)責(zé)人之一，參與了整個(gè)數(shù)字化信息系統(tǒng)的總體設(shè)計(jì)，并參與了基于Web的一些應(yīng)用（如對(duì)外信息發(fā)布系統(tǒng)、圖像/全文混合檢索系統(tǒng)、VOD點(diǎn)播系統(tǒng)）的開發(fā)。

    某圖書館數(shù)字化信息系統(tǒng)從網(wǎng)絡(luò)環(huán)境上講，主要?jiǎng)澐譃槎鄠�(gè)網(wǎng)段：（一）Intranet接入部分，采用2M的DDN專線；（二）公共網(wǎng)段（非軍事區(qū)），主要包括前臺(tái)發(fā)布數(shù)據(jù)庫(kù)服務(wù)器、Web服務(wù)器、E-Mail/FTP/DNS服務(wù)器、檢索服務(wù)器及SAN網(wǎng)絡(luò)區(qū)域存儲(chǔ)設(shè)備；（三）是內(nèi)部局域網(wǎng)，包括內(nèi)網(wǎng)Web服務(wù)器、后臺(tái)館藏?cái)?shù)據(jù)庫(kù)服務(wù)器、OA服務(wù)器等。（四）是VOD點(diǎn)播專用網(wǎng)，包括音頻視頻點(diǎn)播服務(wù)器等。由于制定了嚴(yán)格的網(wǎng)絡(luò)級(jí)和應(yīng)用級(jí)訪問(wèn)權(quán)限，通過(guò)具有三層交換能力的高性能交換機(jī)和安全授權(quán)認(rèn)證系統(tǒng)等，有效地控制了防問(wèn)權(quán)限，確保了數(shù)據(jù)的安全性和完整性�？紤]到經(jīng)費(fèi)和人員素質(zhì)及今后的維護(hù)管理運(yùn)營(yíng)等方面，操作系統(tǒng)采用Windows NT平臺(tái)，服務(wù)器選用DELL高端的系列，數(shù)據(jù)庫(kù)采用IBM的DB2。主干網(wǎng)為千兆快速交換式以太網(wǎng)，局域網(wǎng)百兆到桌面，VOD點(diǎn)播網(wǎng)十兆到桌面。

    在該網(wǎng)絡(luò)環(huán)境下應(yīng)用主要分為三大部分：（一）對(duì)外Web發(fā)布系統(tǒng)、對(duì)外圖書輔助檢索系統(tǒng)；（二）后臺(tái)館藏信息管理系統(tǒng)和圖像/全文混合檢索系統(tǒng)；（三）VOD點(diǎn)播系統(tǒng)。由于絕大部分應(yīng)用采用Browser/Server方式結(jié)構(gòu)，最終用戶在本地只需安裝IE或者Netscape Web瀏覽器，在后臺(tái)數(shù)據(jù)庫(kù)服務(wù)器的支持下通過(guò)網(wǎng)頁(yè)方式請(qǐng)求和訪問(wèn)各類應(yīng)用服務(wù)。另外，由于在圖書館信息系統(tǒng)中流通的多為索引、摘要、全文或音頻視頻等多媒體信息，對(duì)Web服務(wù)器性能與網(wǎng)絡(luò)帶寬等都有更高的要求。

    通過(guò)不斷地試驗(yàn)和實(shí)踐，我們發(fā)現(xiàn)從以下幾個(gè)方面可以相對(duì)有效地提升Web服務(wù)器性能；

   （1）緩存服務(wù)器和均衡負(fù)載設(shè)備使用可以緩解訪問(wèn)瓶頸，提高網(wǎng)絡(luò)帶寬、實(shí)現(xiàn)均衡負(fù)載。

    緩存服務(wù)器也稱為cache服務(wù)器，可以存儲(chǔ)cache靜態(tài)的內(nèi)容如網(wǎng)頁(yè)、多媒體點(diǎn)播資源和會(huì)議實(shí)況（已壓縮的、有一定格式要求的）等。此外，目前美國(guó)cashflow緩存服務(wù)器，已經(jīng)可以存儲(chǔ)cache數(shù)據(jù)庫(kù)、ASP等動(dòng)態(tài)內(nèi)容。cache服務(wù)器通常放到防火墻之外，外網(wǎng)Web服務(wù)器之前，因此Internet用戶點(diǎn)擊網(wǎng)頁(yè)不再直接訪問(wèn)網(wǎng)站W(wǎng)eb服務(wù)器，而是訪問(wèn)cache服務(wù)器。

    由于cache服務(wù)器具有多個(gè)CPU和高速大容量I/O通道，獨(dú)立的OS，因此能大大緩解Internet訪問(wèn)瓶頸，而且也具有一定的抗黑客攻擊的能力。

    目前某圖書館采用這種方式，把大數(shù)據(jù)量的靜態(tài)圖片、點(diǎn)播資源、虛擬三維應(yīng)用等都事先置放在cache服務(wù)器中，即使現(xiàn)今只有2M Internet的接入帶寬，以上應(yīng)用的播放速度和效果仍能讓用戶滿意。

    另外一種方式采用均衡負(fù)載設(shè)備或Web雙機(jī)鏡像。這種方式通過(guò)負(fù)載均衡的方法達(dá)到 Web訪問(wèn)性能最優(yōu)。Web雙機(jī)鏡像是較早以前流行的方式，雖能使系統(tǒng)可靠性提升，但由于雙機(jī)總是在互相詢問(wèn)對(duì)方狀態(tài)，將會(huì)影響一定的訪問(wèn)性能。均衡負(fù)載設(shè)備是獨(dú)立于Web服務(wù)器的硬件，它和Web服務(wù)器及網(wǎng)站中其他服務(wù)器接在同一交換機(jī)上，通過(guò)負(fù)載調(diào)度程序?yàn)楦鱾�(gè)服務(wù)器分配工作量，從而，能達(dá)到充分利用資源，提高訪問(wèn)性能的目的。只是由于某圖書館目前對(duì)外發(fā)布資源相對(duì)仍較少，只采用了三臺(tái)Web服務(wù)器，因此目前的均衡負(fù)載設(shè)備作用還不顯著。

   （2）從Web服務(wù)器的配置來(lái)看Web服務(wù)器自身CPU個(gè)數(shù)及速度、網(wǎng)卡數(shù)量、Web服務(wù)器與防火墻的位置關(guān)系等，都會(huì)影響到Web服務(wù)器的性能。

    從Web服務(wù)器硬件本身來(lái)講，CPU個(gè)數(shù)的增加、網(wǎng)卡個(gè)數(shù)的增加、I/O信道的擴(kuò)展無(wú)疑可以直接地提高Web服務(wù)器性能。此外，由于千兆口的防火墻目前較少且費(fèi)用較高，如果把Web服務(wù)器放置防火墻之后，一定會(huì)大大影響Internet訪問(wèn)性能。某圖書館采用IDS（入侵偵測(cè)）+Web服務(wù)器（服務(wù)器防火墻，較低端，不會(huì)影響流量）+應(yīng)用服務(wù)器+數(shù)據(jù)庫(kù)服務(wù)器（防火墻，高端），分層次的安全模式，既保證了系統(tǒng)的安全性，又提升了
網(wǎng)絡(luò)訪問(wèn)性能。

    另外，某圖書館還采用了SAN網(wǎng)絡(luò)區(qū)域存儲(chǔ)來(lái)提高服務(wù)器訪問(wèn)速度。

   （3）三層C/S軟件結(jié)構(gòu)設(shè)計(jì)和應(yīng)用程序的適當(dāng)部署也會(huì)提高Web服務(wù)器的性能。

    將業(yè)務(wù)邏輯、通用訪問(wèn)接口與數(shù)據(jù)等相互分離、分別置放于Web服務(wù)器、應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器上，通過(guò)程序功能和邏輯的合理部署，也能大大改進(jìn)Web服務(wù)器性能。

    一般的原則是，Web服務(wù)器只需接受Internet http訪問(wèn)請(qǐng)求，使Web只有最少的任務(wù)，把實(shí)際處理交給各個(gè)應(yīng)用服務(wù)器處理，然后返回結(jié)果給Browser。某圖書館采用這種方式專門開發(fā)了搜索引擎應(yīng)用服務(wù)器和混合檢索應(yīng)用服務(wù)器等，達(dá)到了良好的應(yīng)用效果。

    事實(shí)上，Web服務(wù)器的性能提升還存在很多手段和方法，比如CPU與存儲(chǔ)之間關(guān)系，Web交換機(jī)等等，有待于我們進(jìn)一步的實(shí)踐、分析和討論。（本文主要參考了上海童茵等人的論文）
評(píng)注：主題鮮明，條理也較分明。但所討論的技術(shù)應(yīng)更有機(jī)地結(jié)合于項(xiàng)目的實(shí)例。

系分論文10

論實(shí)時(shí)控制系統(tǒng)與企業(yè)信息系統(tǒng)的集成——論文1：通信業(yè)應(yīng)用

【摘要】

    近年來(lái)，在應(yīng)用需求的強(qiáng)大驅(qū)動(dòng)下，我國(guó)通信業(yè)有了長(zhǎng)足的進(jìn)步。現(xiàn)有通信行業(yè)中的許多企業(yè)單位，如電信公司或移動(dòng)集團(tuán)，其信息系統(tǒng)的主要特征之一是對(duì)線路的實(shí)時(shí)監(jiān)控要求很高，數(shù)據(jù)量龐大，如何將實(shí)時(shí)控制與信息系統(tǒng)集成在一起便成為系統(tǒng)實(shí)施的一個(gè)關(guān)鍵部分。

    在參與了某個(gè)通信公司的一套網(wǎng)管系統(tǒng)以及決策支持系統(tǒng)的設(shè)計(jì)后，我們分析了兩者的集成與應(yīng)用工作，深切地感受到有一個(gè)良好的設(shè)計(jì)策略以及重視所選用的工具是一個(gè)關(guān)鍵。這個(gè)項(xiàng)目主要是對(duì)下屬各分站的子網(wǎng)以及有關(guān)鏈路的連通情況進(jìn)行實(shí)時(shí)監(jiān)控、實(shí)現(xiàn)報(bào)警、路由控制和授權(quán)等功能，其關(guān)鍵在于提供一個(gè)實(shí)時(shí)顯示情況的地圖界面，井將數(shù)據(jù)匯總和組織，建立起數(shù)據(jù)倉(cāng)庫(kù)以及進(jìn)一步實(shí)施數(shù)據(jù)挖掘分析，從而能支持企業(yè)的決策分析。我作為設(shè)計(jì)人員之一，著重在本文中討論控制系統(tǒng)與信息系統(tǒng)集成時(shí)的策略。

【正文】

    眾所周知，通信行業(yè)需要有一整套監(jiān)控通信網(wǎng)絡(luò)的手段，其工作特點(diǎn)是涉及到的各分站與基站的在地理位置L的分布性，更加需要有在更高一級(jí)提供檢測(cè)不同分站鏈接情況的手段。一般來(lái)講，由于數(shù)據(jù)都是海量的，所以，如何將整個(gè)網(wǎng)絡(luò)系統(tǒng)所得的數(shù)據(jù)及時(shí)處理，以便和決策部門的分析相結(jié)合，也成為迫切需要解決的重要課題。簡(jiǎn)言之，分布性、實(shí)時(shí)性以及數(shù)據(jù)海量性是解決整個(gè)系統(tǒng)設(shè)計(jì)和集成的核心問(wèn)題。

    首先，讓我們來(lái)討論一下“網(wǎng)管監(jiān)控系統(tǒng)”。由于我參與設(shè)計(jì)與開發(fā)的這個(gè)系統(tǒng)并不是位于基層的分站，其定位在將下屬各分站的主機(jī)通信數(shù)據(jù)（包括數(shù)據(jù)流量、鏈路負(fù)荷、通往其他結(jié)點(diǎn)即主機(jī)的連通情況等）加以收集，所以對(duì)于具體通信事務(wù)的底層操作要求并不很高。

    考慮到上述原因，我們采用了一個(gè)地理信息系統(tǒng)開發(fā)平臺(tái)Mapinfo并采用Delphi編程，后臺(tái)用SQL Server數(shù)據(jù)庫(kù)（這是由于考慮到?jīng)Q策所需要用到的是Microsoft公司的OLAP Service）。在分析和計(jì)劃之前，我們先對(duì)ITU801標(biāo)準(zhǔn)做了詳細(xì)的探討，這只是一個(gè)有關(guān)子網(wǎng)和鏈路定義以及分層等描述的標(biāo)準(zhǔn)，在聽取了許多分站人員的建議后，將MAPINFO公司提供的一個(gè)相關(guān)的MAP X的Active X控件嵌入到Delphi程序中，利用MAP X中提供的豐富的類以及操作，比如Object、Layer等實(shí)現(xiàn)網(wǎng)管界面，井且加入了子網(wǎng)和鏈路的概念，對(duì)屬下的分站可以隨意地組合成為不同子網(wǎng)，而且實(shí)現(xiàn)了放大與縮小的功能，大致可以將整個(gè)地區(qū)的分站集中在一張地圖中，能顯示在屏幕上，這時(shí)，只是顯示出各個(gè)分站的概要，小到可以顯示出某臺(tái)主機(jī)的機(jī)柜、機(jī)柜直到插件板（因?yàn)檫@些都要實(shí)時(shí)監(jiān)控）。我們采用了分層的方法來(lái)實(shí)現(xiàn)以上縮放。對(duì)于一些靜態(tài)的數(shù)據(jù)，如分站，主機(jī)的位置等則先用Mapinfo公司提供的一套編制地理信息的工具（MAP X是其提供給編程工具的一個(gè)Active X控件）做成靜態(tài)的層次圖放置于數(shù)據(jù)庫(kù)中。

    我們新做成的這套系統(tǒng)通過(guò)與各分站的專用線路加以連接，能實(shí)時(shí)地得到數(shù)據(jù)，顯示于地圖上，反映出各站、各子網(wǎng)、各鏈路的實(shí)時(shí)狀態(tài)，并能將控制命令傳回分站（如強(qiáng)制鏈路中斷、路由轉(zhuǎn)換等）。

    現(xiàn)在，讓我們來(lái)討論其中最為關(guān)鍵的問(wèn)題，即是要將實(shí)時(shí)控制系統(tǒng)與企業(yè)信息系統(tǒng)加以集成，我們的設(shè)想和體系結(jié)構(gòu)大體上可以用一張簡(jiǎn)圖表示（此處暫略）。

    在這個(gè)體系結(jié)構(gòu)中，由各分站保留著詳細(xì)的數(shù)據(jù)，網(wǎng)管系統(tǒng)則在一定時(shí)間間隔內(nèi)將匯總到的數(shù)據(jù)作少量統(tǒng)計(jì)，抽取其中需要保存的內(nèi)容放入數(shù)據(jù)庫(kù)，如每分鐘流量，某分站與其他分站每分鐘通信流量，在該分站中某個(gè)鏈路的負(fù)荷（這些鏈路有可能是動(dòng)態(tài)分配的，也可能是固定分站之間的通信鏈路）。盡管如此，數(shù)據(jù)仍然是海量的，因此，如果要把這些數(shù)據(jù)都直接送到各個(gè)決策部門，比如送給市場(chǎng)部門是不現(xiàn)實(shí)的。所以，我們?cè)跀?shù)據(jù)庫(kù)的基礎(chǔ)上建立了數(shù)據(jù)倉(cāng)庫(kù)，確定了客戶、時(shí)間、通信量、計(jì)費(fèi)和故障等幾個(gè)數(shù)據(jù)倉(cāng)庫(kù)的主題，每隔一定時(shí)間對(duì)數(shù)據(jù)庫(kù)中的原始數(shù)據(jù)進(jìn)行清理與抽取等預(yù)處理工作，建立好數(shù)據(jù)倉(cāng)庫(kù)。這里的預(yù)處理包括了許多方面的內(nèi)容，比如有建立計(jì)算時(shí)間，但是無(wú)計(jì)費(fèi)的（計(jì)費(fèi)值為零）的數(shù)據(jù)，應(yīng)視為建立失敗的無(wú)效數(shù)據(jù)，需要予以剔除；某些企業(yè)租用的是專用線路按月計(jì)費(fèi)，中間的通信因此無(wú)計(jì)費(fèi)的一些有關(guān)記錄也應(yīng)剔除等。

    在預(yù)處理之后，再利用OLAP Service的分析將數(shù)據(jù)融合與匯總。按照決策部門的需要提供相應(yīng)數(shù)據(jù)（比如：市場(chǎng)部門需要每一分站的收益，客戶分布情況以及客戶費(fèi)用等）。這些都可以由OLAP Service對(duì)數(shù)據(jù)作預(yù)先處理，此時(shí)處理完的數(shù)據(jù)在邏輯上是以立方體（CUBE）形式存在的，其占用的存儲(chǔ)空間便能顯著地降低，如1999年8月有2000萬(wàn)條通訊記錄，即使形成作為備份的文本都需要4G空間，經(jīng)過(guò)OLAP Service處理后僅需200M左右空間，因此，經(jīng)處理后的數(shù)據(jù)主要存放于另外的相關(guān)部門的機(jī)器中，而不能與主服務(wù)器放在一起。

    最后，再來(lái)討論由決策人員所使用的系統(tǒng)。由于這些部門并不分散，我們就沒(méi)有采用OLAP Servce的Web發(fā)布方案。采用Delphi編制了訪問(wèn)OLAP Service的客戶端軟件，用了OLAP Service提供的、Cube Browser控件，用相似于網(wǎng)頁(yè)的界面提供了數(shù)據(jù)立方體的各種操作，如上鉆（觀察角度從月轉(zhuǎn)到季度甚至年），切片，旋轉(zhuǎn)等操作。為了便于輸出打印數(shù)據(jù)，還內(nèi)嵌了Microsoft的Excel數(shù)據(jù)透視表，可以將在Cube Browser上所看到的數(shù)據(jù)轉(zhuǎn)化為Excel的表格形式，或者轉(zhuǎn)換成餅形圖、柱形圖和曲線圖等，比如可以觀察每天24小時(shí)通信流量的分布曲線圖，可以發(fā)現(xiàn)在夜間12點(diǎn)以后明顯通信流量減少，而決策部門便可制定某些優(yōu)惠或減價(jià)措施吸引更多客戶在12點(diǎn)之后使用網(wǎng)絡(luò)。

    另外，在采用OLAP Service中的數(shù)據(jù)挖掘功能時(shí)，其中提供的兩類算法分別是基于決策樹的分類和基于決策樹的聚類，市場(chǎng)部門的聚類算法將客戶根據(jù)費(fèi)用情況加以聚集，以期發(fā)現(xiàn)處于同一消費(fèi)水平的客戶的共同特征，便于制定政策，吸引客戶。這方面的努力我們將會(huì)進(jìn)一步持續(xù)進(jìn)行，以保證有足夠的海量數(shù)據(jù)而發(fā)現(xiàn)其中的規(guī)律。

    整個(gè)系統(tǒng)運(yùn)行后，其數(shù)據(jù)采集，數(shù)據(jù)處理等一系列工作都由程序定期地自動(dòng)進(jìn)行，該系統(tǒng)應(yīng)用已有一段時(shí)間，受到了不少好評(píng)。當(dāng)然，也發(fā)現(xiàn)了其中有不少問(wèn)題，比如；主服務(wù)器數(shù)據(jù)庫(kù)的容量問(wèn)題，主站與分站的通信效率問(wèn)題，還有在網(wǎng)管系統(tǒng)中，網(wǎng)絡(luò)故障的確定還不夠細(xì)致，需要由分站再具體化加以確定，決策系統(tǒng)與網(wǎng)管系統(tǒng)之間還缺少直接通信手段等，這些都有待于進(jìn)一步的解決與改進(jìn)。

    實(shí)時(shí)控制系統(tǒng)與企業(yè)信息系統(tǒng)集成化是推動(dòng)從事生產(chǎn)制造、測(cè)量與監(jiān)控等業(yè)務(wù)的企事業(yè)單位真正邁向信息化，提高工作效率的一個(gè)重要?jiǎng)恿�。如果是大型企業(yè)，更需要有一整套的系統(tǒng)，支持Web發(fā)布，智能查詢，自動(dòng)識(shí)別如用于故障預(yù)測(cè)和數(shù)據(jù)挖掘等技術(shù)，從而能夠?qū)⒌讓拥膶?shí)時(shí)監(jiān)控與高層的決策更好地集成在一起。展望其前景，無(wú)疑是十分美好的，但是我們認(rèn)為相應(yīng)的工作量很大，在技術(shù)上仍然需要有所提高和有所突破。

評(píng)注：能緊扣集成的主題，結(jié)合實(shí)際作了較有深度的論述。所討論的數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)技術(shù)符合企業(yè)信息化的方向。對(duì)遇到的問(wèn)題的舉例剖析還不夠，實(shí)時(shí)控制方面的論述也可更細(xì)化一些說(shuō)明。（本文主要參考了廣東林嘉宜等人的論文）