摘 要

摘　要：目前油氣管道SCADA系統運行過程中，中心SCADA系統和場站通信設備的通訊中斷，會造成中斷期間的數據丟失，影響油氣管道的安全生產運行。為此，提出了一種數據回填技術，給出了包

摘　要：目前油氣管道SCADA系統運行過程中，中心SCADA系統和場站通信設備的通訊中斷，會造成中斷期間的數據丟失，影響油氣管道的安全生產運行。為此，提出了一種數據回填技術，給出了包括場站通信設備存儲通訊中斷期間數據、數據回填通訊、回填數據處理、回填數據存儲等環(huán)節(jié)的數據回填技術的總體結構，分析了回填數據通信、回填數據時標處理、回填數據處理、回填數據應用等功能技術要求，并最終形成了數據回填通信設計方案，包括完整的服務端和客戶端的功能設計、實現方法、交互流程以及擴展的通信協議報文，可以高效地實現回填數據的通信功能。實驗驗證結果表明：數據回填技術可以實現場站通信設備向中心SCADA系統的數據回填功能，能夠滿足系統的數據回填需求。結論認為：包含場站通信設備存儲通信中斷期間數據、數據回填通信、回填數據處理、回填數據存儲等環(huán)節(jié)的數據回填技術，解決了因通訊中斷而導致的數據完整性和連續(xù)性問題，提高了SCADA系統數據的完整性和系統的可用性。

關鍵詞：數據回填  時標處理  數據通信  SCADA系統  油氣管道

A data back filling technology in an oil and gas pipeline SCADA system

Abstract：During the operation of an oil and gas pipeline SCADA system，the communication interruption sometimes occurs between central SCADA system software and terminal communications equipments，which will lead to data loss during the blackout，and will eventually threaten the safety of pipeline operation．For this reason，this paper proposed a data backfilling technology as well as its general structure including data stored by terminal equipment during communication blackout，data backfilling communication，back filled data processing and storage，etc．，and analyzed the technical requirements of data backfilling communication，backfilled date timestamp processing，backfilled data processing，application of backfilled data，etc．On this basis，a design scheme was thus completed for the data backfilling communications，including a complete function design of the server and client，realization method，interaction process，and the extended communication protocol message，which effectively help achieve the function of data backfilling communication．The results validated by experiments show that this proposed data backfilling technique can not only realize the data backfilling from terminal communications equipment to the central SCADA system but meet the demand of system data backfilling．In conclusion，the data backfilling technique can solve the incompleteness and discontinuity of data due to the interruption of communication，and also improve data integrity and availability of the SCADA system．

Keywords：oil and gas pipeline，SCADA，data backfilling，timestamp processing，data communication

為適應管道大型化、網絡化和輸送介質多樣化的發(fā)展方向，油氣管道控制管理必須走集中化和智能化的發(fā)展道路^[1]。油氣管道SCADA系統必須保證管網的可靠、穩(wěn)定和安全運行，這對數據采集和存儲的完整性、實時性、安全性和可靠性都提出了更高的要求。

從目前油氣管道SCADA系統實際運行的情況來看，中心SCADA系統軟件和場站通信設備的通訊常會出現中斷現象，中斷期間的數據在中心的SCADA軟件系統中沒有記錄，這種數據的不完整性給油氣管道正常的生產運行帶來了安全隱患。

本文參考文獻[1-3]對SCADA系統在長輸管線的應用進行了闡述和展望；本文參考文獻[4-12]對SCADA系統技術進行了探討；本文參考文獻[l3—14]對相關標準進行了研究；本文參考文獻[15-19]對工業(yè)控制領域的通信技術進行了研究。本文提出了一種數據回填技術，在通信網絡巾斷期間，場站通信設備(或站控系統)存儲相關數據，通訊恢復正常后，中心SCADA系統軟件對這些數據進行補采，以實現中心數據的完整性。數據回填技術可解決因通訊中斷而導致的數據完整性和連續(xù)性問題。

1　功能概述

數據回填技術主要包括：場站通信設備存儲通信中斷期間數據、數據回填通信、回填數據處理、回填數據存儲，總體結構如圖l所示。通信中斷期間，場站通信設備(或站控系統)需要對中斷期間的數據進行本地存儲，可以采用數據庫、文件等方式存儲。為方便中心SCADA系統回填，場站通信設備有必要對系統所有數據或通信數據全部進行存儲。數據回填通信功能在通信恢復后進行數據回填，中心SCADA系統主動與場站建立鏈接并發(fā)送數據回填請求，場站給予數據響應。中心SCADA系統對回填的數據進行處理，包括告警、事件記錄等。中心SCADA系統對回填數據采用與實時數據相同的數據存儲方式，但要對回填數據的質量位打上回填標識，用于標注該數據是采用回填方式獲得的。

 

2　主要功能

2．1　回填通信與實時通信之間的關系

中心SCADA系統和場站通信設備的通訊中斷恢復后，中心SCADA系統軟件對中斷期間未傳輸的數據進行回填?；靥畹膶崿F方式可以有以下幾種：①通信恢復后，場站先進行數據補傳，而后傳輸實時數據；②通信恢復后，進行實時數據傳輸，在實時數據傳輸的空閑時段進行中斷數據補傳；③通信恢復后，進行實時數據傳輸，同時創(chuàng)建新的鏈路補傳中斷數據。

回可填通信不能影響實時通信，這是一個基本原則?；诖嗽瓌t，實現②和③是可用的。但如何做到對實時通信不影響或影響最小，要從實時數據的傳輸量等統計指標進行判斷。

一般來說，數據回填過程中，中心SCADA系統和場站通信設備都需要對實時通信的情況進行監(jiān)測，確保實時通信的質量。中心SCADA系統在實時通信數據量比較大的情況下，要延遲或停止對回填數據的請求；場站通信設備需要有優(yōu)先傳送實時數據的控制機制。

2．2　回填數據的時標處理

實時數據的時標處理采用“就近”原則，即數據的時標應采用離采集設備或裝置(數據源)最近的時標，最好采用裝置的時標。在沒有裝置時標的情況下，則應該采用場站通信沒備發(fā)送數據的時標；在沒有發(fā)送時標的情況下，則應該采用中心SCADA系統數據采集模塊接收數據的時標時間。中心SCADA系統應該對數據時標打上標簽，標明時標來源為場站還是中心。

回填數據的報文必須帶時標傳輸，不帶時標的報文無法適應數據的回填要求?；靥顢祿臅r標也最好采用裝置的時標，在沒有裝置時標的情況下，則應該采用場站通信設備存儲的數據時標。

2．3　回填數據的處理

回填數據處理包括對回填數據進行預處理、告警、計算、壓縮、歸檔等處理模塊?；靥顢祿奶幚聿桓聦崟r數據庫，而是直接進行歸檔。

2．3．1回填數據預處理

回填數據預處理模塊對回填數據進行判斷，判斷采集點數據是否產生告警，將告警數據交由告警模塊處理。

判斷采集點數據是否需要歸檔，將需要歸檔的數據交由歸檔模塊壓縮歸檔。

2．3．2回填數據告警處理

告警服務作為一種公共服務為各應用提供相應的告警處理功能。對于回填數據，告警服務應提供數值越限、遙信狀態(tài)變化等告警判斷功能，并提供告警的歸檔功能，以便歷史分析和查詢。從界面上需要用不同顏色區(qū)分回填數據告警與實時數據告警。

2．3．3回填數據計算處理

數據處理模塊對回填數據提供數據計算功能，根據用戶預定義公式對相關回填數據進行實時計算。

回填數據計算涉及的計算分量，應從歷史數據庫獲取，回填數據計算涉及的計算結果，也需要更新歷史數據庫，并對計算結果進行相關標注。

2．3．4回填數據歸檔處理

數據處理模塊對回填數據提供壓縮歸檔功能，主要是針對數值型的數據進行選擇性壓縮，其他數據類型將不做壓縮，直接歸檔。采用合理的壓縮技術，可以在要求的數據精度下，恢復被壓縮數據，既能保證系統處理歸檔數據的高效性，也能實現在同樣的硬件條件下，存儲更多的歷史數據。

經過壓縮后的回填數據暫存在緩存中，當緩存數據達到一定數量時，調用歷史庫接口批量寫入歷史庫。歸檔數據應包含數據點名稱、數據值、數據質量、時標。

2．4　回填數據的應用

在中心SCADA系統，回填數據與實時數據的區(qū)別僅僅在于數據處理的個別差別，比如回填數據無需也不能寫入實時數據庫?；靥顢祿膽门c實時數據的應用基本一致，僅僅是在使用回填數據時要注明“回填”標志。

事故反演功能也可以充分利用回填的數據，在進行事故反演時，將最真實的現場情況展現給操作人員。

事故反演模塊提取距離反演開始時間之前最近的數據斷面，載入到反演快照表中，將之后的完整數據依次刷新到快照表中，直到快照表反映出反演開始時間數據斷面。同時提取出反演開始時間和結束時間內的所有數據(包括回填數據)，對事故進行反演。通過回放通信中斷期間的油氣管道業(yè)務數據，直觀地了解這段時間內的業(yè)務數據變化情況，可以對報警、事故、設備故障等做出初步診斷，以便于進行故障排查。

3　數據回填通信設計

回填數據通信有兩種方式：計算機通信方式和文件傳輸方式。

計算機通信方式是目前主要的實時數據通信方式，應用該方式時通信兩側要保證通信測點名稱的一致。計算機通信規(guī)約一般采用IEC60870-5-104規(guī)約。

筆者給出了一整套的解決方案，包括完整的服務端(場站端)、客戶端(中心SCADA系統)的功能設計，實現方法以及交互流程，提供了擴展的通信協議用于傳輸服務端與客戶端間的命令及數據報文。該設計完整地解決了油氣管道SCADA系統中，因為調控中心與站場間的通信中斷而導致的部分數據缺失問題，提高了整個系統數據的連續(xù)性和可用性。

3．1　數據回填通信服務端功能設計

場站端數據通信模塊分別采用獨立的進程實現數據回填存儲和轉發(fā)功能(數據回填存儲程序和數據回填服務端程序)。

數據回填服務端程序負責監(jiān)聽指定的端口、接收數據回填客戶端的請求并完成數據轉發(fā)。數據回填服務端程序與數據回填客戶端程序采用IEC 60870-5-104協議擴展功能完成數據傳輸任務。數據回填服務端程序用于轉發(fā)的數據來源有兩個，第一數據源是站控系統實時數據轉發(fā)程序記錄的報文日志，第二數據源是數據凹填存儲程序記錄的報文日志。數據回填服務端程序優(yōu)先使用第一數據源提供的數據，當第一數據源無法提供所需數據時再使用第二數據源提供的數據。

數據回填存儲程序用于記錄實時數據變化情況，并將實時數據轉換成能夠用于數據回填轉發(fā)的IEC 60870-5-104協議擴展功能要求的報文。數據回填存儲程序記錄的報文可以作為數據回填服務端程序的第二數據源來使用。

保存日志的命名規(guī)則為日期+鏈路名稱的組合，如“20130101_測試站．log”，日志記錄的格式如圖2所示。

 

3．2　數據回填通信客戶端功能設計

主站端數據回填采集支持兩種觸發(fā)方式：自動觸發(fā)回填和人工觸發(fā)回填。自動觸發(fā)回填的發(fā)起者是SCADA系統數據檢測模塊，它負責判斷需要數據回填的站場及數據回填的起始時間和結束時間，并將上述信息發(fā)送給數據采集子系統，再由數據采集子系統負責將數據采集上來。人工觸發(fā)回填的發(fā)起者是操作員，操作員通過操作界面下發(fā)數據回填消息，該消息同樣包含需要數據回填的站場及數據回填的起始時間和結束時間，再由數據采集子系統負責將數據采集上來。

數據回填觸發(fā)時需要判斷實時數據采集通信鏈路的連接狀態(tài)，只有在鏈路連接正常時才可以觸發(fā)數據回填。

主站端數據采集子系統接收數據回填消息，解析消息并根據消息的內容確定數據回填通道、數據回填起始時間、數據回填結束時間，再與場站通信設備建立連接并通過IEC 60870-5-104協議擴展功能采集需要回填的數據，將此數據標記為回填數據并按照與實時數據相同的流程發(fā)送給數據處理模塊。主站端數據采集子系統有獨立的進程(數據回填客戶端程序)專門負責數據回填采集工作，該進程接收到數據回填消息后為每個需要數據回填的站場創(chuàng)建專用線程完成數據回填采集工作。為了減少對實時數據采集的影響，數據回填采集與實時數據采集分別采用不同的TCP連接。

3．3　通訊協議擴展

通訊協議擴展基于IEC 60870-5-104協議并在此基礎上增加了數據回填功能?；靥顢祿膫鬏斎坎捎脦r標的數據格式。

服務端收到回填數據請求，用標準數據報文給予響應；如果沒有相應的數據，則給出否認應答。

增加回填數據召喚功能，報文格式見表1。

 

3．4　通信交互流程

中心SCADA系統與場站通信設備之間的通信交互流程見圖3。

 

一個典型通信過程的實例描述：

3．4．1建立回填數據傳輸管道

1)主站通信啟動過程。由主站主動向子站提出建立回填數據傳輸管道的申請。

子站接受申請，建立與主站之間的回填數據傳輸管道。

2)子站通信啟動過程。等待主站建立回填數據傳輸管道的申請。接受主站建立回填數據傳輸管道的申請后，建立與主站之間的回填數據傳輸管道。

3)回填數據傳輸管道重建。出現回填數據傳輸管道故障或異常斷開現象，則斷開主站和對應場站的回填數據傳輸管道，并重新建立回填數據傳輸管道。

3．4．2啟動數據傳輸

主站發(fā)送啟動報文。

子站響應啟動報文。

3．4．3回填數據傳輸

主站召喚回填數據。

子站響應召喚。

子站上送回填數據。

子站結束回填數據上送。

3．4．4回填數據傳輸過程中的中斷操作

在回填數據傳輸過程中，如果需要中斷回填數據，可以通過人工發(fā)送中斷請求，由客戶端處理響應請求，停止此次回填數據。

3．4．5回填數據過程中的異常處理

在回填數據過程中，如果服務端沒有所需時間段的同填數據，需向客戶端返回沒有該時間段數據的相應命令碼。如果有所需全部的數據或部分數據，需將數據所在的時間段返回客戶端。以便客戶端做出相應操作。

4　實驗驗證

數據回填技術在實驗室中得到了很好的驗證，實現了數據的完整性。中心SCADA系統與站控系統的數據采集網絡互連。圖4為網絡結構示意圖。

 

中心SCADA系統數據通信服務器部署數據回填客戶端程序，站控系統數據通信服務器部署數據回填服務端端程序。通信中斷恢復后，中心SCADA系統啟動連接，并發(fā)出數據回填請求；站控系統接收連接請求和數據回填請求，獲取存儲數據，發(fā)送到中心SCADA系統；中心SCADA系統對回填數據進行處理；回填數據傳輸完成后，通信過程結束。

驗證實驗中完整模擬了某個站場系統與中心SCADA系統的數據通信，量測對象(遙信、遙測)約2000點。

實驗表明：數據同填技術可以實現數據的完整性，具有可行性。數據回填技術的應用將進一步提高油氣管道SCADA系統的可用性。

5　結論

1)通過試驗驗證，數據回填技術可以實現中心SCADA系統與場站通信設備之間的數據回填功能，滿足系統的數據回填需求。

2)通過包含場站通信設備存儲通信中斷期間數據、數據回填通信、同填數據處理、回填數據存儲等環(huán)節(jié)的數據回填技術，解決了因通訊中斷而導致的數據完整性和連續(xù)性問題，提高了系統數據的完整性和系統的可用性。

 

參考文獻

[1]楊潞鋒，楊進峰，陳明，等．長輸管線SCADA系統的應用現狀和前景[J]．中國水運：學術版，2007，7(4)：l27-129．

YANG Lufeng，YANG Jinfeng，C HEN Ming，el al．The presenl application situation and the prospect of SCADA system in long distance pipeline[J]．China Water Transport：Academic Version，2007，7(4)：127-129．

[2]王宇心，夏紅英，胡劍，等．油氣氐輸管道數字化管理半臺的研發(fā)和應用[J]．天然氣工業(yè)，2012，32(增刊l)：90-95．

WANG Yuxin,XIA Hongying，HU Jian，et al．Develop ment and application of digital nlanagement platform of long distance oil and gas pipelines[J]．Natu ral Gas Industry，2012，32(SI)：90-95．

[3]屈彥．川東地區(qū)天然氣生產SCADA系統的優(yōu)化改造[J]．天然氣工業(yè)，2011,31(11)：88-92．

QU Yan．Optimization of SCADA system of natural gas production in East Sichuan[J]．Natural Gas Industry，2011，31(11)：88-92．

[4]姚琚．方成輝，陳斌．SCADA系統在油氣長輸管道中的應用研究[J]．工矽自動化，2009(5)：119-122．

YAO Jun．FANG Chenghui，CHEN Bin．Study on the application of SCADA system in long distance pipeline of oil and gas[J]．Industry and Mine Automation，2009(5)：119-122．

[5]謝孝宏．淺談長輸管道SCAI)A軟件的架構和性能[J]．自動化博覽，2008(9)：71-73．

XIE Xiaohong．Discussion about the long distance pipeline SCADA software architecture and performance[J]．Automation Panorama，2008(9)：71-73．

[6]田洪波．SCADA系統在長輸管道的應用和發(fā)展[J]．石油化工自動化，2008，4(10)：l0-l2．

TIAN Hongbo．The application and development of the SCADA system in long-distance pipelines[J]．Automation in Petrochemical Industry，2008．4(10)：l0-l2．

[7]琴琴．臨lit{IXm0峪控及數據采集(SCADA)系統及其應用[J]．勝利油田職工大學學報，2007，21(3)：79-80．

WANG Qinqin．Supervisory control and data acquisition (SCADA)system and its application[J]．Journal of Shengli Oil Field Staff University．2007，21(3)：79-80．

[8]DURAN R M．PUIG B J，ARBAT G,et al．Definilion of a SCADA system．for a microirrigation network with effluents[J]．Computers and Electronics in Agricuhore，2008，64(2)：338-342．

[9]郭曉瑛，路艷斌，鄭娟．國內外長輸管道SCADA系統標準現狀[J]．油氣儲運，2011，30(2)：l56-159．

GUO Xiaoying，LU Yanbin，ZHENG Juan．Technical status of long distance pipeline SCADA system slandards worldwide[J]．Oil＆Gas Storage and TransDortation．2011，30(2)：156-159．

[10]王振明．SCADA(監(jiān)控與數據采集)軟件系統設計與開發(fā)[M]．北京：機械工業(yè)出版社，2009．

WANG Zhenming．SCADA(supervisory control and data acquisition)design and development of softwarc system[M]．Beijing：China Machine Press，2009．

[11]ENGIN O，MEVLUT K．Mobile Phone based SCADA for in dustrial automation[J]．ISA Transactions，2006，45(1)：67-75．

[12]方明，常鑫．基于數據倉庫的多維模糊分析方法研究[J]．西安石油大學學報：自然科學版，2011，26(1)：87-89．

FANG Ming，CHANG Xin．Study on multi dimensional fuzzy analysis method based on data warehouse[J]．Journal of Xi’an Shiyou University：Natural Sciencc Edition．2011，26(1)：87-89．

[13]林小峰．基于IEC61131-3標準的控制系統及應用[M]．北京：電子工業(yè)出版社，2007．

LIN Xiaofeng．Control system and application based on IEC61131-3 standard[M]．Beijing：Publishing House of Electronics Industry，2007．

[14]IEEE．C37.1—2007 IEEE Standard for SCADA and autolmation systems[S]．USA：IEEE Power Engineering Society，2008．

[15]冉全，楊志方．以太網在工業(yè)控制領域的腑用探討[C]//中國計算機學會網絡與數據通信學術會議．北京：中國計算機學會，2002．

RAN Quan，YANG Zbifang．Discussion on the application of Ethernet in the industrial control field[C]//China Institute of Computer Network and Data Communication Conferencc．Beijing：China Computer Federation，2002．

[16]項敏，王學軍．嵌入式工業(yè)以太網控制方案的研究[J]．現代電子技術，2004，27(6)：49-51．

XIANG Min，WANG Xuejun．Research of control scheme for embedded industrial Ethernet[J]．Modcrn Electronic Technique，2004，27(6)：49-51．

[17]宋真君，李京，凌忐浩．基于工業(yè)以太網的分布式控制系統的通信研究[J]．廈門大學學報：自然科學版，2001，40(增刊1)：269-273．

SONG Zhenjun，LI Jing，LING Zhihao．The develoDmenl of communication program in the distribLlted conlrol system based on the industrial Ethernet[J]．Jotlrnal of xiamen University：Natural Science Edition，2001,40(S1)：269-273．

[18]賀炳彥，李浩．安全多媒體通信中容錯加密方案[J]．西安石油大學學報：自然科學版，2011,26(2)：104-106．

HE Bingyan，KI Hao．Error tolerant encryption for secure multimedia communications[J]．Journal of Xi’an Shivou University：Natural Science Edition，20ll，26(2)：104-106．

[19]梁莉，李強，張曉暉，等．基于TCP／IP通信的數據采集系統[J]．計算機系統應用，2001(7)：58-60．

IAANG Li，LI Qiang，ZHANG Xiaohui，et al.Data acquisition system based on TCP／IP communication[J]．Application of the Computer System，2001(7)：58-60．

 

本文作者：閆峰  高保成  祁國成  陳清山  溫昭琦

作者單位：中國石油北京油氣調控中心

  北京科東電力控制系統有限責任公司