大气多元资料质量控制方法研究

摘 要:为了促进大气多元资料质量控制方法的研究,以几个有代表性的数据集,如GHCN、GDCN、ISH为例,概述了国外地面气象资料质量控制技术的进展及新动态。研究表明:传统的质量控制方法仍是主要工具。在计算机技术迅速发展的时代,可以有更好的条件,使用自动控制和人机交互、气候背景资料和统计检验相结合的技术,并适当应用空间检验方法,来设计大气多元资料质量控制业务流程。

关键词:大气多元资料;质量控制;控制方法

中图分类号:P4 文献标志码:A文章编号:16717953(2009)04010703

Study on Quality Control Methods of Atmospheric Multivariate Data

FU Wenting

(Nanjing University of Information Science and TechnologyNanjing 210044,China)

Abstract: For facilitating the researches in quality control (QC) of atmospheric multivariate data,the QC methods of several representative data sets (e.g.GHCN,GDCN and ISH) are introduced.The latest international development and trends of the correlative technologies are expounded.It is indicated that the conventional QC methods are still the basic tools.Along with the development of computer technology,several new technologies,such as auto-control,HCI (Human Computer Interaction),the spatial test method and the technology of combining climate data and statistical test,etc.,will be applied to the QC of surface meteorological data to help design the operation flow of quality control of surface meteorological data from autonomous weather stations.

Key words: atmospheric multivariate data;quality control;QC method

大气多元资料包括全球大气、海洋、海冰、积雪、臭氧、国内外大气科学试验课题考察和成果等多种数据和图像的资料;它既有全球、系统的数据,也有区域性、短期的、专注某一领域的资料,还有科普教学软件等。

海洋环境调查资料是分析研究海洋环境变化规律的重要依据。海洋环境调查资料的准确性和可靠性直接影响到分析结果和结论的正确性。为保证资料的准确、可靠,世界各国对海洋环境调查资料用计算机进行自动质控制方法进行了大量的研究^[1]。地面气象观测资料是研究区域乃至全球气候变化与预测、天气动力分析、数值天气预报模式研究、资料同化的基础,是雷达与卫星定标、水文设计、农业决策的重要依据,也是人类有器测以来最长的气象资料。气象观测资料质量控制的重要性已经为所有使用气象资料的科学家所公认。地面气象观测记录必须具有代表性、准确性、比较性^[2]。根据误差的性质和产生的原因,气象观测资料可能存在3类性质完全不同的误差:随机误差、系统性误差、过失误差(偶然误差)^[3]。

质量控制的目的是确保提供应用的资料符合各种要求(包括不确定性、分辨率、连续性、均一性、代表性、时限、格式等)。本文试图以几个有代表性的数据集为例,概述近年国外在地面气象资料质量控制中的进展及最新动态,并对我国该技术的发展进行探讨。

1 大气多元资料质量控制技术的进展

传统的质量控制(QC)主要根据气象学、天气学、气候学原理,以气象要素的时间、空间变化规律和各要素间相互联系的规律为线索,分析气象资料是否合理。其方法包括:范围检查、极值检查、内部一致性检查、空间一致性检查、气象学公式检查、统计学检查、均一性检查。这些方法被普遍应用到大气多元资料的质量控制中。

1.1 全球日气候资料数据集

美国NCDC制作的全球日气候资料数据集GDCN(Global Daily Climatology Network V1.0)是最近开发出的数据集,其包括最高/ 最低气温、24h降水量,年代为1840-2001年^[4]。

对最高/最低气温资料进行了极端值检查、内部一致性检查。该数据集的检查也使用了双权重标准差的统计检验方法,并使用了月平均值与格点资料比较,进行了空间检验。

对于日降水资料进行了极端值检查。所用的极端值为目前观测到的全球曾出现过的日极端记录:极端最高气温:57.8℃;极端最低气温:-8914℃:最大24 h降水量:1828.8mm。

1.2 全球地面小时数据集

美国NCDC所制作的的全球地面小时数据集ISH(Intergated Surface Hourly Database),共有全球20000 个台站,早从1900年开始,台站类型有自动站(ASOS)、自动天气站(AWOS)、天气站等^[5]。QC分为两个步骤,第1步进行了各种源数据集的集成、整理、转换、统一格式、统一时间(格林威治时间) 。第2 步去除随机及系统误差。通过一系列QC 的计算法则,进行自动和人工的质量控制。共使用54种QC方法,包括:变量检查、极值检查、内部一致性检查。

但目前该数据集检查中未使用空间检验方法,NCDC计划今后进一步发展。

2 大气多元资料质量控制方法发展新动态

2.1 自动观测资料质量控制对传统方法的挑战

随着观测自动化技术的发展,产生了大量的自动观测资料。自动化资料与传统资料的QC方法主要差别在于:传统的QC主要面向人工观测的数据,数据的时间跨度大,方法侧重于对单个数据的检查。电子传感器及自动传输的发展,对传统QC方法是一种挑战。这是因为电子观测系统更多的误差是连续性的漂移,而不是孤立的误差;因此,对资料的连续性检查比单个数据的检查更重要。电子观测仪器产生了更多的资料量,具有高时间分辨率,使得自动观测资料比人工观测资料有更多的自动QC方法。

2.2 美国地面自动观测系统

美国地面自动观测系统(ASOS)^[6]已经有超过1100个观测站点,能实现数据的自动采集、质量控制、运行监控和数据传输和调用。在ASOS的运行中,对资料质量进行了3级监视和控制。

3 关于我国地面气象资料质量控制方法发展的探讨

3.1 地面自动站资料的质量控制方法

3.1.1 强化台站级质量控制

由于自动站资料的特点,观测站级的质量控制就显得更加重要。应当充分发挥自动采集数据、计算机自动检查资料的自动化优势,使观测站传输出的资料绝大部分得到很严格的控制。

台站的实时质量控制是自动站资料质量控制系统的关键。因此,要在质量控制方案的设计中将所有能在台站进行的质量控制全部做好。对于采集的每一个实时数据,都要及时进行检查,有可疑数据,显示提示信息,以人工判断。在台站上报的数据文件中要有质量控制的标识。

3.1.2 要有不同层次的质量控制

观测站、省、国家级对资料质量控制应该有不同的层次。在观测站强调对逐时、逐日资料,使用传统的QC方法;在省及国家级对准实时的月、日资料更多地使用统计判断方法。

3.1.3 重视质量评估专家的作用

国外成功的质量控制方法表明,完全自动化的质量控制不可能解决所有的数据质量问题,对于一些特殊情况或问题的判断还要辅以人工检查。必须采取计算机自动控制和人工相结合的方式。在各级,尤其是省、国家级要重视质量评估专家的作用。

3.2 中国地面月气候资料质量控制方法

3.2.1 连续性错误资料的检测

观测中仪器出问题或观测员操作失误以及仪器标定错误、仪器有明显的漂移等问题,若发现太晚甚至始终没注意到,则有可能导致连续几个月甚至跨年的月气候资料错误。虽然这种错误资料相对于气候平均值来说,有时表现得并不是很离奇,但是对气候分析仍有一定的影响。对这种连续性错误资料的检测,应把12个月的气候资料序列联合起来统一检查。

3.2.2 单个数据点错误资料的检测

3.2.2.1 奇异值的时间域检测

(1)近正态分布序列的建立

一般情况下,当数据越远离序列平均值时,错误的可能性越高,越接近平均值时,则错误的可能性降低。在传统的质量控制技术中,通常当距平超过临界值如3倍标准差时,该数值被认为奇异值。但是,由于中国台站信息和观测规范的变动,许多时间序列普遍存在非均一性。某些时间段的奇异值有的由于离序列平均值比较近而检测不到。

(2)奇异值的确定

一个数据在时间域内要多离奇才会被认为是奇异值呢?常用的方法是用3倍标准差控制。Lanzante^[7]于1996年介绍过用Biweight法计算序列的平均值和标准差,认为用Biweigh法计算序列的平均值和标准差具有高效性和对奇异值的抵抗性。

3.2.2.2 奇异值的空间域检测

一个数据点从时间序列角度看可能是极端的,但它也可能是完全有效的。所以, 要判断一个数据点的有效性,简单地从时间序列角度标出它还不足够。如果一个站的气候在那个月异常的冷,邻近站应该也如此。因此,有必要把空间QC结合到整个检测中来,用空间QC来判定时间域检测中被标出的奇异值正确性和错误性。空间QC有很多不同的方法。Eischeid等^[8]曾介绍了6种不同的方法来预测或估计某个站的值, 通过分析观测值和估计值的差异来判断数据点是否通过空间QC,并把这些方法用于1版全球历史气候网(GHCN)资料的QC中。2版GHCN资料采用距平比较法进行月平均气温的空间QC^[9]。

4 错误资料分析

用上述质量控制方法,再次对1971-2000年中国地面700多个基准基本站约250000个月地面气温、气压、空气湿度、风速、各层地温、日照、小型蒸发、冻土深度与积雪深度等要素月统计资料进行上述检查后,共发现136个月资料出现错误现象。反馈在原始资料(地面信息化资料)中,主要错误原因为:①用其他站或其他月资料代替本站资料;②资料扩大或缩小10倍录入以及其他录入错误;③原始资料应为缺测或非“0”值,而信息化资料为“0”;④观测仪器有问题导致资料异常。

5 结语

近年来国外在地面气象资料质量控制技术方面有了显著进展,但是在质量控制方法的运用时,传统的QC方法仍是主要工具。在计算机技术迅速发展的时代,我们可以有更好的条件,使用自动控制和人机交互、气候背景资料和统计检验相结合的技术,并适当应用空间检验方法,来设计我国地面自动站资料质量控制业务流程。

参考文献

[1] Quality Assurance System.Edited by National Oceanographic Data Center.U.S.A May 1,1987.

[2] 中国气象局.地面气象观测规范.北京:气象出版社,2003.

[3] 幺枕生,丁裕国(编著).气候统计.北京:气象出版社,1990.776.

[4] GLEASON B E.For Data Set 9101 Global Daily Climatology Network V1.0[C].Asheville: National Climatic Data Center Data Documentation,2002.

[5] LOTT N,BALDWIN R,JONES P.The FCC integrated surface hourly database:a new resource of global climate data.National Climatic Data Center Technical Report .2001(01).Asheville:National6Climatic Data Center,2001.

[7] DALY C,GIBSON W,DOGGETT M,et al.A probabilistic spatial approach to the quality control of climate observations[C]. AMS Annual Meeting,Seattle,2004.

[8] LANZANTE J R. Resistant,robust and nonparametric techniques for the analysis of climate data:Theory and examples,including applications to historical radiosonde station data[J].Int J Climatol,1996,16:.

[9] EISCHEID Jon C,BRUCE BAKER,TOM KARL,et al.The quality control of long-term climatological data using objective data analysis[C].J Appl Met,1995,34:2787-2795.

[10] PETERSON T C,VOSE R S,SCHMOYER R ,et al.Global historical climatology network (GHCN) quality control of monthly temperature data[J].Int J Climatol,1998,18:1169-1179.

推荐访问:质量控制 大气 方法 研究 资料