论坛2 | 新 IT,新商业 沈文海 「气象信息化中云计算的作用」



  • 时间: 2016年7月28日
    发言人: 沈文海|国家气象局信息中心副总工程师
    主题: 气象信息化中云计算的作用


    各位来宾,非常荣幸在这里向大家汇报一下气象部门信息化相关的工作,主要分三个方面:1.气象部门简介;2.气象信息化概况;3.云计算的意义。

    这几张图片大家都不会陌生,这是6月23号,就是一个月以前江苏盐城龙卷风造成的惨状;这个也不会陌生,长江大水,武汉告急惊心动魄的事件;我这个PPT是两个礼拜以前做的,所以没有把上礼拜7月20号华北大雨相关的图片放上去,反正大家已经感同身受。大家一定会想,气象部门是干什么的,居然出了这么大的事。气象部门就是这么一个部门——它是专门从事气象服务公益性的事业单位。从业务的角度来说分三大块:第一是气象探测,第二气象预报,第三是气象服务,最终落实到气象服务上来。在岗职工7到10万人,业务层级有国、省、地、县四级,国家级的业务单位大概有这么六个,研究单位我们称之为一院八所,不一一念了。

    基本业务有三大块,核心当然是气象预报,气象预报又分成天气预报和气候预测。关于天气预报大家看这几项,灾害性天气和与国民经济或者说是人民的生活环境相关的这些内容,强天气、台风与海洋天气预报、农业、环境等等,基本方法是数值预报。气候预测相对来说战略意义更大一些,主要气候预测、气候诊断、气候变化与应对、气候变化评估等等,主要方法主要是数值预报和统计预报,上午在圆桌会议上大致介绍一下统计预报是怎么回事。

    数值预报大家感觉比较神秘,其实很简单,看看这个方程组,大家就会一目了然了,其实就是基于天气动力学的那么一组偏微分方程。大家都知道偏微分方程是没有解析解的,只能数值解,所以就只能用到高性能计算了,说起来就这么简单。大家再看这张图,它从时空尺度上展示了气象预报的大致内容,横轴是空间尺度,纵轴是时间尺度,横轴单位是米,纵轴单位是秒。大家可以看到,最少的是龙卷风,时间尺度就是几十分钟,半径也就是几十米到上百米这样一个空间分布,再上面沙尘暴、暴风雨等等。到厄尔尼诺大家都比较清楚了,以年作为它的时间尺度,而空间尺度已经达到了几千公里或者上万公里的跨度。天气预报的总体结构大概就这样,大家看一下就可以了,主要是给大家一个感性的认识。

    从气候模式的发展来看,气候预报或者气候预测是我们一个难点,或者是不太容易攻克的业务。从70年代中期开始气候模式在内容上增加了很多复杂的内容,大家知道我上午说的气象部门对高性能计算资源有很强的需求,从这里也可以看的出来,内容太复杂了。这些就是数值预报的方程,不详解了,时间有限。

    第二个基本业务就是气象探测,这里面大家都比较感兴趣。气象预报基础和依据是天气现象的实时感知,气象探测就是气象要素的实时获取。它的方法包括气象探测、遥测和遥感,探测位置包括地基、空基和天基,这张图也演示了整个气象探测的范围。

    0_1470979523505_upload-0ff9f80a-b060-4008-a467-b292e511c68b

    我们先说探测系统的分类,地基观测,传感器位于地球表面,或者直接架设在地球表面上的观测系统,比如各类气象观测站,就是地面观测站、海洋浮标站等等。空基是传感器位于地球表面以上,但是是在大气层中的这么一些探测,包括无线电探空仪,飞机观测等等。天基就是大气层以上的,主要指卫星。

    在20世纪末,21世纪初的时候地面观测开始由人工观测改成了自动观测。自动观测最大的好处是摆脱了人类活动生存条件的限制,使得观测场和观测站的选择条件能够大幅度精简,能够放到一些不适于人类居住,所以无法探测的地方,比如沙漠、荒岛、高原、冰川等,同时观测的密度大大增加。还有大气成分的观测,大家都比较关心,灰霾、沙尘暴等等。 我们现在在大气层面上的观测也很注重,而且有很多站都包括这些观测。

    第二个就是海洋观测,主要包括船舶、浮标、海岛。 世界气象组织有这么一个规定,就是所有商船都有义务在固定时刻在海洋上探测当时它所在位置海洋相关的气象状况。大家看这张图标明了商用船舶气象观测的分布图,商船在观测海洋气象要素时候的一些观测方式。这个图左上方的人把抛弃式的温度深度测量仪抛到海里边,左下方这个人拿摇杆仪对着相关的位置,右下方的这个人在进行相关数据采集,这个就是海洋上的观测。

    世界气象组织推行的是海洋综合观测系统,中间下面这个人手里拿着叫做漂流浮标,它是怎么观测的——抛到海里边去,先垂直降到一定深度,400米或者800米,先在海里待段时间,顺着海流流动定时观测他所在位置的海温和海流。再过一段时间浮到海面上,将这段时间观测到的相关信息发出去,由卫星收集,送到相关部门进行相关采集。
    大家可以看到气象观测还是挺有意思的。现在全国雷达已经布设两百多部了,可能还需要布十几部。天气雷达它有很多优点,做预报员可以利用海上风场观测的不足,可以形成三维的天气状态图,从而进行相关的气象预测和天气预报。

    还有一个卫星观测,我们现在观测既收集国内的气象卫星,也收集国外的。

    作为气象数据来说,气象数据从体量来看有四类数据比较大。

    第一个就是气象卫星,每天增量大概几个TB甚至十几个TB;第二个是数值预报的产品;第三个是雷达数据;第四个是地面观测站数据。我们现在有7~10万个观测站,每个观测站每五分钟观测一次,数据量就相当大了。

    还有一个是气象服务,大家都比较熟悉了,我们很多手机APP都有,比如墨迹天气、彩云天气、天气通,都是不同的公司来提供相关的气象服务信息。总而言之气象服务是一个非常广阔的可以开发的天地。

    专业气象服务有很多种类,比如交通气象、旅游气象、农业气象、能源气象、保险气象。上午泰康也谈到气象相关的一些合作,保险气象包括生活气象保险,生产气象保险等。

    我们归纳一下气象业务有探测、预报、服务。从气象部门来说,我们要达到气象现代化,总共有两个方面,一个是硬实力,一个是软实力。硬实力就是预报的准确率,软实力的服务的效率、创新能力、敏捷能力等等。总而言之气象业务是典型的信息业务,气象业务系统是典型的信息业务系统。所以气象部门所产生的数据大家可以看到差不多是这样的。

    0_1470979597212_upload-9d03e5ea-e50c-4940-9607-f6f432d62ad5

    我介绍一下气象信息化的状况。发展的历程是这样的,改革开放之前叫做艰苦创业阶段。改革开放之后这40年确实发展很快,到了90年代建立了完整的气象信息业务体系,当时9210工程(建设气象卫星综合服务系统)是很厉害的系统。由于当时国内通信条件有限,气象观测资料在90年代以前是无法实时汇集到预报员桌面的。我们知道,天气预报很有意思,越临近预报得越准,也就是说如果这个观测信息能够及时获取到预报员的手里,比如8:00采到了信息,8:15以前就到预报员桌面,他做预报肯定比七点或者六点所采集的数据所做出来的预报准确率要高很多。而实时观测数据的实时送达这一基本需求到上个世纪90年代初的时候还是无法实现。当时使用的是模拟通信线路,一般来说至少一个半小时才能汇集到预报员的桌面,所以不能做出真正意义上的实时天气预报。

    9210工程实现了观测站采集出的数据无需通过常规电话线汇集,而是通过卫星来汇集到预报员桌面。这套系统的建设成功,第一次实现了我们中国气象局天气预报的实时发布。到20世纪初,90年代末的时候由于三大运营商地面光缆快速铺设,使得我们的9210系统逐渐被地面光通信取代而成为辅助性系统了。

    0_1470979635387_upload-8253aa79-7404-47be-ad42-d43b03b15fa8

    2000年以来我们在网络、资料、观测、预报和服务方面都进行了相应的建设工作,标志主要是这样:从信息网络方面上世纪90年代的9210工程;十一五建立了地面宽带网,基于此组建了内网;21世纪的时候全面展开了气象观测的现代化,就是把所有的地面观测系统全部由人工观测改成自动观测,使得观测网和观测频率都大大增加了。

    成绩有目共睹,但是我们仍然面临很多很棘手、也很突出的问题。

    0_1470979663559_upload-8dfd94cf-d9bf-4c03-bb73-a3a6147c4222

    0_1470979678264_upload-bb830b3a-6407-4d69-b689-10e87170eae1

    整个业务系统建设不集约,信息系统的数量庞大、低水平重复建设、业务流程无序等日益严重,这些不一一念了。
    看一下具体的实际情况,这两个表是我们去年做的统计。我们气象局有四个层级——国省地县。每个省,每个市,每个县都有相应的气象局。县级气象局业务系统,平均18套,地市级22套,省级64套。这个说明什么问题,县级业务系统至少18套,而县级气象部门的定编人数一般9到10个人。县气象局长因为行政业务很多,不会做。还有两到三个人的观测系统,还有为当地服务等等。总而言之用于维护这个业务系统的人力资源是非常匮乏的,几乎没有的。而且县级业务系统之间大量的重复,A县和B县都是18套业务系统,这其中至少有一半是重复的。

    这是安徽省滁州市气象局在用的总共25套,国家级也不含糊。国家级各直属单位分散机房27个,服务器592台,存储系统116套,数据库30余套。

    各省市气象局的服务器将近4,000台,据说百度说有50万台,气象局比起百度真是小巫见大巫。但是这些服务器使用效果并不高,有的还是相当低的。

    数值预报系统建设缺乏统筹规划,区域中心、省局甚至地市都建立数值预报系统。为什么提这个,因为数值预报强烈依赖于高性能计算,而高性能计算在气象部门相当匮乏,这些高性能计算资源的统筹利用是一个很大的问题。

    0_1470979714500_upload-569cb35c-5e71-4af3-ae79-9ac9cf3d8e1d

    我再介绍一下气象发展战略。2015年初开始,中国气象局重新组建了信息化领导小组,我们制定了未来构想:一个理念,三大战略和信息化治理。一个理念是智慧气象理念;三大战略是大数据战略、大平台战略和互联网气象+战略。

    0_1470979730579_upload-50256799-573d-445c-9f3c-8238d6aec13b

    智慧气象理念可细分成智慧业务、智慧服务和智慧管理。 智慧气象的内涵我们定义为六个:①智能的信息获取,②精准的预报预测,③开放的气象服务,④精细的科学管理,⑤深度产业融合,⑥持续的科技创新。

    0_1470979748611_upload-2a4d6ac5-1f0c-464e-8efd-6ccb0490213a

    气象大数据战略指在全气象部门全面营造基于数据的精准业务,基于数据的卓越服务,基于数据的精细研究,基于数据的协同创新,基于数据的科学管理,基于数据的便捷学习以及高度数字化的工作环境等等。

    0_1470979766517_upload-f46e59bb-7ffc-49ff-9165-ff779d7b215d

    大平台战略就是这样,未来的气象业务将主要围绕『气象科技创新平台』,『气象业务综合平台』和『互联网气象+共享平台』这三个平台展开。也就是把我们数千个业务系统整合到三大平台当中来,可以最大限度的优化资源配置,汇集高效利用数据资源、技术资源和人力资源等等。

    0_1470979785815_upload-ef3ff84a-f8ba-4552-bc52-f1aa2d4d698a

    气象部门现在是在提供相应的气象服务,在市场也有很多企业和一些公司也在提供相应服务,比如墨迹天气、彩云天气等。气象部门和这些公司自然不自然的形成了一些竞争关系。未来我们的构想是气象部门从盈利性的服务领域当中逐渐退出来,转而营造这么一个平台,就是所谓的『互联网气象+平台』。这个平台上我为市场上所有这些气象服务的企业提供他们所需要的一切资源。也就是说我这个平台的好坏与否完全由市场上的气象服务企业他们存在的好坏决定。当然这个战略是否被我们气象部门的人员所接受,还正在讨论之中。但是现在形成这么一套想法。所以气象部门有一个特点就是说叫做醒的早,起的晚,走的慢,我们讨论的时间有点多。

    0_1470979810691_upload-7d9b348c-10cd-4292-8501-76d4dada6693

    再介绍一下气象信息化建设的四个原则:统一数据,统一业务规范,统一技术架构,统一运维。

    0_1470979831224_upload-072932b6-74d4-4026-a171-63d1ae984c3e

    这张图大致介绍了云计算是怎么回事。过去的 IT 建设是烟囱式的。而借助云计算 IaaS、PAAS可以减少很多工作,SaaS 的好处更多。这张图简单明了,一看就知道云计算是怎么回事,云计算的价值在哪儿。

    0_1470979852631_upload-c234ad16-4e71-4011-9df7-8e03839914f1

    在此基础上我们也做了前期探索性的工作,2012年承建了试验性架构,经过2013年、14年的试验性工作,已经被12家直属单位部署了,就是提供了相应的服务。

    0_1470979874897_upload-b0f0ca66-f261-4f3d-8b59-1009a0d0ecca

    0_1470979884053_upload-b7438dc0-b00c-4da6-9e8f-9536e049f470

    用21台物理服务器,虚拟出了230多台云主机,支撑 了137个业务系统,这些图都是我们当时做的统计,我们用了虚拟化技术之后资源节省了多少,今天在座很多专家看了这个图以后肯定会哑然失笑,觉得这个太小儿科了,我们现在也这么觉得。但正是由于这些探索,使得我们决策层领导下决心,接受了云计算的概念,并且认定它会是我们气象部门未来基础设施主要的形态。

    我们也做了相关的工作,而且这些工作还得到了中国气象报的报道。

    0_1470979907382_upload-ed41a393-94fe-4f95-99e5-adf9587c71e4

    未来的设想,第一步要把县和地市两级的业务系统收到省级上来。通过地面宽带网络或者内部的宽带网络把各个省级的资源池联系起来,每个省建立相应的资源池,主要把省和县的业务归并或者整合到省级的资源池当中来。第二步把省级的资源池再整合成国家一级,形成最终三到四个数据中心,这些中心无疑都是云架构。未来气象云将成为气象业务和科研工作的核心基础。

    Q&A

    提问:听您说气象部门的话比如说高性能计算资源的话是非常紧缺的资源,我理解气象部门有它自己的高性能计算机系统。

    沈文海:我们气象预报主要业务形态是数值预报,都要离散化,空间和时间离散化,空间密度稍微加密一点,0.5乘0.5度的话,这个计算资源一下就上升八到十倍,再加密又会上升八到十倍,会成指数倍增长。现在预报的密度,时空密度应该是10公里左右,还不足以满足我们现在气象服务公司对预报产品,未来最好加密到一公里以下。您说这个问题挺有意思的,湖南省就用到长沙超算中心的数据,用了一段时间以后由于种种原因就不用了,这里有很多非技术的问题,国家这些超算中心的高性能计算机大部分是国产的,峰值速度很高,但是使用起来稳定性还有待于进一步提高,所以作为业务系统来说的话,更多是使用那些更加稳定、效率更好的。下一步我们将引进新的,应该是千万亿级的,那个是国产的,超算中心有一个最大的问题就是距离我们距离比较远,有时候带宽是很大问题,湖南省局和长沙超算中心连过,现在仍然有很多问题,因为具体问题没有克服所以对于超算中心的计算资源使用不是很充分,未来会考虑。

    提问:高性能计算资源的需求是长期稳定的还是怎样?

    沈文海:长期稳定。

    提问:大量计算有很多公式在里边,可能会有专业的设备,像我们这种系统适合做虚拟化的云计算吗?

    沈文海:数值预报确实不适于虚拟化,但是除了数值预报产品之外还有很多,产生产品出来之后进行加工成相关的产品,还包括观测数据的前处理系统、卫星数据的处理系统等等,用一般的服务器资源就可以,我刚才所提到每个县18个都不是高性能计算系统,他们也都不需要,因为确实相当昂贵。


登录后回复
 

与 青云QingCloud 社区 的连接断开,我们正在尝试重连,请耐心等待