大数据背景下政府统计部门发展的SWOT分析

这几天有点懈怠，贴一篇去年写的论文凑个数。

大数据背景下政府统计部门发展的SWOT分析

一、“大数据”在政府统计部门中的内涵

（一）基本概念

大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。从传统数据到大数据，不仅是量的积累，更是质的飞跃。海量的、不同来源、不同形式、包含不同信息的数据可以容易地被整合、分析，原本孤立的数据变得互相联通。这使得人们通过数据分析，能发现小数据时代很难发现的新知识，创造新的价值。

对政府统计部门而言，大数据是采用多种数据收集方式、整合多种数据来源的数据，是采用现代信息技术和架构高速处理和挖掘、具有高度应用价值和决策支持功能的数据、方法及其技术集成。

（二）大数据背景下统计部门数据形态差异

1、数据来源不同

传统的政府部门数据生产主要是从下而上，填报统计报表仍然是政府统计的主流模式，对企业财务报表数据、行政记录、互联网数据的采集和使用依然只占传统统计生产方式的一小部分。而大数据时代的政府统计工作方式进一步扁平化，几乎所有的信息都是信息需求者直接通过对有关的行政记录、业务记录等加工生成，越过了许多的中间环节。

2、数据范围不同

统计部门数据以可结构化可见的数字、表格为主，而大数据中则包括了大量在线的文本、图片和影像资料等数据，需要对其进行一定的筛选和整理工作才能找出你所需要的数据。大数据体量巨大，TB 的数量级已经不能满足数据的需要，而是延至 PB 以及 ZB 级别。

二、大数据背景下政府统计部门发展的SWOT分析

（一）优势（Strengths）分析

1、抢抓机遇，及早布局和行动

大数据概念出来后，统计部门高度重视大数据发展，按照“总体设计、牵头攻关、先易后难、专业突破”的核心应用思路，明确界定政府统计大数据的数据源概念；及早布局，稳步推进了大数据在政府统计中的研究与应用。2013年 11 月，国家统计局与阿里巴巴、百度等 11 家大数据企业签署了战略合作框架协议，明确共同研究探讨建立大数据应用的统计标准，以及利用企业数据完善补充政府统计数据的内容、形式和实施步骤，使大数据在政府统计中的应用迈出了实质性的一步，并在随后继续提升合作的深度和广度。2014年 9 月，国家统计局又与腾讯等 6 家企业签署了大数据战略合作框架协议，并与这些企业就舆情监测、房价统计等领域开展了实质性合作。在大数据时代，政府统计部门走在了发展的前沿。

2、简化数据采集方式，减轻调查者负担

传统的政府统计数据的采集环节是从报表设计、报表任务布置、数据采集、数据加工、录入汇总、审核、上报最后到数据公布，形成一整套数据采集系统，过于呆板和单一。而大数据则相反，它能让数据采集简单化、便利化，还可省却大量的人力、物力，数据来源日趋多元，大幅度提升政府统计效率。在大数据时代，我们可以直接调用日常生活中产生的原始数据，而不需要调查对象长期、认真的配合，极大减轻了调查者的负担。比如在粮食统计中，以前是中央靠省，省靠市，市靠县，县靠镇，镇靠村，层层加码，成本高、时效性差、主观性强。现在是采取遥感卫星，通过图像识别，把中国所有的耕地标识、计算出来，然后把中国的耕地网格化，对每个网格的耕地抽样进行跟踪、调查和统计，最后按照统计学的原理，计算（或者说估算）出中国整体的整体粮食数据。大数据背景下数据采集方式得到简化。

（二）劣势（Weaknesses）分析

1、政府统计数据挖掘和分析的思路僵化

大数据时代，数据之间的相关关系远远比数据的因果关系重要。而政府统计部门一直以来的工作理念就是要追寻数据之间固有的因果关系和规律，加之当前政府统计工作的大部分重心都局限在日常业务处理的层面，用提供和采集固定报表的形式为主，因此只能获取有限的静态分析资源，缺乏有效关联，导致政府统计工作效率的降低，以及政府统计分析产品的功能弱化。 

2、统计调查单位配合度降低

随着社会结构、利益格局、所有制形式的多元化发展，统计工作的外部环境发生了很大变化。各种无主管部门的经济组织、经济实体不断涌现，原有的由行业主管分级收集、汇总报送的统计数据渠道逐步减少，同时，统计调查单位的数量急剧增加，特别是面广量大的小规模私营企业以及个体工商户，难以提供准确的统计数据和资料，且对统计的支持和配合程度下降。

3、信息网络建设进度过于缓慢

现行的政府统计四大工程之一的联网直报形式是基于以往统计部门所运用的纸质报表形式的基础上，只是进行初级的无纸化办公升级，没有使用大数据和云计算等相关手段，政府统计部门的信息网路建设的进度过于缓慢，依然处在起步阶段，在结合度上不够紧密，技术攻关上也没有形成新的突破，导致政府统计部门用主机存储的数据库结构难以应付大数据洪流，也很难提高政府统计数据资源的共享率和利用率。

4、部门统计数据利用率低

部门统计是“大数据”政府统计框架下另一个重要组成部分，大数据背景下，政府部门的行政记录等数据都是大数据中的一环。长期以来，受管理体制、技术手段以及历史条件等制约，政府各部门在登记、办证、审批等管理工作中产生大量的信息数据，但这些数据结构分散、标准不同，被各部门“私有”独占，没有建立规范完善的政府部门之间的数据共享机制，跨部门、跨地区、跨行业、跨地区、跨行业的信息极难实现互联互通，行成一个个“信息孤岛”，在一定程度上延缓了“大数据时代”开展统计服务的步伐。

（三）机遇（Opportunities）分析

1、大数据时代有助于推动政府统计方式的创新

现今我国政府统计中还有相当一些门类的统计方式较为落后，且收集汇总后的数据结果与大众的观感有的相去甚远，这和统计方式落后有一定关系。有研究表明“当前 15%的信息是结构化信息，电子邮件、视频、呼叫中心对话和社交媒体等非结构化信息占 85%。”这对于运用常规的统计方式来提取有意义的信息造成了挑战，电脑和各种智能移动设备等产生信息的设备继续成倍增加，社交网络也在加速发展，这些共享信息的喷涌已经深刻改变公众、政府和企业间的互动方式，老的统计方式必会造成这些领域数据信息的较大缺失。

2、大数据有助于优化政府统计服务

除了原有的服务对象外，可以有偿和无偿对外提供原始或中间数据，可以利用外部数据挖掘能力以提高服务质量等信息社会的发展，有可能让大量的、不同来源的数据信息汇集到政府统计机构，以利于政府统计部门使用科学的方法从纷繁复杂的海量数据中筛选挖掘出有用的信息，生产出各式各样的统计产品，为社会各界提供优质服务，更好地发挥政府统计部门的职能作用。

（四）威胁（Threats）分析

1、政府统计部门不再是数据发布的唯一渠道

一直来，政府统计部门是全社会统计数据采集、发布的主要机构。而在大数据时代，政府统计数据只是大数据中的部分内容，不再是统计数据的唯一渠道。互联网，物联网等时时刻刻生产大量的交易数据和价格数据。免费的数据来源和较低的数据收集成本使得民间数据生产越来越容易。很多大数据公司发布的统计产品也被数据需求者所接受。如阿里巴巴数据中心推出的网络零售价格指数（ISPI），基于淘宝网站实时产生的大量交易数据，对政府统计部门发布的CPI权威性提出挑战。以前政府统计所发布的数据才是权威和有公信力的，因为其它部门和企业都没有相关渠道和资源，只有政府统计才有这样的体制优势，因为《中华人民共和国统计法》中规定，国家建立集中和统一的统计系统，实行统一领导，分级负责的统计管理体制。各级政府统计机构是对经济社会发展情况进行统计调查和统计分析，提供统计资料以及统计咨询意见，实行统计监督的法定机构。但是随着大数据时代的到来，未来大数据必然会对我国政府统计的权威和公信力构成巨大挑战，政府统计部门未来不再是大数据的唯一生产者和拥有者，以即时通讯、电子商务和搜索引擎为三大主体的互联网经济无时无刻不在生产和制造着大量的数据。

2、对政府统计部门的数据挖掘能力提出挑战

政府统计部门虽然会对外公布普查数据、年鉴数据，但大量的政府统计数据在政府统计一次利用后闲置，没有充分挖掘统计数据的价值。通过大量的人力财力获得普查数据，却因为获取数据内容、时间等限制，没能得到及时、广泛的应用。政府统计部门存在重数据采集轻数据分析的缺点，现有的统计分析仍然处于低端水平，对于耗费大量人力物力统计而来的原始数据造成巨大浪费。

3、对政府统计生产流程提出挑战

在大数据时代，随着数据分析软、硬实力的不断提高，数据处理变得更便捷快速，我们的分析不再依赖随机抽样，条件允许我们分析更多的数据，有时甚至可以处理与之相关的所有数据。传统数据时代，统计学中随机采样的目的就是用最少的数据得到最多的信息，当我们可以面对海量数据的时候，随机抽样就失去了意义。我们可以轻松获得分析所需的全部原料（所有数据），不再有随机抽样带来的样本缺憾，因此全面分析方法将逐渐替代随机抽样，抽样分析法将逐渐被抛弃。

4、统计调查数据安全性的挑战

随着IT技术与统计工作的深度融合，目前大部分统计原始数据实现了联网直报，各种办公软件均捆绑固定IP或电脑物理信息，网络在线对话活动十分频繁，数据安全性无疑会受到全面挑战。当然，目前所采集的大部分数据都包含有个人信息，而且存在着各种各样的诱因，让我们想尽办法去采集更多、存储更久、利用更彻底，甚至有的数据表面上并不是个人数据，但是经由大数据处理之后就可以追溯到个人了。

三、未来政府统计工作发展方向

（一）树立新的统计观念

大数据背景下，政府统计将通过对海量数据的收集和整理，改进统计方法制度、创新统计生产方式、推动统计流程再造、提升统计生产力，推进统计数据开放化进程，使得政府统计工作更加开放和透明，真正实现统计数据的全民共享。

（二）改造数据硬件

部署大数据分布式处理框架分布式处理框架是大数据时代下数据中心架构的基本特征，包括分布式存储和分布式计算。分布式存储采用了可扩展的系统架构，利用多台存储服务器分担存储负荷，它不但提高系统的可靠性、可用性和存取效率，还易于扩展。分布式计算将大量的分析计算任务分解为若干小任务，然后将分解后的任务分配到不同的处理节点，最后将计算结果综合起来得到最终的结果。分布式计算具有更强的并行计算能力和扩展性，且适合多类型数据的混合处理，因此，政府统计部门需要在原有数据中心架构基础上，构建分布式处理框架，提升数据存储和处理能力。

（三）统计机构扁平化

在大数据时代，国家统计局与下属统计机构之间的关系、职能和角色也将在大数据影响下进行必要的调整。面对大数据给政府统计职能带来的冲击，现有政府统计部门应该积极融入“大数据”技术变革，加强在不同部口、不同机构间的统汁数据衔接和共享，积极调整政府统计职能。

（四）大数据配合统计执法检查

统计执法是维护统计法律法规、确保统计数据质量和加强统计基础建设的有力保障。大数据背景下，充分利用大数据平台，多角度、多维度验证企业上报数据的准确性，主动出击，杜绝造假。

（五）充分挖掘大数据的政府部门应用潜力

大数据来源于小数据、微观、个体的数据，我们从大数据中需要寻找的是整体的规律、总体的运行趋势，最终目的是要回归到微观和个体上。大数据对社会大众的服务，具有一定营利性，是一个完全竞争市场，但是在为党政机关服务这块，统计部门具有得天独厚的优势。统计部门作为数据生产和应用的龙头，在整合部门行政记录等大数据的基础上，还要掌握大数据最先进的挖掘方法，探索研究大数据社会评估模型，以期在政府部门考核和反腐败方面发挥作用。