LS/T 1820-2018 粮食大数据资源池设计规范

ICS35.240.99

B20

中华人民共和国粮食行业标准

/—

LST18202018

粮食大数据资源池设计规范

Secificationforrainbidataresourceool

pggp

2018-01-08发布2018-03-01实施

国家粮食局发布

/—

LST18202018

目次

前言…………………………Ⅲ

引言…………………………Ⅳ

1范围………………………1

2规范性引用文件…………………………1

3术语和定义………………1

4总体要求…………………2

5层次结构…………………3

6数据构成…………………3

7数据描述…………………5

8数据接口…………………7

9数据模型与存储体系……………………7

10数据安全…………………9

11备份与恢复………………9

12可扩展性………………10

13资源池管理……………10

14运行环境………………10

15设计指标………………10

()………………………

附录规范性附录元数据内容

A11

()…………………

附录资料性附录元数据值域代码

B22

参考文献……………………25

Ⅰ

/—

LST18202018

前言

本标准按照/—给出的规则起草。

GBT1.12009

本标准由国家粮食局提出。

(/)。

本标准由全国粮油标准化技术委员会SACTC270归口

:、。

本标准起草单位南京财经大学国家信息中心

:、、、、、、、。

本标准主要起草人张璐伍之昂曹杰申冬琴雷涛林曦徐枫宦茂盛

Ⅲ

/—

LST18202018

引言

、、,、

随着粮食生产流通仓储等各环节中信息技术的广泛应用各级粮食主管单位各大型粮油仓储企

。,

业建设和运营的粮食信息化系统中积累了大量高价值的粮食信息数据资源然而这些宝贵的粮食数

,,,,

据资源分散于各种应用系统中彼此结构不同无法融合共享存在数据重复和冲突等现象并且访问接

,,。

口众多数据获取困难难以直接服务于各种业务粮食大数据资源池旨在汇聚和集成各粮食信息系统

,、、、,

中的数据建立数据丰富格式规范存储安全访问高效的数据资源平台以支撑基于大数据的各种粮

。、、、。

食信息化服务本标准的制定将规范粮食大数据资源池的规划设计开发部署及应用

Ⅳ

/—

LST18202018

粮食大数据资源池设计规范

1范围

、、、、、

本标准规定了粮食大数据资源池设计的总体要求层次结构数据构成数据描述数据接口数据

、、、、、、。

模型与存储体系数据安全备份与恢复可扩展性资源池管理运行环境设计指标等

、、、、,

本标准适用于粮食大数据资源池的规划设计开发应用培训和运行维护支持与粮食行业其他

信息系统的互联互通。

2规范性引用文件

。,

下列文件对于本文件的应用是必不可少的凡是注日期的引用文件仅注日期的版本适用于本文

。,()。

件凡是不注日期的引用文件其最新版本包括所有的修改单适用于本文件

/中华人民共和国行政区划代码

GBT2260

/世界各国和地区名称代码

GBT2659

/计算机场地通用规范

GBT2887

/()

所有部分语种名称代码

GBT4880

/数据和交换格式信息交换日期和时间表示法

GBT7408

计算机信息系统安全保护等级划分准则

GB17859

/信息安全技术数据库管理系统安全技术要求

GBT20273

/信息安全技术信息系统安全等级保护基本要求

GBT22239

/信息安全技术信息系统安全等级保护定级指南

GBT22240

/:

粮油储藏粮情测控系统第部分通则

GBT26882.11

/地理信息基于坐标的空间参照

GBT30170

数据中心设计规范

GB50174

/:

粮食信息分类与编码粮食加工第部分技术经济指标分类与代码

LST1708.22

/粮食信息分类与编码财务会计分类与代码

LST1711

/粮食信息分类与编码粮食贸易业务统计分类与代码

LST1712

/—库存粮食识别代码

LST17132015

/粮食仓储业务数据元

LST1802

/粮食信息系统网络设计规范

LST1806

/粮食信息安全技术规范

LST1807

3术语和定义

下列术语和定义适用于本文件。

3.1

粮食大数据资源池rainbidataresourceool

ggp

,、、,。

汇聚和集成各种粮食相关数据提供安全可靠高效的数据存储并对外提供粮食数据服务的资源平台

3.2

结构化数据structuraldata

1

/—

LST18202018

,。,

能够组织成行列结构可识别的数据通常是一条记录或者是被正确标记过的数据中的某一个字

,。

段并且能够被精确地定位到

3.3

非结构化数据unstructureddata

,,、、、。

不具备统一的结构不方便用二维逻辑表来表现的数据包括文本图像声音网页等

3.4

元数据metadata

关于数据的数据。

3.5

元数据元素metadataelement

,。

元数据最基本的信息单元每一个元数据元素都用一个包含若干属性的集合来描述

3.6

复合元素comounddataelement

p

,,

由若干元数据元素或者元数据元素与其他复合元素或者若干其他复合元素共同组成的元数据元

,。

素通常用来表示较高层次的概念

3.7

数据类型datate

yp

,、、、

对数据的有效值域及对该值域中的值所允许的操作的规定例如数值型布尔型日期类型文本类

、。

型复合类型等

3.8

数据集dataset

,。

由相关数据组成的可标识集合是元数据的描述对象

3.9

数据集类型datasette

yp

,。

根据数据集的结构或资源特征对数据集所作的类型划分

3.10

实体entit

y

,。

按一定结构组织起来的数据的集合其结构可用一组属性来刻画

3.11

分布式文件系统distributedfilesstem

y

管理的物理存储资源分布于若干节点且节点间通过计算机网络相连的文件系统。

3.12

横向扩展scale-out

通过增加新设备而非升级设备部件的方式提升系统处理能力的方法。

4总体要求

、、:

粮食大数据资源池规划设计开发和部署应满足以下要求

)满足部门业务需求;

a

)、;

b具有可操作性可靠性和可用性

)具有可持续性和可扩展性;

c

)将数据保密和安全作为高优先项;

d

)履行验证和授权功能;

e

)数据安全应与资源池建设同步考虑;

f

2

/—

LST18202018

)基于开放的行业标准和采用成熟的主流技术;

g

)、;

h资源池管理责任机制由主管建设和运维单位相应确定

),,

i资源池各类技术与设备的选用应遵循经济性要求满足当前及未来一定时间内需求的前提下

宜选择性价比最好的设备及技术。

5层次结构

,:

粮食大数据资源池应以云平台的方式建立并提供服务平台分为两级国家级资源池和省级资源

,:

池对应的要求如下

),,

a国家级资源池对接国家级粮食信息系统为省级资源池的上级平台接收来自省级资源池中的

,。

数据汇集全国范围内的粮食数据资源

),,,

b省级资源池对接省级粮食信息系统汇集本省粮食数据为国家级资源池的下级平台定期将

。。

数据同步至国家级资源池中涉粮央企的粮食大数据资源池可比照省级资源池设置

),,

c各级资源池提供其对应范围内的数据服务在下级资源池中数据满足服务需求时应首先使用

下级资源池服务。

6数据构成

6.1通则

、、、、,

粮食大数据资源池应汇集粮食生产收购仓储加工销售等过程中的各种相关数据与粮食有关

、,。

的宏观经济数据管理数据以及互联网公众舆情等数据资源池中应包含但不限于6.2~6.10所规定

的数据类别。

,,、、,

资源池中的数据既包含结构化数据也包含非结构化数据如文本图片音视频等资源池应支持

,。

上述数据的存储与管理并针对未来可能产生的新型粮食数据提供足够的扩展能力

6.2粮食生产数据

6.2.1物料数据

,、、、,、、

种植粮食所使用的物料的使用记录如种子种类来源数量生产批次农药编码农药名称生产

、、,、、、、。

商供应商数量肥料编码名称生产商供应商数量等数据

6.2.2田间环境数据

,(、)、(、、、)、(、)

田间种植环节的环境参数如水高度水质空气温度湿度CO2浓度光照土壤湿度pH

等数据。

6.2.3产量统计数据

、、、、、

全国及各地区耕地面积农作物播种面积粮食播种面积粮食总产量粮食商品量粮食平均亩产

等信息。

6.3粮食收购数据

、、、、、、、

粮食补贴数据粮食收购主体构成粮食收购数量质量收购进度检验结果收购凭证国有企业

、,/—

收购量政策性粮食收购量等执行情况信息以及中关联信息表所包含的收购

LST17132015D.4

信息数据。

3

/—

LST18202018

6.4粮食仓储数据

6.4.1基本信息数据

/中粮食仓储业务数据元分类表中的基本信息数据。

LST1802

6.4.2粮食出入库数据

/—中关联信息表所包含的库存信息数据。

LST17132015D.4

6.4.3仓储作业数据

、,、、,,、、、、、、

降水时间方法熏蒸时间药剂浓度通风时间仓库温度湿度水分氧气二氧化碳磷化氢储

,/。

粮害虫及螨类等信息以及LST1802中仓储作业信息数据元所包含的数据

6.4.4粮情测控数据

/,/

LST1802中粮情检测数据元所包含的数据以及GBT26882.1中规定的粮情测控系统设备的

运行记录。

6.4.5仓储账目数据

、,:、、、

各粮库粮食进出库保管以及清仓查库过程中涉及的账目数据包括账本统计报表统计台账原

、、、、。

始凭证粮库保管账统计表会计账银行资金账等数据

6.4.6仓储视频数据

粮仓视频监控系统产生的视频数据。

6.5粮食加工数据

,、、,,,,,

加工企业信息加工生产线编码名称加工产品名称产品规格加工数量加工时间检测时间检

,,,/。

验结论检验员产品生产日期等数据以及LST1708.2所包含的加工指标的完成情况数据

6.6粮食销售数据

6.6.1粮食市场数据

、、、、

粮食销售总量国有企业销售量政策性粮食竞价交易数据终端市场价格主要粮食制品价格等

数据。

6.6.2粮食消费信息

、、、、。

粮食消费总量人均消费量工业用粮饲料用粮种子用粮等数据

6.6.3粮食贸易数据

/中包含的粮食零售相关数据。

LST1712

6.7粮食运输数据

、,,、,,

粮食的出发地目的地运输过程中的车辆轨迹运输过程中粮食存放环境时间操作人员通过

、、、。

RFID出入库系统检测的粮食货位号运输工具编号吨粮袋号地磅计量信息等数据

4

/—

LST18202018

6.8宏观粮食数据

6.8.1宏观统计数据

、、、、、、

产量大县粮食质量指标人口总数地区产值地区财政收入城镇居民人均可支配收入农民人均

纯收入等基本信息。

6.8.2粮食库存数据

、、、。

国有及非国有粮食经营企业库存粮食转化企业库存农户存粮城镇居民存粮等数据

6.8.3国际市场数据

/、、、、

LST1712中包含的粮食进出口数据主要国家经济指标粮食期货指数现货价格国际主要粮食

、、、。

制品价格世界银行农业相关数据国际粮农组织相关数据美国农业部相关数据等

6.8.4宏观调控信息

,,,。

粮食政策法规粮食供需平衡预测粮食综合生产能力评价储备粮轮换计划编制信息等数据

6.9粮食管理数据

6.9.1涉粮企业信息

、。

全国粮食仓储企业粮食加工企业等信息

6.9.2行政许可业务管理信息

、、、、、。

粮食收购资格许可储备粮承储资格许可仓储单位备案熏蒸作业备案经纪人备案质量追溯等数据

6.9.3粮食财务数据

/中所包含的粮食财务会计数据。

LST1711

6.10其他外部数据

,、。

其他涉及粮食行业的外部互联网数据包括各种与粮食相关的新闻报道公众话题等

7数据描述

7.1通则

、、。

粮食大数据资源池中的数据应通过元数据对其组织结构管理信息访问信息等内容进行描述

,,、、

元数据的描述对象为数据集描述内容参见7.2应包含数据集描述信息数据集分发与服务信息

,、。

结构描述信息个必选模块以及范围信息联系信息个可选辅助模块

32

,、、、、、、、

元数据元素的属性参见7.3应包含中文名称英文名称标识定义类型值域可选性最大出现

、。

次数注释等个属性

9

7.2元数据内容

7.2.1数据集描述信息

,“”“”。

数据集描述信息模块为必选模块可引用范围信息联系信息两个辅助模块中的内容

。,

数据集描述信息模块应记录数据集的基本信息利用数据集描述信息模块中的元数据元素能够

5

/—

LST18202018

,、、、、、

对数据集本身的基本属性信息进行详细描述例如数据集名称分类创建者摘要来源所采用的语言

,。

等数据集用户能够通过浏览这些描述信息对数据集形成一个总体了解

数据集描述信息包含的元数据元素见附录的。

AA.1

7.2.2数据集分发与服务信息

,“”。

数据集分发与服务信息为必选模块可引用联系信息辅助模块中的内容

、,

数据集分发与服务信息模块应记录与数据集发行获取及提供服务有关的信息主要包括数据格

、、、、、。

式使用数据集的技术要求收费策略权限声明订购指南联系信息等内容数据集分发与服务信息

,,

模块还应记录与数据集相关的服务的标识信息以及详细的服务元数据信息该模块用于在数据集与相

关服务之间建立连接。

数据集分发与服务信息包含的元数据元素见A.2。

7.2.3结构描述信息

结构描述信息为必选模块。

,、、

结构描述信息模块应记录数据集所包含实体的结构的有关信息包括实体基本信息属性信息约

。,。

束条件等内容实体结构信息可包括关系型数据库中的数据表及其属性信息以及数据字典中的信息

,,,

对于不通过关系型数据库管理但具备关系数据库表格类似特征的实体也可通过此模块来描述例如

具有明确字段或键的文档数据库和文本文件等。

结构描述信息包含的元数据元素见A.3。

7.2.4范围信息

,,。

范围信息为辅助模块不得单独使用而应被必选模块的有关元素引用

、。

范围信息模块应记录数据集内容所涉及的分类时间和空间范围的信息

范围信息包含的元数据元素见A.4。

7.2.5联系信息

,,。

联系信息为辅助模块不得单独使用而应被必选模块的有关元素引用

联系信息模块应记录与数据集有关的个人和组织的联系信息。

联系信息包含的元数据元素见A.5。

7.3元素属性

(),。

元数据元素包括复合元素和数据元素由包含个属性的集合描述集合包含的属性见表

91

表1元素属性

属性名称说明

中文名称元素的中文名称

英文名称元素的英文名称

标识用字符串表示的元素标识

定义对元素含义的解释

,

类型元素所属的数据类型见表2

,

值域元素值的允许范围自由文本表示无限制

,:()()

可选性元素是必选元素还是可选元素可以的值包括必选或可选

MO

6

/—

LST18202018

()

表续

1

属性名称说明

,“”。“”。

元素所允许的出现次数只出现一次用表示重复出现用表示不为的固定出现次

1N1

最大出现次数

,“”“”“”。“”“”

数可用相应的数字表示如不出现用或表示

2340NULL

、

注释对元素的补充说明建议及其他

表数据类型

2

数据类型说明

,()

文本自由文本表明对数据项字段的内容没有限制

,

数值通过数值的形式表达值的类型包括整数和实数等

,/

时间以年月日时分秒的形式表达的值的类型参见GBT7408

,,

布尔两个而且只有两个表明条件的值如或或

TrueFalse10

,、、

二进制通过二进制格式存储对象如图片音频视频等

,

复合由若干数据类型组成或具有特定值的枚举类型

8数据接口

8.1数据获取接口

。,:

数据获取接口主要用于收集数据在权限范围内数据获取接口应支持通过如下方式收集数据

———粮食信息系统API;

———传感设备;

———网络爬虫;

———人工录入。

8.2数据访问接口

。:

数据访问接口用于对外提供数据访问服务数据访问接口应支持如下访问方式

———数据库连接访问;

———中间件访问;

———Webservice标准接口;

———RestfulAPI;

———FTP文件下载;

———,,。

第三方软件访问采用此种方式时应提供具体的接口访问协议说明和数据格式

8.3数据同步接口

。

数据同步接口在国家级和省级资源池间同步数据省级资源池应定期通过同步接口向国家级资源

。,。

池推送更新数据数据同步接口应支持数据的增量更新支持数据的压缩和加密传输数据应封装为

,。

多个单元进行传输每个传输单元的数据量不宜超过5MB

9数据模型与存储体系

9.1数据模型

。、

粮食大数据资源池中的数据应采用合理的存储模型进行组织资源池应至少支持关系模型键值

7

/—

LST18202018

、、,

模型列存储模型文档模型和图模型种数据组织和存储模型不同类型的数据宜采用的存储模型

5

如下:

)结构化数据宜采用关系模型组织;

a

)具有明确键值对的非结构化数据宜采用键值模型组织;

b

),/;

c面向分析型查询需要高效压缩和IO效率的数据宜采用列存储模型组织

),;

d大段文本或具有嵌套环结构的数据宜采用文档模型组织

)具有或能够抽象为明确的点边结构的数据宜采用图模型组织。

e

9.2存储体系

9.2.1通则

,

粮食大数据资源池应提供服务器本地存储与专用存储设备相结合的存储体系存储介质应以磁盘

,,。

为主支持磁盘阵列可辅以固态硬盘对高频访问数据进行加速各种粮食数据应根据其访问频率和安

全性要求存放于合适的存储位置:

)、,

a服务器本地磁盘存储实时高频访问的业务数据宜采用分片方式使数据访问与存储能够在同

,/。

一台服务器上进行降低网络IO开销

),、,

b外置专用存储设备存储备份数据存储设备应支持对数据进行定时增量式的备份并支持将

备份数据导入业务系统。

,,

不同来源的粮食数据具有不同的格式和存储要求粮食大数据资源池应建立混合存储体系包含关

、、、、、、、

系型数据库分布式文件系统内存数据库缓存数据库键值数据库图数据库多媒体数据库数据索

-

引等。

9.2.2关系型数据库