农业大数据技术前沿与应用

仿真可视 仿真可视 化技术 化技术
传输速率 编码标准 传输方式 传输冗余 …… 存储格式 存储方式 存储安全 数据结构 ……

百度文库
汇交方法 汇交内容 汇交分类 汇交范围 ……
采集规范
传输标准
存储标准
汇交标准
大数据数据标准化标准体系框架
3.农业大数据分析处理技术
建模技术：
微型移动信息获取技术
生物传感、微纳米传感器、便携 式传感器等新型设备。
系统性
全面性
2.数据标准化技术
数据增值的关键在于整合，但整合的前提是数据标准的统一。 农业领域数据标准化变得极为迫切，信息采集、传输、存储、 汇交的标准规范亟需大量出台。农业基准数据库亟需建立。 农业基准数据库
采集内容 采集方式 采集时间 采集地点 ……

农业自然资源数据3500PB
农业市场数据800PB

农业生产数据2500PB 农业管理数据1200PB
农业数据每年将以50%-80%的速度增长
KB MB GB TB PB EB ZB
（103字节） (兆，106字节) (吉，109KB ） (太，1012字节) (拍，1015字节) (艾，1018字节) (泽，1021字节)
平衡表技术：
美农部平衡表 FAO-OECD平衡表
其他消费 出口量 期末库存 库存变化
中国农产品监测预警模型
中国农产品监测预警模型（CAMES）整体模型框架已经形成。总体上来讲， CAMES 要等同于甚至优于 ERS/USDA 的大型系统。其特点是，监测预警的农产品种 类多、品种全，涵盖11大类953个农产品品种；监测预警的空间分布广、区域性 强；监测预警时期包含短期、中期和长期；监测预警模型涵盖气象、投入和管理 等影响因子。
变动的内在机理、波动周期、市场走势的可视化呈现。
农信采监测数据可视化 农信采监测数据可视化
三、主要应用
大数据应用在于从流程优化、知识发现、辅助决
策的过程中发现大价值。 大数据技术与农业领域的深入耦合，将对我国的
农业市场监测预警、智慧农业生产管理、和农业国家
宏观管理决策带来前所未有的变化！
1.农产品市场监测预警---发现市场风险
生长监测-16个指标
气 象 监 测 -24 个 指 标
土壤养分监测 -15个指标
yw
y
i
n
wi
(T j , R j , L j , S j ,......)
（5）农业统计数据
农业部统计报表 农业综合调查制度 农村经营管理情况统计报表制度 全国乡镇企业统计报表制度 农业资源环境信息统计报表制度 全国土壤肥料专业统计报表
4.数据分析模拟技术
模拟育种 = 大数据+超级计算
种子基因数据+环境因子数据+遗传模型+超级计算 通过计算机动态模拟种子的生产过程、产量形成过程……
5.农业大数据交互式可视化技术
大数据背景下，在交互式数据可视化技术的支撑下，通过对高频
变农产品市场数据的处理，实现多品种、多地域、多类型农产品市场
搭建农业监测预警研究空间
是中国农科院信息所农业信息学科建设和发展的集中体现。是在线协商
的良好平台，也是农业信息分析等学科研究的重要载体。农业监测预警空间 建有中国农产品监测预警系统、中国农业监测预警数据库系统、在线会商系 统等多套应用系统及先进硬件支撑环境。
具有4大功能：
实时监测
信息提取
大数据处理
跨域关 联思维 互联网 思维
大数据 思维
数据思 维
产业思 维
二、前沿技术
农业大数据的发展对传统的数据处理 技术体系提出了巨大的挑战，需要我们在 数据采集、数据标准、数据处理、数据分
析、数据展现等方面做全新的技术升级。
1.数据精准获取技术
可穿戴式的信息获取技术
可植入、可嵌入式数据获取技术
实时性 规范性 精准性
Shotgun ）分区内包含 1914 亿个碱基对，6272 万个基因组序
列。 全部数据若是装订成册，将载满700多辆卡车。
（3）资源环境数据
对地观测（遥感）技术农业资源研究提供空间数据，而且，遥感 监测一直向高时空分辨率、高光谱、多频段方向发展，数据生产能力 越来越强；
美国NASA和USGS研究生产的包括GLS1975、1990、2000、2005 和2005（EO-1）五个子集的一套Landsat卫星影像，总数据量超过5TB；
气候变化专门委员会 （ IPCC ）第四次评估 报告中采用了超过了 29,000 个 观 测 资 料 序 列，第五次报告中使 用的数据量达到了 2.3PB。
（2）生物信息数据
1984年，由NIH创办的基因数据库（GenBank）； 截止2011年4月，在传统数据存储区，共有1.35亿条序列 记 录 ， 包 含 1265 亿 个 碱 基 对 ； 在 WGS （ Whole Genome
优化调整
农作物生长 与产量形成 机理模型
农业智能仿真架构 农业智能仿真架构
关联分析：

农业动态 农业动态 建模技术 建模技术
交互仿真 交互仿真 模拟技术 模拟技术
仿真可视 仿真可视 化技术 化技术
专家会商系统结合； 专家智慧动态引入； 仿真模拟智能化和自适应；



仿真过程介入； 仿真结果反馈； 生产与市场决策流程优化。
农业大数据（Big data）是指在现代农业生产、经营、管理 等各种活动中形成的，具有潜在价值的、海量的、活的数据。 是现代农业建设、发展、管理的“基准线”。
农业进入大数据时代
目前，中国每年产生并被存储的数据总量超过800EB（1018字节），
相当于全人类讲过的话160倍。
农业每年产生的数据量约为8000PB （1015字节）
农业监测预警是现代农业稳定发展的最重要基础之一
现代 农业
产量 形成
产销 流通
产品 消费
信息流揭示 过程模拟 预警与调控
移动采集技术
“农信采”（便携式农产品全息市场信息采集器），是一款新型的农产
品市场信息采集设备。“农信采”的推广应用，将为我国农产品市场信息标 准化、即时性采集带来革命性的变化，可广泛应用于田头市场、批发市场、 零售市场的农产品全息信息采集。
农业大数据处理平台
预测生成 规律揭示 知识发现
数据分析
预测分析 技术
人工智能 技术
统计分析 技术
联机分析 技术
数据挖掘 技术
数据处理
数据仓库 技术
数据预处 理技术
数据并行 处理技术
数据流处 理技术
多维数据 处理技术
农业大数据计算平台
数据存储
虚拟化技术
平台管理技 术
MapReduce编 程模式
海量数据存 储技术
全国植保专业统计报表
农业机械化管理统计报表制度 种子管理机构报表
种子企业报表
„„
953个品种，全国1000家市 场，每日价格等11个指标 的信息，每天超过1000万 个数据„„
农业大数据思维
大数据最大的作用在于给人们带来了思维上的转变 万物皆比特，一切皆数据!
数据文化：尊重事实、强调精准 推崇理性 数据制度：数据立法、用数机制 尚数环境 数据治理：事前管理、科学决策 数据创新 资源配置：精准化、智能化、高 效化
Windows mobile版本 安卓版本
农信采在全国广泛应用
在北京、天津、河北、福建、湖南、广东、海南等省市几百个田头、批发、 零售市场进行推广应用，共采集数据59万余条。 从2014年9月1日将由发改委、农
业部在新疆、黑龙江、吉林、内
蒙古4省区用于大豆和棉花的目 标价格采集。
该设备的定位功能、数据纠错、
农业大数据技术前沿与应用
许世卫 研究员
农业部农业信息服务技术重点实验室 中 国 农 业 科 学 院 农 业 信 息 研 究 所
2014 年 10 月 南京
主任 所 长
内 容
一、农业进入大数据时代 二、前沿技术
三、主要应用
四、未来展望
一、农业进入大数据时代
“大数据”,主要是来描述和定义信息爆炸时代产生的海量数
Y a0 a1 X1 a2 X 2 an X n

农作物生长与产量形成机理建模； 农产品消费行为与消费量变化动态建模；
农产品消费 行为与消费 量变化模型
农业 专家 专家会 商系统
多代理 系统 CAMES模 型系统
介入与反 馈模型
决策 优化

基于多代理系统进行农业智能仿真模拟；
信息分析功能，可用于审定品种、 种业专利数、种子企业、种子价
格、种植面积、供需状况等种业
信息的采集。
数据标准化技术
制定了农业部行业标准2项
积极推进农业信息标准化科研工作，在建立农产品全息市场信息框架体系 起草、制定了《农产品全息市场信息采集规范（ NY/T 2138-2012 ）》与 《农产品市场信息分类和计算机编码（NY/T 2137-2012）》2项行业标准
（4）作物生长监测数据
实时监测仪器、设备全 天候监测，随着设备种类 的增长、价格的降低，监 测点将成指数级增长，所 产生的数据，将快速增长。 仪器监测每10分钟采集 1次数据（60多个指标*5 万次/年）+市场监测数据 +统计监测数据+视频监测 数据 >15G/年
土壤水分监测 -5个指标
视 频 监 测
海量数据管 理技术
智能仿真模拟
农业 专家 农产品消费 行为模型 专家会 商系统
信息发布
多代理 系统 CAMES模 型系统
介入与反 馈模型
决策 优化
优化调整
农作物生长 机理模型
经济计 量模型 农业智能仿真架构 农业智能仿真架构
农业动态 农业动态 建模技术 建模技术
交互仿真 交互仿真 模拟技术 模拟技术
据，并命名与之相关的技术发展与创新。互联网行业是大数据
应用的领跑者，目前，大数据正在加速向农业领域拓展。
基础架构
关键分析
主要应用
开源的项目
农业的新变化
随着传感器、智能移动设备、互联网等的发展，数 据呈现爆炸式增长。
量大
地域性
农 业
数据无处不在
季节性
类杂
数据无时不有
特点 实时
多样性 周期性
复杂
数据无物不生 数据无人不感
平衡表
2018 13955 228 8660 22843 22843 13874 11116 1803 228 727 42 8926 266 2019 14050 229 8926 23205 23205 13969 11173 1837 237 722 43 9193 267 2020 14146 230 9193 23569 23569 14064 11235 1866 245 718 44 9461 268 2021 14193 231 9461 23885 23885 14111 11254 1891 253 713 44 9730 269 2022 14240 233 9730 24203 24203 14158 11277 1913 260 709 45 9999 269 2023 14290 234 9999 24523 24523 14208 11303 1933 267 705 46 10268 269
农业部于2012年2月21日颁布，并于2012年5月1日起正式实施。
模型分析处理技术
美国农业部：
多国商品联接模型 （Baseline模型)
食物与农业政策模拟模型 （Fapsim模型）
FAO-OECD：
Aglink-Cosim模型
FAO全球粮食信息预警 系统
类别 生产量 进口量 期初库存 总供给 总需求 消费量 口粮消费 饲料消费 工业消费 2014 14214 223 6236 20673 20673 13523 10886 1658 194 785 39 7112 876 2015 14113 225 7112 21450 21450 13633 10966 1697 203 767 39 7777 665 2016 14016 226 7777 22019 22019 13706 11011 1733 211 751 40 8273 496 2017 13988 227 8273 22488 22488 13787 11060 1768 220 739 41 8660 387
气象数据
生物信息数据
资源环境数据
生长监测数据
农业统计数据
（数据来源：ZDNET《数据中心2013：硬件重构与软件定义》年度技术报告）
1.农业大数据的类型
（1）气象数据
全球气候观测系统（Global Climate Observing System）
2012 年 每 天 新 增
超 过 250GB ， 政 府 间