文档之家
首页
教学研究
幼儿教育
高等教育
外语考试
建筑/土木
经管营销
自然科学
当前位置:
文档之家
›
大数据与网络舆情分析精品PPT课件
大数据与网络舆情分析精品PPT课件
格式:pptx
大小:10.35 MB
文档页数:58
下载文档原格式
下载原文件
/ 58
下载本文档
合集下载
下载提示
文本预览
1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
微博是目前中国唯一能够满足普通用户将信息传递到全国皆知的需 求的平台。
上海微趣 | abit.io
21
主要的技术路线比较
方案 及时获取 完整获取 判别热度 判别真假 可扩展 稳定性
API
关键词实 时获取
X
X
X
X
非常稳定
页面爬虫 重要优先
√
√
√
√
较稳定
页面爬虫根据采集能力约束主要分为:“全采集”与“组织性采集”。
• 舆论噪音的辨别与去除
• 探查整个社交网络数亿用户情况,通过真实度算法识别网络机器人,确保去除虚假互联网声音。
上海微趣 | abit.io
27
微博实时搜索
上海微趣 | abit.io
28
微信实时搜索
上海微趣 | abit.io
29
案例 – 平度事件
最早
影响力最大
上海微趣 | abit.io
21-24号的数据统计
日期 微博数 转发数 评论数 微信数
3.21 486 44220 12942 1
3.22 608 78114 27745 1
3.23 614 36297 13410 0
3.24 262 3964 1424
1
30
实时意见领袖的监测
上海微趣 | abit.io
• 微博每天产生近2亿条各类内容
• 社交媒体特点
• 海量数据
• 大量长尾和碎片和噪音
上海微趣 | abit.io
19
互联网舆情现状
上海微趣 | abit.io
来自百度文库20
当前互联网舆情监测的思路
在今天的中国,任意可能被在全社会范围内传播的舆情都无法绕开 微博这一传播载体。
只要内容具有传播价值,数亿微博用户中总有人会将其从门户,论 坛,朋友圈及其它各类媒介中放到微博中进行传播,因此微博可以 说是大数据时代舆情监测最重要的阵地。
• 全国政务微博总数 17万,2012年增长 2.5倍(其中在新浪微博6万)。
• 在新浪微博开通的企业微博总数 27万,2012年增长 1.2倍。
• 微信
• 微信用户 3亿,日活跃约 2亿,公众号约200万,认证公众号与服务号约20万。
• 新一轮的信息爆炸
• 传统门户,论坛有价值信息量大约在一年1亿条左右
• 大数据处理
• 自主研发了国际上最先进的非关系型数据库并利用分布式文件系统(hadoop)实现了低成本的高速数据读 写。经测试同等硬件环境下,读取速度比SQL Server或Oracle快20倍,写入快5倍。
• 舆情的发现
• 基于国际上一些权威的传播研究论文,设计出能够实时评价舆情重要性的“热度指数”,获得国家相关奖项 认可。
14
社交关系网结构
上海微趣 | abit.io
15
社交关系结构
上海微趣 | abit.io
16
群体/个体兴趣对比分析
上海微趣 | abit.io
17
网络舆情分析
上海微趣 | abit.io
18
互联网舆情现状
• 微博
• 新浪微博用户 6.5亿,日活跃 4600万,腾讯微博用户 6.2亿,日活跃约 1亿。
8
影响力评估
上海微趣 | abit.io
9
用户作息时间
上海微趣 | abit.io
10
群体/个体习惯对比分析(作息,上网)
上海微趣 | abit.io
11
自然状态下的用户言论
上海微趣 | abit.io
12
自然状态下的用户言论
上海微趣 | abit.io
13
移动设备更替
上海微趣 | abit.io
个互联网中仅有9人有较小机会看到并传 播该信息。 3. 该信息经过4小时左右传播后被删除,删 除前仅转发了65次,但最终在全网范围内 进行扩散。
案例结论:
1. 舆情监测必须全平台。 2. 如仅监测大号,无法确保舆情监测业务
的安全。 3. 基于社交网络的舆情传播力非常大,一
不注意就造成舆论灾难。
上海微趣 | abit.io
上海微趣 | abit.io
22
案例 – 上海法官招嫖事件
事件回放:2013.8.2网上开始大量传播以
视频截图为依据的披露上海高院法官集体招 嫖的事件,该事件在全国范围内造成大范围 的传播与讨论,造成恶劣影响,微趣舆情平 台在这条暴露微博仅仅转发11次之前就捕 获了该微博。
案例特点:
1. 爆料人在腾讯微博上注册用户并进行发布。 2. 该用户爆料时,粉丝仅为9人,即初期整
• 舆情的发现
• 任意舆情系统最终都需要将数据呈现在用户面前,在大量相关数据面前,人一天满负荷浏览最多不会超过 2000条微博,但在大数据的基础上,往往相关数据都会超过这个极限。因此如何实时将最重要的舆情信息 优先放到用户面前成为重要问题。
• 舆论噪音的辨别与去除
• 社交平台中存在大量受控制的机器账号,总量惊人,这些机器账号可以被利用快速增长某些内容的转发量。
现在可以在一个平台上掌 握所有的这些声音。
通过这些大数据可回答以下问题:
谁/哪些人 在讨论一个什么问题 他们的观点和期望到底是什么
可自由组织的问题
上海微趣 | abit.io
4
上海微趣 | abit.io
5
上海微趣 | abit.io
6
上海微趣 | abit.io
7
上海微趣 | abit.io
需要有技术识别舆情的真假,防止被错误引导。
上海微趣 | abit.io
24
内容传播分析
上海微趣 | abit.io
25
真实传播评估
上海微趣 | abit.io
26
应对技术
• 大数据采集
• 从09年开始研发搭建的高效分布式采集平台,将近百个采集点毫无规律地放置在全球各地,使采集能力大增 并且不易被平台防抓取技术拦截,已稳定采集4年相关数据。
abit.io
大数据与网络舆情分析
大数据
上海微趣 | abit.io
2
所有真实用户都不独立存在,紧密的社交圈在帮助用户产生数据。
社交大数据的内部爆炸 可以为任意分析提供充足的数据支撑
上海微趣 | abit.io
3
超过6亿互联网真实用 户档案数据。
每天新产生的数亿条的评 论,及过去4年间数百亿 的各类观点。
23
舆情监测的挑战
• 大数据采集
• 社交媒体数据量较传统门户论坛增长了数百倍,传统舆情平台技术无力实现全数据采集。
• 微博数据源都是高技术能力的互联网公司,反采集技术成熟,难以攻破。(短信验证,图片识别等)
• 大数据处理
• 利用传统的数据处理与存储方式,要实时处理数以亿计的数据需要投入庞大的硬件,一般公司无法承担。例 如邓亚萍的即刻搜索,就投入了近700台高性能服务器提供微博内容的搜索服务,但仍然数据缺失严重。
相关主题
大数据分析课件ppt
大数据与网络舆情
大数据与网络舆情分析
大数据分析ppt
网络舆情ppt
网络舆情课件ppt
文档推荐
大数据与网络舆情分析.
页数:57
网络舆情大数据分析指引
页数:57
大数据时代如何利用指数分析舆情 (修改)
页数:35
大数据与网络舆情分析
页数:57
大数据与网络舆情分析
页数:57
互联网+网络舆情监测大数据平台建设方案
页数:8
浅析大数据时代下的网络舆情
页数:2
大数据与网络舆情分析精品PPT课件
页数:58
互联网+网络舆情大数据监测平台建设方案
页数:58
大数据与网络舆情分析
页数:50
最新文档
现浇箱梁施工专项方案
2018党员学习思想汇报精选范文3000字
助理经济师述职报告范文实用版
中医临床三基精选试题(医技)
政府克服市场失灵的优势分析
单轨吊、卡轨车事故防范措施通用范本
黄金面膜,你真的是将黄金吸收进皮肤里了?
2019年(北师大版)二年级上册数学期中试题 (2)
零式战机
CANON EOS 1DS MARK III VS CANON EOS 5D MARK II