干货丨如何创建一个大数据平台 (3)

时间:2017-06-17 11:28

所有组织都拥有大量未用于获取业务洞察的数据。这些数据包括日志文件、错误文件和来自应用程序的操作数据。不要忽略此数据,它是宝贵信息的潜在来源。

1 数据复杂性是否在增长?

查找数据复杂性增长的线索,尤其是在数据量、种类、速度和真实性方面。

2 数据量是否已增长?

如果满足以下条件,您可能希望考虑大数据解决方案:

数据大小达到 PB 和 EB 级,而且在不久的将来,它们可能增长到 ZB 级别。

这一数据量给使用传统方法(比如关系数据库引擎)存储、搜索、共享、分析和可视化数据带来的技术和经济挑战。

数据处理目前可使用可用硬件上的大规模并行处理能力。

3 数据种类是否已增多?

如果满足以下条件,各种各样的数据可能都需要大数据解决方案:

数据内容和结构无法预期或预测。

数据格式各不相同,包括结构化、半结构化和非结构化数据。

用户和机器能够以任何格式生成数据,例如:Microsoft® Word 文件、Microsoft Excel® 电子表格、Microsoft PowerPoint 演示文稿、PDF 文件、社交媒体、Web 和软件日志、电子邮件、来自相机的照片和视频、信息感知的移动设备、空中感知技术、基因组和医疗记录。

以前没有为了获得洞察而被挖掘的数据来源不断地在产生新的数据类型。

领域实体在不同的上下文中具有不同的含义。

4 数据的速度是否已增长或改变?

考虑您的数据是否:

在快速更改,必须立即响应

拥有过多的传统技术和方法,它们不再足以实时处理传入的数据

5 您的数据是否值得信赖?

如果满足以下条件,那么请考虑使用大数据解决方案:

数据的真实性或准确性未知。

数据包含模糊不清的信息。

不清楚数据是否完整。

如果数据的量、种类、速度或真实性具有合理的复杂性,那么有可能会适合地采用大数据解决方案。对于更复杂的数据,需要评估与实现大数据解决方案关联的任何风险。对于不太复杂的数据,则应该评估传统的解决方案。

是否所有大数据都存在大数据问题?

不是所有大数据情形都需要大数据解决方案。请在市场中寻找线索。竞争对手在做什么?哪些市场力量在发挥作用?客户想要什么?使用本文中的问题,帮助确定大数据解决方案是否适合于您的业务情形和您需要的业务洞察。如果认为是时候实施大数据项目了,请阅读下一篇文章,其中会介绍如何定义一个逻辑架构,而且将会确定您的大数据解决方案需要的关键组件。

via:微信公众号 数据观


you might also like

人生苦短,我用 Python

10个令人相见恨晚的R语言包

为异构的大数据运行环境构建数据管道

Hiriver —— MySQL 数据变化的监控与分发框架

利用Akka,PayPal如何仅用8个虚拟机缩放至日处理数十亿事务

反反爬虫利器!教你怎么用代理,拨号换IP……

白话AI:看懂深度学习真的那么难吗?初中数学,就用10分钟

这是一篇最通熟易懂的Hadoop HDFS实践攻略!

TensorFlow技术主管:团队如何管理开源项目

给Java开发者的10个大数据工具和框架