大数据涉及什么技术

大数据应该是现在非常火的一个词了,那大数据涉及什么技术呢?

以永洪科技的技术说下,有四方面,其实也代表了部分通用大数据底层技术:

Z-Suite具有高性能的大数据分析能力,她完全摒弃了向上升级(Scale-Up),全面支持横向扩展(Scale-Out)。Z-Suite主要通过以下核心技术来支撑PB级的大数据:

跨粒度计算(In-DatabaseComputing)

Z-Suite支持各种常见的汇总,还支持几乎全部的专业统计函数。得益于跨粒度计算技术,Z-Suite数据分析引擎将找寻出最优化的计算方案,继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算,我们称之为库内计算(In-Database)。这一技术大大减少了数据移动,降低了通讯负担,保证了高性能数据分析。

并行计算(MPP Computing)

Z-Suite是基于MPP架构的商业智能平台,她能够把计算分布到多个计算节点,再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源,不管是服务器还是普通的PC,她对网络条件也没有严苛的要求。作为横向扩展的大数据平台,Z-Suite能够充分发挥各个节点的计算能力,轻松实现针对TB/PB级数据分析的秒级响应。

列存储 (Column-Based)

Z-Suite是列存储的。基于列存储的数据集市,不读取无关数据,能降低读写开销,同时提高I/O 的效率,从而大大提高查询性能。另外,列存储能够更好地压缩数据,一般压缩比在5 -10倍之间,这样一来,数据占有空间降低到传统存储的1/5到1/10 。良好的数据压缩技术,节省了存储设备和内存的开销,却大大了提升计算性能。

内存计算

得益于列存储技术和并行计算技术,Z-Suite能够大大压缩数据,并同时利用多个节点的计算能力和内存容量。一般地,内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算,CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速,是实现大数据分析的关键应用技术。

简介:

大数据技术是以数据为本质的新一代革命性的信息技术,在数据挖潜过程中,能够带动理念、模式、技术及应用实践的创新。本书系统性地介绍了大数据的概念、发展历程、市场价值、大数据相关技术,以及大数据对中国信息化建设、智慧城市、广告、媒体等领域的核心支撑作用,并对对数据科学理论做了初步探索。

内容:

数据价值的凸显和数据获取手段、数据处理技术的改进是"大数据"爆发的根源。而随着数据生产要素化,数据科学、数据科技的不断发展和数据价值的深度挖掘及应用,一场大数据革命正在进行,它将带动国家战略及区域经济发展,智慧城市建设,企业转型升级,社会管理及个人工作、生活等各个领域的创新和变革。如何真正应用好大数据,发挥大数据的威力,是当前所有人都在共同研究和探索的问题。

大数据在数据科学理论的指导下,改变创新模式和理念,发展大数据技术,深化大数据应用和实践,而行业大数据将是大数据最大、最佳的应用领域。

以上是金投财经网小编为您介绍关于大数据涉及什么技术的问题,更多的财经知识请关注金投财经网。

免责声明:文章中操作建议仅代表第三方观点与本平台无关,投资有风险,入市需谨慎。据此交易,风险自担。

继续阅读
财经
管理
经济
一键安装金投网APP 阅读更流畅 打开
APP

猜你喜欢

贸易摩擦给经济带来下行风险巨大 央行会如何平衡?
推荐 国内 2小时前
国内股市大震荡 地方国资接盘民营企业股权步伐不断加快
推荐 国内 2小时前
运营商不限量套餐更名 人民日报:不套路用户是正道
推荐 消费 昨天
日媒:日本计划出电子签证  2020年正式推出
日媒:日本计划出电子签证 2020年正式推出
推荐 国际 昨天
“美国在过去25年重建了中国?” 认清谬论背后荒唐世界观本质
推荐 国际 昨天
社保制度待遇水平持续提速 今年前8个月社保基金收入达48768.9亿元
推荐 国内 昨天
外汇行情 外汇汇率 人民币汇率查询 工商银行网点 信用卡怎么办理