初探分布式详解大数据 MySql
什么是分布式系统分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。 首先需要明确的是，只有当单个节点的处理能力无法满足日益增长的计算、存储任务的时候，且硬件的...
spark性能调优（二） 彻底解密spark的Hash Shuffle详解大数据 MySql
引言Spark HashShuffle 是它以前的版本，现在1.6x 版本默应是 Sort-Based Shuffle，那为什么要讲 HashShuffle 呢，因为有分布式就一定会有 Shuffle，而且 HashShuffle 是 Spark以前的版本，亦即是 Sort-Based Shuffle 的前身...
spark 性能调优（一） 性能调优的本质、spark资源使用原理、调优要点分析详解大数据 MySql
一、大数据性能调优的本质编程的时候发现一个惊人的规律，软件是不存在的！所有编程高手级别的人无论做什么类型的编程，最终思考的都是硬件方面的问题！最终思考都是在一秒、一毫秒、甚至一纳秒到底是如何运行的，并且基于此进行算法实现和性能调优，最后都是回到了硬件！在大数据性能的调优，它的本质是硬件的调优！即基于 CPU(...
spark 调优——基础篇详解大数据 MySql
开发调优 调优概述 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在开发过程中，时时刻刻都应该注意以上原则，并将这些原则根据具体的业务以及实际的...
Spark 介绍详解大数据 MySql
安装在集群上的spark版本：spark-1.6.3-bin-hadoop2.6.tgz scala版本：scala-2.10.4.tgz1、spark是什么 Spark， 是一种通用的...
Spark集群基础概念 与 spark架构原理详解大数据 MySql
一、Spark集群基础概念 将DAG划分为多个stage阶段，遵循以下原则： 1、将尽可能多的窄依赖关系的RDD划为同一个stage阶段。2、当遇到shuffle操作，就意味着上一个stage阶段结束，下一...
Hbase—— rowkey 过滤器（rowfilter）详解大数据 MySql
1、RowFilter 提取rowkey以01结尾数据Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL,new RegexStringComparator(".*01$...
Hbase（七）hbase高级编程详解大数据 MySql
一、Hbase结合mapreduce 为什么需要用 mapreduce 去访问 hbase 的数据？ ——加快分析速度和扩展分析能力 Mapreduce 访问 hba...
Hbase(六) hbase Java API详解大数据 MySql
一、 几个主要 Hbase API 类和数据模型之间的对应关系： 1、 HBaseAdmin关系： org.apache.hadoop.hbase.client.HBaseAdmin作用：提供了一个接口来管理 HBase 数据库的表信息。它提供的方法包括：创建表，删 除表，列出表项，使表有效或无效，以及添加或...
Hbase(五) hbase内部原理详解大数据 MySql
一、系统架构 客户端连接hbase依赖于zookeeper，hbase存储依赖于hadoop client：1、包含访问 hbase 的接口， client 维护着一些 cache（缓存） 来加快对 hbase 的访问，比如 region 的 位置...