ElasticSearch教程-分布式集群之集群健康

SAPV博客之家-在Elasticsearch集群中可以监控统计很多信息,但是只有一个是最重要的:集群健康(cluster health)。集群健康有三种状态:green、yellow或red。

  • 0
  • 0
  • 张鹏
  • 发布于 2018-06-02 14:15
  • 阅读 ( 545 )

ElasticSearch教程-分布式集群之空集群

SAPV博客之家-一个节点(node)就是一个Elasticsearch实例,而一个集群(cluster)由一个或多个节点组成,它们具有相同的cluster.name,它们协同工作,分享数据和负载。当加入新的节点或者删除一个节点时,集群就会感知到并平衡数据。

  • 0
  • 0
  • 张鹏
  • 发布于 2018-06-02 14:12
  • 阅读 ( 648 )

ElasticSearch教程-分布式集群之集群内部工作方式

SAPV博客之家-正如之前提及的,这是关于Elasticsearch在分布式环境下工作机制的一些补充章节的第一部分。这个章节我们解释一些通用的术语,例如集群(cluster)、节点(node)和分片(shard),Elasticsearch的扩展机制,以及它如何处理硬件故障。 尽管这章不是必读的——你在使用Elasticsearch的时候可以长时间甚至永远都不必担心分片、复制和故障转移——但是它会帮助你理解Elasticsearch内部的工作流程,你可以先跳过这章,以后再来查阅。

  • 0
  • 0
  • 张鹏
  • 发布于 2018-06-02 14:09
  • 阅读 ( 535 )

ElasticSearch教程-ES分布式的特性

在章节的开始我们提到Elasticsearch可以扩展到上百(甚至上千)的服务器来处理PB级的数据。然而我们的教程只是给出了一些使用Elasticsearch的例子,并未涉及相关机制。Elasticsearch为分布式而生,而且它的设计隐藏了分布式本身的复杂性。

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-30 23:00
  • 阅读 ( 439 )

ElasticSearch教程-聚合查询

最后,我们还有一个需求需要完成:允许管理者在职员目录中进行一些分析。 Elasticsearch有一个功能叫做聚合(aggregations),它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。 举个例子,让我们找到所有职员中最大的共同点(兴趣爱好)是什么:

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-30 22:49
  • 阅读 ( 423 )

ElasticSearch教程-检索查询

ElasticSearch教程-检索查询检索文档 现在Elasticsearch中已经存储了一些数据,我们可以根据业务需求开始工作了。第一个需求是能够检索单个员工的信息。 这对于Elasticsearch来说非常简单。我们只要执行HTTP GET请求并指出文档的“地址”——索引、类型和ID既可。根据这三部分信息,我们就可以返回原始JSON文档:

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-30 22:47
  • 阅读 ( 511 )

ElasticSearch教程-索引的介绍

我们现在开始进行一个简单教程,它涵盖了一些基本的概念介绍,比如索引(indexing)、搜索(search)以及聚合(aggregations)。通过这个教程,我们可以让你对Elasticsearch能做的事以及其易用程度有一个大致的感觉。sapv博客之家

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-30 22:45
  • 阅读 ( 452 )

ElasticSearch教程-文档的概念介绍

面向文档 应用中的对象很少只是简单的键值列表,更多时候它拥有复杂的数据结构,比如包含日期、地理位置、另一个对象或者数组。 总有一天你会想到把这些对象存储到数据库中。将这些数据保存到由行和列组成的关系数据库中,就好像是把一个丰富,信息表现力强的对象拆散了放入一个非常大的表格中:你不得不拆散对象以适应表模式(通常一列表示一个字段),然后又不得不在查询的时候重建它们。

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-29 21:21
  • 阅读 ( 347 )

ElasticSearch教程-通过API与ES交互

与Elasticsearch交互 如何与Elasticsearch交互取决于你是否使用Java。

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-29 21:20
  • 阅读 ( 479 )

ElasticSearch教程-ES安装

安装Elasticsearch 理解Elasticsearch最好的方式是去运行它,让我们开始吧!

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-29 21:17
  • 阅读 ( 494 )

ElasticSearch教程-ES是什么

Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是,Lucene只是一个库。想要使用它,你必须使用Java来作为开发语言并将其直接集成到你的应用中,更糟糕的是,Lucene非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-29 21:14
  • 阅读 ( 586 )

spark数据倾斜解决方案七:使用随机前缀和扩容RDD进行join

sapv博客之家,spark数据倾斜解决方案七:使用随机前缀和扩容RDD进行join

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-23 22:50
  • 阅读 ( 794 )

spark数据倾斜解决方案六:采样倾斜key并分拆join操作

sapv博客之家,spark数据倾斜解决方案六:采样倾斜key并分拆join操作

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-23 22:47
  • 阅读 ( 608 )

spark数据倾斜解决方案五:将reduce join转为map join

sapv博客之家,spark数据倾斜解决方案五:将reduce join转为map join

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-23 22:45
  • 阅读 ( 2477 )

spark数据倾斜解决方案四:两阶段聚合(局部聚合+全局聚合)

sapv博客之家,spark数据倾斜解决方案四:两阶段聚合(局部聚合+全局聚合)

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-23 22:42
  • 阅读 ( 690 )

spark数据倾斜解决方案三:提高shuffle操作的并行度

spark数据倾斜解决方案三:提高shuffle操作的并行度

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-23 22:40
  • 阅读 ( 873 )

spark数据倾斜解决方案二:过滤少数导致倾斜的key

spark数据倾斜解决方案二:过滤少数导致倾斜的key

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-23 22:39
  • 阅读 ( 705 )

spark数据倾斜解决方案一:使用Hive ETL预处理数据

spark数据倾斜解决方案一:使用Hive ETL预处理数据

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-23 22:38
  • 阅读 ( 902 )

Spark性能优化:数据倾斜调优-数据倾斜的现象

sapv博客之家,spark数据倾斜出现的现象

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-23 22:12
  • 阅读 ( 477 )

[ERROR] error: error while loading CharSequence, .....CharSequence.class)’ is broken

[ERROR] error: error while loading CharSequence, .....CharSequence.class)’ is broken

  • 0
  • 0
  • 张鹏
  • 发布于 2018-05-23 22:05
  • 阅读 ( 1128 )

今天,有什么经验需要分享呢?

立即撰写

热门作者 »

热议话题 »