dex0423 的博客

记录工作学习的点点滴滴。

Elasticsearch：Windows 安装 ES 及 elasticsear-head

1. 安装 Elasticsearch 下载 Elasticsearch；下载地址：https://www.elastic.co/cn/downloads/elasticsearch；下载后解压缩；打开压缩后的文件，打开 \bin 目录，如下： ...

Elasticsearch：ES 的简介、特点及使用场景

1. ES 简介 ES，是一个开源的高扩展分布式全文检索引擎； ES，基于Lucene；是当前最流行的企业级搜索引擎； ES 是面向文档的； 2. ES 特点：大型分布式集群，处理PB级别数据；近乎实时的存储、检索数据；开箱即用，部署简单，操作简单；可扩展性好，可扩展至上百台服务器；使用 restful 风格的 API；对条件...

Elasticsearch：ES 常见报错及解决办法

处理 AttributeError: ‘Response’ object has no attribute ‘my_suggest’ 异常环境 windows 10； elasticsearch 7.8.0； Django 问题使用 elasticsearch + Django 搭建搜索引擎，...

Elasticsearch：ES 倒排索引为什么查询速度会这么快

0. 前言 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎，它建立在全文搜索引擎 Apache Lucene™ 的基础上。Elasticsearch 之所以可以实现近乎实时的检索，依靠的技术手段是非常多的，本文将从反向索引、Term Index 两块知识点入手，分析 Elasticsearch 之所以那么快的原因。 1. 反向索引 1.1. 正向索引什么...

任务调度：任务调度工具对比

DolphinScheduler vs Airflow vs Azkaban vs Oozie

综合对比 DolphinScheduler Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 DolphinScheduler 特点高可靠性去...

Zookeeper：Zookeeper安装步骤示例

1. 准备工作 1.1. 集群规划 1.2. 下载点击此处下载：apache-zookeeper-3.5.7-bin.tar.gz 1.3. 安装解压缩文件，到常用软件安装位置。 tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz # 移动文件到指定位置 cp -r ./apache-zookeepe...

Maxwell：Maxwell 功能介绍及使用示例

1. Maxwell 介绍 Maxwell 是由美国 Zendesk 开源，使用 Java 编写的 MySQL 实时抓取工具，可以实时读取 MySQL 二进制日志 binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。 Maxwell 设计的初衷是...

Kafka：Kafka 安装步骤示例

1. 准备工作 1.1. 集群规划 1.2. 下载点击此处下载：https://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz 1.3. 安装解压缩文件，到常用软件安装位置。 tar -zxvf kafka_2.12-2.4.1.tgz # 重命名为 kafka ...

Flume：Flume 零点漂移问题及解决方法示例

数据漂移问题所谓零点漂移，就是在按天生成日志文件的情况下，一条23:59:59左右生成的日志发送到服务器后可能已经是第二天了，如果没有指定时间，会被写入第二天对应的文件中，这就是所谓的零点漂移。 flume 写入日志到 HDFS 时，如果按照时间生成文件，在没有明确指定时间的情况下，会读取服务器时间作为创建文件的依据，这会导致日志的实际生成日期与文件不...

Flume：Flume 安装步骤示例

1. 准备工作 1.1. 集群规划 1.2. 下载点击此处下载：https://dlcdn.apache.org/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz 1.3. 安装解压缩文件，到常用软件安装位置。 tar tar -zxf apache-flume-1.9.0-bin.tar.gz # ...