Kafka_Consumer的七种消费场景

2018-11-10 2026-08-17

tech

15 minutes read (About 2297 words)

Kafka_Consumer的七种消费场景

从0.10 开始，再无低等级消费者，消息均需通过ConsumerAPI：KafkaConsumer类进行消费，不同的消费场景，不一样的实现，官方提供了7种场景的解决方案：

Automatic Offset Committing
Manual Offset Control
Manual Partition Assignment
Storing Offsets Outside Kafka
Controlling The Consumer’s Position
Consumption Flow Control
Multi-threaded Processing

下面就基于kafka2.0官方文档，一一拆解：

bigdata

kafka安装配置

2018-11-10 2026-08-17

tech

3 minutes read (About 455 words)

kafka安装配置

安装

前提

安装JDK, Kafka及Zookeeper 依赖Java 运行环境
设置Java 环境变量

从官网下载Kafka 安装包，解压安装：

1
2
3

tar xvzf kafka_2.12-2.1.0.tgz 
mv kafka_2.12-2.1.0 kafka
cd kafka

常用命令

bigdata

Mongodb自动备份及恢复

2018-10-19 2026-08-17

tech

4 minutes read (About 559 words)

Mongodb自动备份及恢复

安装

curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz    # 下载
tar -zxvf mongodb-linux-x86_64-3.0.6.tgz                                   # 解压

mv  mongodb-linux-x86_64-3.0.6/ /usr/local/mongodb                         # 将解压包拷贝到指定目录

mkdir -p /usr/local/mongodb/data #创建数据目录

运行

1	nohup /usr/local/mongodb/bin/mongod --dbpath=/usr/local/mongodb/data &

bigdata

mongodb安装配置和Shell指令

2018-10-19 2026-08-17

tech

9 minutes read (About 1424 words)

mongodb安装配置和Shell指令

安装

1	vi /etc/yum.repos.d/mongodb-org-3.2.repo

[mongodb-org-3.2]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc

1	yum -y install mongodb-org

bigdata

Hbase Shell 常用命令

2018-07-22 2026-08-17

bigdata

14 minutes read (About 2044 words)

HBase是一个分布式的、面向列的开源数据库

Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hbase被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema定义，列簇将某一类型列集合起来（列不要求schema定义），每一个 key/value对在Hbase中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在Hbase中，行是key/value映射的集合，这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施，可以利用通用的设备进行水平的扩展。

Hive是一种类SQL的引擎，并且运行MapReduce任务。Hive适合用来对一段时间内的数据进行分析查询
Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。Hbase非常适合用来进行大数据的实时查询

HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面

bigdata, hbase

Ambari 插件开发笔记

2018-07-17 2026-08-17

tech

18 minutes read (About 2669 words)

Ambari插件开发

Apache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件，使Hadoop管理更简单。Ambari提供了一个直观的，易于使用的Hadoop管理Web UI，由其RESTful API支持。但有时候有一些自定义非官方的需求，这时就需要基于ambari做二次开发了。

Ambari是支持服务扩展的，只需要，编写自定义服务相关配置、脚本，然后扔到它的资源目录，重启服务器就可以了。听起来很简单。它的服务组织结构是分Stack / Service /Component 3层的。

开发的一个java 服务插件定义目录结构

[daxiang@ark1 common-services]$ pwd
/var/lib/ambari-server/resources/common-services
[daxiang@ark1 common-services]$ tree ARK_DATA_API/
ARK_DATA_API/
└── 0.0.1
    ├── alerts.json
    ├── configuration
    │   ├── ark-data-api-env.xml
    │   └── ark-data-api-server.xml
    ├── metainfo.xml
    └── package
        ├── archive.zip
        ├── scripts
        │   ├── ark_app_api.py
        │   ├── params.py
        │   └── status_params.py
        └── templates
            └── application.properties.j2

5 directories, 9 files

ambari, bigdata, devops, privatization

Ambari 简介和安装笔记

2018-07-16 2026-08-17

tech

8 minutes read (About 1202 words)

ambari 介绍

Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目

就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

接下来进行一次简单的安装，算是一次安装笔记

下载准备好ambari 和hdp 系列安装包的本地yum源
安装ambari
如何通过ambari安装HDP等服务

ambari, bigdata, devops, privatization

Kafka_Consumer的七种消费场景

Kafka_Consumer的七种消费场景

kafka安装配置

kafka安装配置

安装

常用命令

Mongodb自动备份及恢复

Mongodb自动备份及恢复

安装

运行

mongodb安装配置和Shell指令

mongodb安装配置和Shell指令

安装

Hbase Shell 常用命令

Ambari 插件开发笔记

Ambari插件开发

Ambari 简介和安装笔记

ambari 介绍

Tag Cloud

Archives

Recent

Categories

Recent

Categories

Your browser is out-of-date!