java 编程技巧累积
- 对象深复制
- ShutdownHook
- LRUMAP
- 单例模式
- Mysql insert/update IGNORE的利用
- 更多…
Hbase Shell 常用命令
HBase是一个分布式的、面向列的开源数据库
Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hbase被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema定义，列簇将某一类型列集合起来（列不要求schema定义），每一个 key/value对在Hbase中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在Hbase中，行是key/value映射的集合，这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施，可以利用通用的设备进行水平的扩展。
Hive是一种类SQL的引擎，并且运行MapReduce任务。Hive适合用来对一段时间内的数据进行分析查询
Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。Hbase非常适合用来进行大数据的实时查询
HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面
MySQL整体逻辑架构
MySQL 整体逻辑架构
非原创-记录下
包括
- MySQL整体逻辑架构
- 查询执行流程
- SQL解析顺序
MySQL整体逻辑架构(MySQL`s Logical Architecture)
Ambari 插件开发笔记
Ambari插件开发
Apache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件，使Hadoop管理更简单。Ambari提供了一个直观的，易于使用的Hadoop管理Web UI，由其RESTful API支持。但有时候有一些自定义非官方的需求，这时就需要基于ambari做二次开发了。
Ambari是支持服务扩展的，只需要，编写自定义服务相关配置、脚本，然后扔到它的资源目录，重启服务器就可以了。听起来很简单。它的服务组织结构是分Stack / Service /Component 3层的 。
开发的一个java 服务插件定义目录结构
1 | [daxiang@ark1 common-services]$ pwd |
Ambari 简介和安装笔记
ambari 介绍
Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目
就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
接下来进行一次简单的安装，算是一次安装笔记
- 下载准备好ambari 和hdp 系列安装包的本地yum源
- 安装ambari
- 如何通过ambari安装HDP等服务
自动化部署 - 定制化RPM包构建
linux 上一些软件包的安装，往往需要很多手工介入的安装步骤，不利于进行大规模集群部署，而且免不了对一些软件需要定制化改造的需求，需要源码安装。如果需要一台台地去编译安装，那么运维就不用出机房了
文章以mysql打包构建为例，实现 基于源码构建定制化rpm包 和基于 二进制安装包构建rpm包 两种方式的的打包
打包好了，将该rpm包发布到构建的本地yum源，集群中所有机器一个yum install 命令就可以搞定了。如何在本地搭建yum源，可以见上一篇文章：自动化部署 - 构建YUM本地源
自动化部署 - 构建YUM本地源
yum 本地源 构建
学会打rpm包后（见如何利用rpm-maven-plugin打包前后端项目，那么接着就是在本地集群构建yum源了
文章包含两个部分：一是自动脚本构建 yum源，二是分发yum源配置，使得整个集群yum安装从本地源拉取
相比较而言，本地YUM源服务器最大优点在局域网的快速网络连接和稳定性。有了局域网中的YUM源服务器，即便在Internet连接中断的情况下，也不会影响其他YUM客户端的软件升级和安装
构建本地yum源适用于以下场景：
- 客户现场没有网络环境
- 外网环境不佳
- 减轻带宽压力
- 本地化自动部署
本地源配置的三种方式
- 一是直接使用CentOS光盘作为本地yum源，优点是简单便捷，缺点是光盘软件包可能不完整(centos 7 Everything 总共才6.57G)；
- 二是同步CentOS官方源到本地（相当于创建了一个公共镜像），优点是最靠谱，缺点是占空间费流量；
- 三是创建完全自定义的本地源，优点是灵活性最大，缺点是只是作为其他源的补充。
因为有本地化部署的需求，且客户现场没有网络环境，所以稍微了解和构建下 CentOS光盘和 自定义本地源两种方式，最后通过构建脚本自动构建yum本地源，且通过分发脚本将yum源配置同步到集群的各台机器
