Mrchor Blog

人生就是记录生活的点滴，或者写写代码，亦或者带着我的她，骑着白马，剑指天涯！

利用Apache Ant编译Hadoop2.6.0-eclipse-plugin

“这就是我，一个低调的作者。” 环境要求：系统不重要，重要的是要有Ant环境，这里不做赘述，自行百度配置去。 1）在github上下载Hadoop-eclipse-plugin-master的zip包，]下载地址](https://codeload.github.com/winghc/hadoop2x-eclipse-plugin/zip/master)。 2）在Hadoop官...

Posted by Mrchor on May 14, 2016

Kafka在Centos6.4中的集群搭建

“这就是我，一个低调的作者。” 环境要求：三台装有Centos6.4的虚拟机，需要有java1.7以上的环境，需要ZooKeeper环境。 1）从Kafka官网下载Kafka安装包下载Kafka 2）解压安装包 tar -xzf kafka_2.10-0.9.0.1.tgz 3）由于名字太长，改为kafka： mv kafka_2.10-0.9.0.1 kafk...

Posted by Mrchor on May 12, 2016

Hadoop常用命令

“这就是我，一个低调的作者。” 一、Hadoop的hdfs dfs命令参数作用示例返回值 appendToFile 将一个或者多个本地文件追加到目的文件 hdfs dfs -...

Posted by Mrchor on May 7, 2016

Hadoop MapReduce编程创建maven项目时所用到的pom依赖

“这就是我，一个低调的作者。” <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope>test</scope&...

Posted by Mrchor on May 7, 2016

ZooKeeper在centos6.4的集群搭建

“这就是我，一个低调的作者。” 首先给一个小tips，在搭建zookeeper之前，需要配置好java环境，请参看我的另一篇文章《Jdk1.8在CentOS7中的安装与配置》，还需要免密码登录，请参看我的另一篇文章《Hadoop2.6.0在CentOS 7中的集群搭建》。集群配置信息： server.0——192.168.10.110 master server.1...

Posted by Mrchor on May 5, 2016

maven打包时使用的pom配置

“这就是我，一个低调的作者。” <build> <plugins>  <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-...

Posted by Mrchor on May 2, 2016

C3P0连接池连接MySQL出现的问题

“这就是我，一个低调的作者。” 1、Clearing pending acquires. While trying to acquire a needed new resource, we failed to succeed more than the maximum number of allowed acquisition attempts (30). Last acquisi...

Posted by Mrchor on April 30, 2016

Redis在CentOS6.4中的安装

“这就是我，一个低调的作者。” 首先，介绍一下Redis数据库。Redis是一种面向“键/值”对数据类型的内存数据库，可以满足我们对海量数据的读写需求。　　1）redis的键只能是字符串；　　2）redis的值支持多种数据类型：　　　　a：字符串 string 　　　　b：哈希 hash 　　　　c：字符串列表 list 　　　　d：字符串集合 set 不重复，无...

Posted by Mrchor on April 27, 2016

hadoop 集群部署ganglia 监控服务与nagios 报警服务

“这就是我，一个低调的作者。” 部署ganglia 服务 ganglia 涉及到的组件: 1)数据监测节点（gmond）：这个部件装在需要监测的节点上，用于收集本节点的运行情况，并将这些统计信息传送到gmetad，Ubuntu系统中的ganglia-monitor包可以安装； 2)数据收集节点（gmetad、gweb）：这个部件用于收集gmond发送的数据，并通过web...

Posted by Mrchor on April 4, 2016

cloudera manager安装步骤小结

“这就是我，一个低调的作者。” 1、准备三台虚拟机，系统是centos 7，IP分别是：　　192.168.254.110　　master 　　192.168.254.111　　slave1 　　192.168.254.112　　slave2 2、如果没有httpd服务的话需要在master上安装一个httpd：　　1）　yum install httpd　　#（安...

Posted by Mrchor on April 2, 2016