Mrchor Blog

人生就是记录生活的点滴，或者写写代码，亦或者带着我的她，骑着白马，剑指天涯！

Cloudera Manager Admin控制台启动不起来

“这就是我，一个低调的作者。” 这几天都在搞大数据这一块，由于以前自己在弄hadoop等安装的时候特别的费劲，于是乎找到了广大程序员的福音——cloudera manager，但是第一步安装好了以后无法启动，再三思考+百度发现： 通常有以下可能： service cloudera-scm-server-db 是否启动 service cloudera-scm-server 是...

Posted by Mrchor on April 2, 2016

virtual Box在Centos 7上的安装

“这就是我，一个低调的作者。” 1、首先，我们需要在oracle官网下载virtual Box的centos7版本： 　　下载地址为：http://download.virtualbox.org/virtualbox/5.0.12/VirtualBox-5.0-5.0.12_104815_el7-1.x86_64.rpm 2、使用rpm安装virtualbox： rpm -i...

Posted by Mrchor on January 16, 2016

Spark MLlib使用有感

“这就是我，一个低调的作者。” 　　这些天在公司里面做文本分析的任务，我跟着玻哥一起做，先研究了算法的可行度，最后决定使用Google的Word2Vector和LDA算法来对文本进行分析。之前因为看过一些Spark的东西，所以准备瞄准MLlib，直接使用其机器学习库来进行算法的测试。 　　但是发现一个非常重大的问题——因为Spark默认是将RDD持久到内存中进行计算的，但是当我们...

Posted by Mrchor on August 12, 2015

storm集群配置

“这就是我，一个低调的作者。” 安装配置zookeeper Storm使用Zookeeper协调集群，由于Zookeeper并不用于消息传递，所以Storm给Zookeeper带来的压力相当低。对于Zookeeper集群的话，官方推荐的最小节点数为3个。 在Zookeeper集群的每台机器上完成以下安装部署步骤: 1、下载zookeeper 本系统使用的是 zookee...

Posted by Mrchor on August 7, 2015

eclipse配置hadoop插件

“这就是我，一个低调的作者。” 版本信息 eclipse windows 64 bit hadoop 2.5.2 64 bit hadoop eclipse-plug 2.5.2 下载hadoop-2.5.2.tar.gz http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2...

Posted by Mrchor on August 7, 2015

HDFS的java接口-简化HDFS文件系统操作

“这就是我，一个低调的作者。” 今天闲来无事，于是把HDFS的基本操作用java写出简化程序出来给大家一些小小帮助！ package com.quanttech; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.h...

Posted by Mrchor on July 16, 2015

写一个shell脚本利用wget抓取股票历史数据

“这就是我，一个低调的作者。” 　　今天，大数据部老大交给我一项任务——抓取股票历史数据。于是乎，我自行在网上找了一下，发现wget真真是一个非常强大的linux下载工具。我已经被深深震撼到了。下面叙述今天的一些过程，还是比较坎坷的。 　　首先，我利用公司现在存在的股票数据，使用hive查询所有的股票代码并导入本地： hive -e "use stock;select dist...

Posted by Mrchor on July 13, 2015

linux小技巧

“这就是我，一个低调的作者。” 1、删除目录下制定大小的文件 　　find . -name “*” -type f -size #文件的大小#c xargs -n 1 rm -f

Posted by Mrchor on July 13, 2015

window环境下使用sbt编译spark源码

“这就是我，一个低调的作者。” 前些天用maven编译打包spark，搞得焦头烂额的，各种错误，层出不穷，想想也是醉了，于是乎，换种方式，使用sbt编译，看看人品如何！ 　　首先，从官网spark官网下载spark源码包，解压出来。我这边使用的是1.4.0版本。 　　然后，我们需要把sbt配置好，配置很简单，无非就是SBT_HOME什么的，大家可以参考官网给出的安装配置手册。 ...

Posted by Mrchor on July 9, 2015

实习， 这也是人生的重要篇章！

“这就是我，一个低调的作者。” 今天第一天实习，感觉还不错，带我的技术主管是个女的，人很好，对我也不错。加油，加油！

Posted by Mrchor on June 11, 2015

FEATURED TAGS
Hadoop 技术 Eclipse Hadoop插件 CentOS7 Scala Spark 大数据 CentOS 生活 编译 Linux shell MySQL pom maven 集群 MapReduce 机器学习 诗词 expect hive 计算广告 推荐业务
ABOUT ME

技术渣，做好自己；
技术牛逼，改变世界！

FRIENDS