Mrchor Blog

人生就是记录生活的点滴，或者写写代码，亦或者带着我的她，骑着白马，剑指天涯！

Spark1.3.1 On Yarn的集群搭建

“这就是我，一个低调的作者。” 下面给出的是spark集群搭建的环境：操作系统：最小安装的CentOS 7（下载地址） Yarn对应的hadoop版本号：Hadoop的Cloudera公司发行版Hadoop2.6.0-CDH5.4.0（下载地址） Java版本号：JDK1.8（下载地址） Scala版本号：Scala2.10.4（下载地址） Spark版本号：spark...

Posted by Mrchor on June 10, 2015

Hadoop/Spark环境运行过程中可能遇到的问题或注意事项

“这就是我，一个低调的作者。” 1、集群启动的时候，从节点的datanode没有启动问题原因：从节点的tmp/data下的配置文件中的clusterID与主节点的tmp/data下的配置文件中的clusterID不一致，导致集群启动时，hadoop会杀死从节点的datanode进程。解决方案： a)　　将集群关闭; b)　　删除你在hadoop配置中设置的tmp下的da...

Posted by Mrchor on June 7, 2015

windows环境下git的环境变量配置

“这就是我，一个低调的作者。” 1、从官网下载git这个软件.msi格式，然后安装。 2、找到你的git的安装目录，并记录下来 3、配置环境变量：在path里加入—— ;你的git的安装目录\bin;你的git的安装目录\libexec\git-core; ——切勿丢了前面的小分号哦！

Posted by Mrchor on June 7, 2015

Hadoop2.6.0在CentOS 7中的集群搭建

“这就是我，一个低调的作者。” 我这边给出我的集群环境是由一台主节点master和三台从节点slave组成： master 192.168.1.2 slave1 192.168.1.3 slave2 192.168.1.4 slave3 192.168.1.5 申明：我搭建的这个集群不是在普通用户，所以一下操作都是在超级用户root...

Posted by Mrchor on June 6, 2015

lrzsz在CentOS7的安装

“这就是我，一个低调的作者。” 其实，安装这个lrzsz真的很简单，开一个随笔真是暴殄天物了，只需要在超级用户下打一句命令： yum install lrzsz 或者，在普通用户打一句命令，需要输入超级用户密码： sudo yum install lrzsz

Posted by Mrchor on June 5, 2015

Scala2.10.4在CentOS7中的安装与配置

“这就是我，一个低调的作者。” 随着基于内存的大数据计算框架——spark的火爆流行，用于编写spark内核的Scala语言也随之流行开来。由于其编写代码的简洁性，受到了越来越多程序员的喜爱。我今天给大家展示的时Scala2.10.4在CentOS 7下的安装与配置：一、Scala下载我们需要在Scala官网下载Scala2.10.4压缩包二、Scala的安装 a) ...

Posted by Mrchor on June 5, 2015

Jdk1.8在CentOS7中的安装与配置

“这就是我，一个低调的作者。” 自从2014年3月19日甲骨文公司发布Java 8.0的正式版以来，面向对象的Java语言不仅朝着一个更好的方向发展，而且吸取了当前比较流行的函数式编程的特性——Java 8.0加入了函数式编程的特点。可以说是Java 8比Java 7有一个更好的性质。今天我将为大家演示一下Jdk 8在CentOS 7的安装与配置：一、前期准备环境：最小安装...

Posted by Mrchor on June 5, 2015

网络爬虫框架Heritrix中Modules的各项说明

“这就是我，一个低调的作者。” 　　1）Select Crawl Scope：Crawl Scope 用于配置当前应该在什么范围内抓取网页链接。例如选择 BroadScope 则表示当前的抓取范围不受限制，选择 HostScope 则表示抓取的范围在当前的 Host 范围内。在这里我们选择 org.archive.crawler.scope.BroadScope，并单击右边的 Ch...

Posted by Mrchor on January 22, 2015

对于最近一星期jsp培训有感

"忙碌着的才是生活的意义"

“这就是我，一个低调的作者。” 　　这周上课是jsp的培训，找的是外面的一个培训机构的讲师，人挺好的，讲的也不错，不过交给我们的任务是一星期做出一个网站模型——新闻发布系统。　　由于我们组本科学计算机的人实在太少了，所以这个重担落在我的身上，为使我们组不至于跟其他组落后太多，于是我一个人担当了这个重任，所有的工作我一个人来做。　　第一天：由于许久没有接触jsp了，部分知识已...

Posted by Mrchor on January 22, 2015

Ubuntu环境下Eclipse的安装以及Hadoop插件的配置

“这就是我，一个低调的作者。” 一、eclipse的安装在ubuntu桌面模式下，点击任务栏中的ubuntu软件中心，在搜索栏搜索eclipse 注意：安装过程需要输入用户密码。二、eclipse的配置待eclipse安装好以后,在命令行输入whereis eclipse 找到eclipse的安装路径在文件目录下找到eclipse中的插件目录然...

Posted by Mrchor on November 14, 2014