Mrchor Blog

人生就是记录生活的点滴，或者写写代码，亦或者带着我的她，骑着白马，剑指天涯！

Scala实现break和continue功能

“这就是我，一个低调的作者。” 问题 Scala没有像Java一样的break和continue关键字，因此需要使用break或者continue结构的时候该怎么办？解决方案 Scala确实没有上述两个关键字，但是在类scala.util.control.Breaks中提供了类似的功能。注意：在使用的时候，一定要引入这个类哦！ break的例子 breakable{...

Posted by Mrchor on May 10, 2017

关于Hadoop MapReduce与Apache Spark的二次排序

“这就是我，一个低调的作者。” 我们在做实际业务时，往往会遇到标题所谓的二次排序的问题，例如，我们可以假设以下业务场景：输入格式：年月 2015 09 2014 09 2013 09 ...

Posted by Mrchor on April 28, 2017

开发Apache Storm遇到的问题

“这就是我，一个低调的作者。” 一、包冲突在开发storm时，由于会引入很多依赖包，因此，不免就会造成包冲突的问题，一般的问题都是日志框架的依赖重复，如下： SLF4J: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflow...

Posted by Mrchor on April 27, 2017

高版本Eclipse安装fat-jar

“这就是我，一个低调的作者。” Eclipse打Jar包插件FatJar在2009年发布了0.0.31版本之后，至今未有更新，好在4.4之前的Eclipse中都能正常使用。但是在新发布的Eclipse4.4中却失灵了，在经过半天的百度之后，改了一个在Eclipse4.4中可用的版本，下载地址

Posted by Mrchor on April 25, 2017

Spark的RDD存储级别以及对应解释

存储级别解释 ___ ___ MEMORY_ONLY 默认选项，RDD的（分区）数据直接以Java对象的形式存储于JVM的内存中，如果内存空间不足，某些分区的数据将不会被缓存，需要在使用的时候根据世代信息重新计算。 MYMORY_...

Posted by Mrchor on April 21, 2017

忙碌——累却快乐着

"这就是生活"

“这就是我，一个低调的作者。” 这几天一直都在忙碌着，一是公司大促，所以很多代码要赶在大促前上线，事儿真不少；二是把这个博客好好弄了一下，把博客园里面的博文都转了过来，没有所谓的导出工具，所以都是手动转过来的（PS：手都要废了），真的很累诶，但是我并不觉得累，因为心不累，总有意思动力在支撑着我前进的步伐，如她，如家人。一切都慢慢地走着，过着，累并快乐着。。。

Posted by Mrchor on April 21, 2017

我的博客站开通了

"我的第一个博客"

“这就是我，一个低调的作者。” 前言 2017年4月20日，经过几经折腾，我的个人博客站，终于开通了，是基于GitHub的免费空间，全部都是静态页面。以前是在博客园写技术，名字叫低调才是王道-博客园，虽然说博客园在程序员界还是有一定影响的，但是编辑器貌似不太给力，有时候写的博客格式过段时间都乱了，所以，再过些天，准备把那边的文章看看能有什么方法转过来，不要浪费以前的东西~

Posted by Mrchor on April 19, 2017

多种语言开发Spark-以WordCount为例

“这就是我，一个低调的作者。” Spark是目前最火爆的大数据计算框架，有赶超Hadoop MapReduce的趋势。因此，趁着现在还有大多数人不懂得Spark开发的，赶紧好好学习吧，为了使不同的开发人员能够很好的利用Spark，Spark官方提供了不同开发语言的API，本文以大数据经典入门案例WordCount为例，开发多个版本的Spark应用程序，以满足不同的开发人员需求。 ...

Posted by Mrchor on February 24, 2017

Java开发中各种集合框架简介

“这就是我，一个低调的作者。” 在大数据MapReduce作业开发中，我们经常会遇到一些大小表的join，这是如果这个小表足够“小”的话，我们可以使用进行“map-join-side”，这要就可以有效的降低reduce端的压力，但是在常用的JDK的集合中的Map有些许鸡肋，因此，各路大神们针对这个问题开发出了不同的集合框架，用以替换原始集合，下面我们具体介绍几种常用的集合框架：首...

Posted by Mrchor on February 24, 2017

大数据常见错误解决方案（转载）

“这就是我，一个低调的作者。” 1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP=”127.0.0...

Posted by Mrchor on February 24, 2017