Mrchor Blog

人生就是记录生活的点滴，或者写写代码，亦或者带着我的她，骑着白马，剑指天涯！

机器学习算法选择困惑

“这就是我，一个低调的作者。” 很多同学包括我，在刚开始接触机器学习算法的时候，我们在碰到一个新的问题/需求/目的，不知道该用哪种算法来考虑这个问题。最近我也在看一些机器学习的东西，为了把Python再拿起来，所以选择了Python界著名的机器学习库——sklearn，sklearn比较人性化，对于以上困惑做出了自己的解答，原图地址：

Posted by Mrchor on October 11, 2016

最近面试被问到的问题总结（数据研发方向）

“这就是我，一个低调的作者。” 1、Linux命令实现单词计数并排序 cat 目标文件 | awk -F ' ' '{for(i=1;i<=NF;i++){print $i}}' | sort | uniq -c | sort -t ' ' -k1r | awk '{print $2 " " $1}' | more 解析：awk是一个非常强大的文本编辑命令，参数F是自定...

Posted by Mrchor on September 29, 2016

机器学习利器——Scikit-learn的安装

“这就是我，一个低调的作者。” 由于笔者最近在进行毕业论文的准备，且毕业论文中需要用到Python版本的机器学习库——scikit-learn。所以最近三天一直在Windows上部署这个框架，终于部署成功了。。。首先打开加州大学底下一个实验室的网站，下载以下安装包： 1、Numpy+MKL：http://www.lfd.uci.edu/~gohlke/pythonlibs/#...

Posted by Mrchor on September 4, 2016

编写shell脚本遇到的问题

“这就是我，一个低调的作者。” 运行shell脚本提示“syntax error near unexpected token for((i=0;i<$length;i++))”：原因是因为Linux下的换行符是 \n 而你在secureCRT或者其他工具编写shell脚本的时候，使用的是window下的换行符：\r\n 所以需要设置一下文件的规范：在vim的命令模式...

Posted by Mrchor on June 30, 2016

DBCP配置数据库连接乱码问题

“这就是我，一个低调的作者。” driverClassName = com.mysql.jdbc.Driver url = jdbc:mysql:///bigdata username = root password = 823714 connectionProperties="useUnicode=yes;characterEncoding=utf8;"

Posted by Mrchor on June 30, 2016

eclipse远程调试Hadoop

“这就是我，一个低调的作者。” 很多框架都会依赖jdk中的tools.jar，但是maven仓库中却没有. 如在eclipse+maven编写mapreduce代码，就会报Missing artifact　jdk.toos:jdk.toos:jar:1.6 如何解决这个问题呢，只需要在项目的pom.xml 文件中加入以下配置，指定maven去本地寻找 tools.jar ...

Posted by Mrchor on May 31, 2016

CM+CDH安装遇到的问题

“这就是我，一个低调的作者。” 1、实在是在安装CDH的时候无法安装成功的话，只有重新启动了，下面给大家分享一个神器，按照这个脚本应该差不多就能卸载干净，然后重新安装，写一个脚本，内容如下，救命的神器呀： #!/bin/bash sudo /usr/share/cmf/uninstall-cloudera-manager.sh sudo service cloudera-scm-...

Posted by Mrchor on May 24, 2016

分布式网络爬虫的基本实现简述

“这就是我，一个低调的作者。” 一、前言前一段时间，小小的写了一个爬虫，是关于电商网站的。今天，把它分享出来，供大家参考，如有不足之处，请见谅！（抱拳）二、准备工作我们实现的这个爬虫是Java编写的。所用到的框架或者技术如下： Redis：分布式的Key-Value数据库，用来作存储临时的页面URL的仓库。 HttpClient：Apache旗下的一款软件，用来下载...

Posted by Mrchor on May 21, 2016

远程访问MySQL遇到的一些问题

“这就是我，一个低调的作者。” 一、access deny GRANT ALL PRIVILEGES ON *.* TO '用户名'@'IP地址' IDENTIFIED BY '密码' with grant option;

Posted by Mrchor on May 18, 2016

eclipse远程调试Hadoop

“这就是我，一个低调的作者。” 环境需求：　　系统：window 10　　eclipse版本：Mars　　Hadoop版本：2.6.0 资源需求：解压后的Hadoop-2.6.0，原压缩包自行下载：下载地址丑话前头说：以下的操作中，eclipse的启动均需要右键“管理员运行”！在创建MapReduce的Project那块需要配置log4j（级别是debug），否则打印不...

Posted by Mrchor on May 15, 2016