注意：以下安装步骤在Centos6.5操作系统中进行，安装步骤同样适于其他操作系统，如有同学使用Ubuntu等其他Linux操作系统，只需注意个别命令略有不同。
注意一下不同用户权限的操作，比如关闭防火墙，需要用root权限。
单节点的hadoop安装出现的问题会在如下几个方面：JDK环境的配置、防火墙是否关闭、root用户和hadoop用户的不同操作等。
在搭建的过程中细心一点，按照下面的步骤做，基本不会有什么问题的。
1.准备工作（root用户）1.1.关闭防火墙关闭防火墙：service iptables stop关闭开机启动：chkconfig iptables off1.2.创建用户创建hadoop用户：useradd hadoop密码：passwd hadoop加入sudoers：vim /etc/sudoers ，在root下一行写入hadoop  ALL=(ALL)       ALL1.3.修改hosts文件在/etc/hosts文件最后一行加入：
127.0.0.1       hadoop2.安装JDK1.8（root用户）2.1.查看已装JDKrpm ...阅读全文

使用Mechanize模拟浏览器行为Python有许许多多有趣的模块，每当自己需要解决某个问题的时候，Python总能冒出来一两个让你惊喜的小玩意。比如说用于数值计算的Numpy（强大而方便的矩阵能力），用于数据分析的Pandas（和R语言有非常多相似的功能，在读写各种文件以及数据处理上会让人有种把excel、R、机器学习融合起来使用的感觉），用于爬虫内容提取的BeautifulSoup（点对点的精准数据获取，使用非常方便），以及最近正在使用的用于模拟浏览器登录的Mechanize。
业务需求既谈技术，先明需求，学习Mechanize的真实目的不方便描述，以下是学Mechanize带来的福利。
现有一论坛，由于某种特殊原因需要定时发帖。比如一些校园内网的BBS，如果想浏览帖子，必须先登录。也就是说现在需要一个工具，能够登录该论坛，然后在相应的文本输入框中输入汉字，最后提交。
其实原理就是模拟浏览器和Server交互的一个过程，主要在于协议的一些理解。经过一些调研，有两种方案可选：Java的HttpClient和Python的Mechanize。两者都可实现模拟浏览器进行交互的一些...阅读全文

Ext2介绍ext2是专门为Linux设计的文件系统类型，称为扩展文件系统，在Linux发展的早期，起过重要的作用。由于稳定性、速度和兼容性方面存在许多缺陷，ext2现已很少使用。通过不断的迭代ext3、ext4 文件系统逐渐出现了，每种类型的出现，都是为解决前一个类型的缺陷，并在此基础之上进一步的扩展。
Ext2 与 Ext3 的对比ext3和ext2的主要区别在于，ext3引入Journal。
ext2和ext3的格式完全相同，只是在ext3硬盘最后面有一部分空间用来存放Journal（日志）的记录；在ext2中，写资料到硬盘中时，先将资料写入缓存中，当缓存写满时才会写入硬盘中；在ext3中，写资料到硬盘中时，先将资料写入缓存中，待缓存写满时系统先通知Journal，再将资料写入硬盘，完成后再通知Journal，资料已完成写入工作；在ext3中，也就是有Journal机制里，系统开机时检查Journal的资料，来查看是否有错误产生，这样就快了很多；Ext3 与 Ext4 对比Linux kernel自2.6.28开始正式支持新的文件系统Ext4，而Ext4是Ext3的改进版，修...阅读全文

0.前言Apache官网提供了Hadoop2.5.1已编译的程序，但是在Centos6.5上安装成功后，每当运行hadoop fs ***命令的时候总是会出现如下警告，虽说不影响运行结果，总是感觉影响心情。
因此搜集了一些资料，自己编译源码。比想象中的简单很多，只是在使用JDK的时候因为用了JDK1.8因此出现了一次错误，换成1.7就OK了，下面是安装记录。
WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable1.编译环境Centos6.5(64bit)jdk7ant1.9.4maven3.1.1findbugs3.0.0protobuf2.5.0hadoop2.5.1 源代码文件2.安装以上所需的所有软件2.1yum可安装的软件yum install svn ncurses-devel gcc* lzo-devel zlib-devel au...阅读全文

个人思考现在有一种现象是Docker已经充斥了整个互联网行业，只要是互联网行业内的学生或者从业人员，或多或少都会和Docker扯上一定的联系，即使不用，也会主动去了解和学习。
Hadoop刚出现的时候也是这种情形（开源社区的异常活跃，各种网络教程的出现，大家蜂拥地尝试），这些都彰显出了Hadoop强大的生命力以及诱人使用场景。经过了这几年的沉淀，Hadoop已经日趋成熟，就我个人的感觉是Hadoop已经快成为一种普遍和必备的技能，凡数据相关，即谈Hadoop。
那么Docker呢？Docker能走多远？
学习Docker一部分原因是紧跟一下潮流（跟风？），另一部分是个人的一个小的实际需求。
使用需求凡谈技术，先有需求。
我的初步设想是使用Docker来构建一个可复用的开发环境。
比如说我现在的开发环境是STS+JDK+MYSQL，在STS中需要一些jar包或者插件，比如Sping，Hibernate等，不同的项目成员可能会需要重复部署这套环境，而且在部署的过程中由于版本等原因还可能会出现各种问题。
那么我想做的就是能把我现在的工作环境做成一个Docker的模板，团队成员可...阅读全文