...阅读全文

一、简介DRBD(Distributed Rep;icate Block Device)是基于块设备在不同的高可用服务器之间同步和镜像数据的软件，通过它可实现在网络中的两台服务器之间基于块设备级别的实时或者异步镜像或同步复制。
DREB可以理解为网络的raid1。
Raid1：其原理就是将一块硬盘的数据以相同位置指向另一块硬盘的位置。RAID 1的操作方式是把用户写入硬盘的数据百分之百地自动复制到另外一个硬盘上。由于对存储的数据进行百分之百的备份，在所有RAID级别中，RAID 1提供最高的数据安全保障。RAID1是将一个两块硬盘所构成RAID磁盘阵列，其容量仅等于一块硬盘的容量，因为另一块只是当作数据“镜像”。块设备可以是磁盘分区、LVM逻辑卷、整块磁盘。
二、单主模式和双主模式单主模式：一个集群内一个资源在任何给定的时间内仅有一个primary角色，另一个为secondary。文件系统可以是ext3、ext4、xfs等。
单主模式下，在primary节点上有如下操作：格式化： mkfs.ext4 /dev/drbd1，然后将/dev/drbd1挂载到之前创建的/db目录。在...阅读全文

文件系统特性较新的操作系统的文件数据除了文件实际内容外， 通常含有非常多的属性，例如 Linux 操作系统的文件权限(rwx)与文件属性(拥有者、群组、时间参数等)。 文件系统通常会将这两部份的数据分别存放在不同的区块，权限与属性放置到 inode 中，至于实际数据则放置到 data block 区块中。 另外，还有一个超级区块(superblock) 会记录整个文件系统的整体信息，包括 inode 与block 的总量、使用量、剩余量等。
索引式文件系统假设某一个文件的属性与权限数据是放置到 inode 4 号(下图较小方格内)，而这个 inode 记录了文件数据的实际放置点为 2, 7, 13, 15这四个 block 号码，此时我们的操作系统就能够据此来排列磁盘的阅读顺序，可以一口气将四个 block 内容读出来，这种数据访问的方式称为索引式文件系统。
Ext2文件系统当文件达到非常大的时候inode 与block放在一起是不明智的，因此Ext2区分多个组来管理。
Boot Sector启动扇区，设备的第一个扇区放置开机管理程序，加载并转让处理器控制权给操作系统由主引导记录...阅读全文

前言最近有一些需求，就是需要在hadoop集群中实现多用户管理，因此在网上搜了很多的资料。其中有一种方法感觉还是比较可行，链接：http://cn.soulmachine.me/blog/20140206/大概方式是：
先新建一个用户test1，然后把hadoop的安装目录复制一份copy到这个用户test1的目录下再赋一下权限，然后这个用户就可以向集群提交程序了。后来经过一些列的尝试，发现确实可以实现多用户管理，而且test1用户在hdfs中只能对自己的目录进行操作，但是毕竟资历太浅，只能隐隐约约感觉这种方法可以用，不明其原因。作为一名有轻度强迫症期望能先明白原理而后用的人来说，确实不太可取这种方法。我也很好奇公司里面都是怎样使用hadoop多用户管理的，肯定会有比较好的解决方法，无奈自己不清楚，因此就用现有的linux和hadoop的一些知识尝试先实践一套方案，整个过程全部是自己摸摸索索，各种尝试出来的，有可能思路上也不是特别好。如有更好的方法，请指教。
一、背景现有hadoop集群，安装目录在/home/hadoop/hadoop-2.5.1，hadoop的超级用户名就是ha...阅读全文

安装方便。一条指令就能轻松安装。
配置方便。很多集群管理软件都需要在所有的服务器上都安装软件，而且还要进行很多的连接操作。clustershell就相当的方便了，仅仅需要所有机器能够ssh无密码登录即可，然后只在一台服务器上安装clustershell即可。（这一点正好和Hadoop集群结合起来使用，相当方便）
使用方便。clustershell的命令相对来说非常简单，只有一两个指令以及三四个参数需要记。
...阅读全文