Tachyon如何配置High Available？
测试环境
1
2
3
4
5
6
7
8
9
10
11
| 测试环境：
Ubuntu 14.04 LTS x64
Tachyon：tachyon-0.7.1-bin.tar.gz
Maven：apache-maven-3.3.9-bin.tar.gz
hostname IP role
spark-master： 192.168.108.20 master & worker
spark-slave1： 192.168.108.21 worker
spark-slave2： 192.168.108.22 worker
!默认情况全部操作在root下进行
|
安装Zookeeper集群
请参考：Zookeeper集群环境搭建
安装Tachyon集群
请参考：Tachyon集群部署
安装hadoop2.X集群
请参考：Hadoop集群环境搭建
修改Tachyon底层文件系统为HDFS
安装Maven
下载Maven：Maven官方下载
配置Maven环境变量
1
2
3
4
5
6
| sudo vim /etc/profile
MAVEN_HOME=
PATH=$MAVEN_HOME/bin:$PATH
source /etc/profile
|
重新编译Tachyon
1
2
3
4
| /**
* 进入Tachyon目录
*/
mvn -Dhadoop.version=2.7.1 clean package
|
修改Tachyon配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
| vim ./conf/tachyon-env.sh
export JAVA_HOME=/usr/lib/jvm/java
export JAVA="$JAVA_HOME/bin/java"
export TACHYON_MASTER_ADDRESS=spark-master
export TACHYON_UNDERFS_ADDRESS=hdfs:
export TACHYON_WORKER_MEMORY_SIZE=512MB
export TACHYON_UNDERFS_HDFS_IMPL=org.apache.hadoop.hdfs.DistributedFileSystem
export TACHYON_WORKER_MAX_WORKER_THREADS=2048
export TACHYON_MASTER_MAX_WORKER_THREADS=2048
export TACHYON_SSH_FOREGROUND="yes"
export TACHYON_WORKER_SLEEP="0.02"
-Dtachyon.usezookeeper=true
-Dtachyon.zookeeper.address=spark-master:2181,spark-slave1:2181,spark-slave2:2181
|
配置slaves和workers
1
2
3
4
5
| //打开slaves配置文件，注释掉localhost，添加spark-master
vim ./conf/slaves
//打开workers配置文件，注释掉localhost，添加spark-master
vim ./conf/workers
|
分发Tachyon目录
将新编译和配置的Tachyon目录分发给其他主机
初始化Tachyon
启动Tachyon集群
1
| ./bin/tachyon-start.sh all NoMount
|
文件上传测试
1
2
3
4
| tachyon tfs copyFromLocal /home/jabo/software/tachyon-0.7.1/docs/index.md /test
tachyon tfs ls /
6.49 KB 01-19-2016 16:49:03:675 In Memory /test
|
查看Web UI
在master上用浏览器打开：hostname:19999 (spark-master:19999)
点击Works页面，会看到三台主机基本信息
点击Browse File System，会看到刚才上传的文件
