Python基础—字典(dict)和集合(set) | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
字典的创建字典由多个键值对组成,之间用逗号隔开键和值之间用冒号分割,而整个dict则用花括号括起空字典用{}表示1234age_dict = {'Alex': 22, 'Bob': 21, 'Tom': 25, 'Beth': 18}print age_dict{'Bob': 21, 'Beth': 18, 'Alex': 22, 'Tom': 25}dict类型可以其他映射的序列来建立字典1234567student_list = [('name','Alex'),('age',20),('gender','male')]student_dict = dict(student_list)print student_dictprint student_dict['name']{'gender': 'male', 'age': 20, 'name': 'Alex'}Alex也可以通过关键字参数来创建dict1234student_list_1 = dict(name='Tom', age=20)print student_list_1{'age': 20, 'name': 'Tom'}字...阅读全文

 Tachyon集群High Available | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
Tachyon如何配置High Available?
测试环境1234567891011测试环境:  Ubuntu 14.04 LTS x64  Tachyon:tachyon-0.7.1-bin.tar.gz  Maven:apache-maven-3.3.9-bin.tar.gz    hostname IP  role  spark-master: 192.168.108.20   master & worker  spark-slave1: 192.168.108.21   worker  spark-slave2: 192.168.108.22   worker    !默认情况全部操作在root下进行安装Zookeeper集群请参考:Zookeeper集群环境搭建
安装Tachyon集群请参考:Tachyon集群部署
安装hadoop2.X集群请参考:Hadoop集群环境搭建
修改Tachyon底层文件系统为HDFS安装Maven下载Maven:Maven官方下载
配置Maven环境变量123456sudo vim /etc/profileMAVEN_HOME...阅读全文

 Spark With Tachyon On Yarn | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
Spark在HA情况下,以Tachyon为内存文件系统,如何运行在Yarn上?
测试环境1234567891011121314测试环境:  Ubuntu 14.04 LTS x64  Tachyon:tachyon-0.7.1-bin.tar.gz  Hadoop:hadoop-2.7.1.tar.gz  Spark:spark-1.5.2-bin-hadoop2.6.tgz  Maven:apache-maven-3.3.9-bin.tar.gz  Scala:scala-2.11.7.tgz    hostname IP  role  spark-master: 192.168.108.20   master & worker  spark-slave1: 192.168.108.21   worker  spark-slave2: 192.168.108.22   worker    !默认情况全部操作在root下进行Scala安装Scala环境变量123456789/** * 对每台主机做如下配置 */vim /etc/profileexport SCALA_HOME=/...阅读全文

 Python基础—字符串(string) | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
字符串格式化基础格式化基础格式化通常用百分号%来完成在字符串的左边放一个字符串,右侧是希望被格式化的值格式化字符串的%s部分称为转换说明符,它们标记了需要插入转换值的位置,s表示格式化为字符串,d表示格式化为整型,f表示格式化为浮点型12345format_str = "My %s is %s"values = ('name','wxmimperio')print format_str % valuesMy name is wxmimperio完整格式化格式化操作符的右侧可以是任意类型,如果是元组或者映射类型,那么字符串格式化将会有所不同。基本的转换说明符:1.%字符:表示格式化的开始2.转换标志:-表示左对齐,+表示在转换值之间加上正负号,””表示正数之前保留空格,0表示转换值若位数不够用0填充3.点.表示精度12345678910111213141516171819202122from math import piprint "%d" % 10print "%f" % 12.5print "%s" % 'abc'print "%10f" % piprint "%10.2f" % p...阅读全文

 Python基础—断言(assert) | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
环境及版本123Windows 10 x64Python 2.7Pycharm 4.5.1什么是断言assert和if语句类似,是用来检查一个条件,但不同的是如果它为真,就不做任何事。如果它为假,则会抛出AssertError异常。
123456789a = 10assert a > 0, 'a > 0'assert a < 20, 'a < 20'assert a%2 != 0, 'a is not an even number'Traceback (most recent call last):  File "D:/pythonlearning/assertlearning/assert_test.py", line 9, in <module>    assert a%2 != 0, 'a is not an even number'AssertionError: a is not an even number什么时候使用断言在Stack Overflow上有个问题:Best practice for Python Assert【节选一些回答】
Asserts should ...阅读全文