Thriftpy—[RPC文件传输] | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
环境及版本12345【Server、Client】Ubuntu 14.04 LTS x64Thriftpy 0.3.8Python 2.7Pycharm 4.5.1简单Server & ClientThriftpy的使用和Thrift类似,用两台Ubuntu分别做Server和Client,实现跨机器通信
Server123456789101112131415161718192021#!/usr/bin/env python# -*- coding: utf-8 -*-import thriftpyfrom thriftpy.rpc import make_serverimport osclass MyRPC(object):    # 提供调用的方法    def print_fun(self,name):        str = "Hello " + name        return strif __name__ == "__main__":    file_path = os.path.abspath("../conf/simple.thrift")    # 加载注册文...阅读全文

 Cassandra Install & Deploy [安装部署] | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。
...阅读全文

 Spark 编程指南 (二) [Spark Programming Guide] | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
Python Programming Guide - Spark
弹性分布式数据集 (RDDs)Spark的核心概念是弹性分布式数据集—Resilient Distributed Datasets,这是一个具有容错能力并且可以进行并行计算的元素集合
对于RDD的基本概念,在 Spark 编程指南 (一) [Spark Programming Guide]中有详细介绍
RDD的创建用户可以通过两种方式创建RDD:
并行化(Parallelizing)一个已经存在与驱动程序(Driver Program)中的集合(Collection),如set、list
引用外部存储系统上的一个数据集,比如HDFS、HBase,或者任何提供了Hadoop InputFormat的数据源
并行集合(Parallelized Collections)并行集合是在驱动程序中,由SparkContext’s parallelize方法从一个已经存在的迭代器或者集合中创建,集合中的元素会被复制到一个可以进行并行操作的分布式数据集中
例如:如下代码演示如何创建一个元素为1到5的并行数据集
12dat...阅读全文

 Nginx整合Apache2和Tomcat | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
通常情况下,如果PHP业务和Java Web业务占用资源都不是很多的情况下,为了节省服务器开销,可以放到一台服务器上。此时可以利用Nginx依旧80端口,做一个请求转发来分别访问PHP应用和Java Web应用
环境及版本12345Ubuntu 14.04 Server x64MySQL 5.5Apache 2.4.7Nginx 1.4.6Tomcat 7.0.69MySQL+PHP5+Apache2安装请参考:Apache2部署WordPress
Nginx安装1sudo apt-get install nginxTomcat安装Tomcat官方下载
解压文件(opt下)1tar -zxvf apache-tomcat-7.0.69.tar.gz开启Tomcat123cd apache-tomcat-7.0.69/bin/./startup.sh浏览器输入:http://IP:8080
Nginx配置1sudo vim /etc/nginx/nginx.conf1234567891011121314151617181920212223242526272829303132333...阅读全文

 Presto Install & Deploy [安装部署] | logging.DEBUG 

作者:JerryXia | 发表于 , 阅读 (0)
Presto是什么?Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题
Presto可以做什么?Presto支持在线数据查询,包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析Presto以分析师的需求作为目标,他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择,要么使用速度快的昂贵的商业方案,要么使用消耗大量硬件的慢速的“免费”方案。
(摘自Presto中文网)
...阅读全文