使用presto+airpal+hive打造即席查询工具

作者:JerryXia | 发表于 , 阅读 (27)
0X03 安装记录1.基本配置文件etc/config.properties: presto的基本配置文件,分两种角色,coordinator和workers。两种角色的配置不同,其中coordinator有点类似master节点,workers类似于slave节点。
注意:discovery.uri需要配置成coordinator的host。
coordinator:
coordinator=truenode-scheduler.include-coordinator=falsehttp-server.http.port=8080query.max-memory=50GBquery.max-memory-per-node=1GBdiscovery-server.enabled=truediscovery.uri=http://host:8080workers:
coordinator=falsehttp-server.http.port=8080query.max-memory=50GBquery.max-memory-per-node=1GBdiscovery.uri=ht...阅读全文

MySQL设计架构

作者:JerryXia | 发表于 , 阅读 (39)
前言在使用Impala这种所谓大数据引擎的时候,总会感觉有些地方设计的不是那么尽善尽美,比如说缓存,Impala的查询结果是没有经过缓存的,也就是说每次都相当于需要重新对文件执行一遍查询。
感觉MySQL这种优秀的关系型数据库还不是很深入的了解,有点罪过,趁着周末补一些
稍微整理一点MySQL架构相关的的知识点。自己用visio画一个书上的图贴出来。
MySQL基本架构如下图,是MySQL的逻辑架构图。

最上层的服务并不是MySQL所独有的,大多数基于网络的客户端/服务器的工具或者服务都有类似的架构,比如连接处理、授权认证、安全等等。
第二层架构是MySQL比较有意思的部分大多数MySQL的核心服务功能都在这一层。包括查询解析、分析、优化、缓存以及所有的内置函数,所有跨存储引擎的功能都在这一层实现:存储过程、触发器、视图等。
第三层包含了存储引擎。存储引擎负责MySQL中数据的存储和提取。和GNU/Linux下的各种文件系统一样,每个存储引擎都有它的优势和劣势。服务器通过API与存储引擎进行通信。这些接口屏蔽了不同存储引擎之间的差异。
下面挑几个模块解释一下:
1....阅读全文

Presto安装过程错误记录

作者:JerryXia | 发表于 , 阅读 (36)
前言presto安装过程中错误记录。
错误记录1.错误:1) Error: Defunct property 'task.max-memory' (class [class com.facebook.presto.execution.TaskManagerConfig]) cannot be configured.at com.facebook.presto.server.ServerMainModule.setup(ServerMainModule.java:254)2) Configuration property 'task.max-memory=1GB' was not usedat io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:235)2 errorscom.google.inject.CreationException: Unable to create injector, see the following errors:1) Error: Defunct property 'task...阅读全文