本文为官方文档译文。仅限交流使用。

因为有用到 Presto，就按照官方文档学一学，顺便记录一下，预计两个星期吧。

Presto 是一个分布式的 SQL 查询引擎，被设计用于查询分布在多个或多样的数据源上的数据集。比如 hive 与 mysql。

Presto 不是什么

Presto 不是一个数据库。虽然他可以想普通的关系型数据库一样，通过解析 SQL 语句来得到想要的数据集。他不是关系型数据库的替代品。也不是设计用于 OLTP。

Presto 是什么

Presto 是被设计为使用分布式查询来高效的查询浩瀚数据的工具。如果你操作的是 TP 甚至是 PB 的数据集，你可能使用的是内置在 Hadoop 和 HDFS 中的工具，比如 hive 与 Pig，Presto 可以作为他们的替换品，通过使用 MapRuduce job 的管道工具来查询数据。不过 Presto 不仅仅可以查询 HDFS，还可以查询许多关系型数据库和其他种类的数据源，比如 Cassandra。

Presto 被设计用于处理数据仓库与分析：在大量的数据上进行数据分析、聚合与生成产品报告，这些工作往往被归类为OLAP。

Presto 是 Facebook 开源的项目。现在的开发人员除了 Facebook 内部人员，还有三方的开源社区的代码贡献者。

部署Presto

安装 Presto

下载 Presto 的tarball。presto-server-0.183.tar.gz解压到你希望的目录下。

Presto 需要一个数据目录来存储数据记录等等。建议将改文件夹创建在 Presto 安装目录之外，这样这升级 Presto 的时候回方便很多。

配置 Presto

在 Presto 安装目录创建一个 etc 目录。里面将会包含下面的目录：

节点属性（Node Properties）：每个节点的具体的环境配置。
JVM 配置： JVM 的命令行选项。
配置属性（Config Propertoes）: Presto server 的配置。
Catalog 属性：配置连接器（数据源）。

节点属性（Node Properties）

节点配置文件， etc/node.properties,包含每个节点具体的配置。一个节点是 Presto 在一个机器上的一个独立的实例。下面是一个最基本的配置：

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/var/presto/data

node.environment: 环境的名字。在一个集群上的所有节点都必须有相同的环境名称。
node.id: Presto 当前的安装实例的唯一标识。不管是重启还是升级 Presto，都必须保持这个名字不会变。如果在一台机器上存在多个 presto 安装实例，每个实例之间的 id 也同样要保持唯一。
node.data-dir: 上面提到的数据文件的目录。存储日志以及数据。

JVM 配置

etc/jvm.config 下包含了运行 JVM 时候的命令行参数。格式就是文件的一行就是一个选项。这些选线不是通过 shell 来解释的，所以不能包含空格以及其他特殊字符串，否则无法被引用。

下面就是一个配置的示例：

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

因为 OutOfMemoryError 会使 JVM 处于不一致的状态，所以我们在其发生时进行堆转储以及退出 JVM。

配置属性（Config Properties）

配置属性文件，etc/config.properties 包含的是 Presto 服务的配置文件。每一个 Presto 服务都可以同时担任一个工作者和协调者的角色，但是明确的让一个机器只担任单个角色，在大的集群上，能够获得很好的性能提升。

下面是协调者最基础的配置：

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=50GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://example.net:8080

还有工作者最基础的配置:

coordinator=false
http-server.http.port=8080
query.max-memory=50GB
query.max-memory-per-node=1GB
discovery.uri=http://example.net:8080

当然，你也可以让一个节点即可以做为工作者，也可以作为协调者。基本配置如下：

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=5GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://example.net:8080

coordinator：允许该 Presto 实例可以作为协调者。
node-scheduler.include-coordinator: 是否允许在调度者上调度任务。对于大的集群来说，在协调者上执行任务，会压迫降低查询的效率。
http-server.http.port：指定 HTTP 服务的端口， Presto 使用 HTTP 来完成所有内部，外部的交流。
query.max-memory：查询时允许使用的集群内存的总量。
query.max-memory-per-node：查询时，一个节点上允许使用的最大内存。
discovery-server.enabled：presto 使用“发现服务"来寻找集群上的其他实例。每个 Presto 会在启动的时候使用发现服务注册他自己。为了部署简单，Presto 的协调者会运行一个嵌入式的发现服务, 并且使用 Presto 的 HTTP 服务来进行交互。
discovery.uri：为“发现服务”所使用的 URL。因为使用的协调者内嵌的“发现服务”，所以就是用本机的主机名和 HTTP 服务的端口。

除此之外，你可能还需要下面的属性：

query.queue-config-file：查询队列配置文件所在的位置。就是用于控制提交到 Presto 的查询的数目，限制等等属性，有空说。
jmx.rmiserver.port：指定 JMX RMI 服务的端口。Presto 通过 JMX 提供了很多有用的监控。

日志级别

日志级别在 etc/log.properties 下进行配置。Presto 通过层级配置来为指定的包执行相应的最小日志级别。

日志级别有：DEBUG, INFO, WARN 和 ERROR。默认为 INFO。

下面的配置就以为着 com.facebook.presto.server 和 com.facebook.presto.hive 下的最小日志级别为 INFO 。

Catalog 属性

Presto 通过挂载在 Catalogs 中的连接器来存取数据。连接器提供所有在 catalog 中的模式与表。比如 Hive 连接器将每一个数据库映射为一个模式，所以 Hive 连接器是挂载在 hive catalog 中的，并且 Hive 的 web 库里有一个 clicks 表，然后在 Presto 中就可以通过 hive.web.clicks 来存取该表。

catalog 是通过在 etc/catalog 目录中创建一个 catalog 文件来进行注册的。例如，创建一个内容如下所示的文件 --- etc/catalog/mysql.properties，就能挂载一个 mysql 连接器。

connector.name=mysql
connection-url=jdbc:mysql://localhost:3306
connection-user=root
connection-password=xxxx

关于更多连接器的知识，等有空

运行 Presto

使用下面的命令来开启 Presto 的后台进程：

bin/launcher start

也可以不让让后台运行：

bin/launcher run

使用 --help 来查看更多命令。除此之外，使用--verbose选项对调试安装实例很有用处。

运行后，你可以再 var/log 中看到日志文件:

launcher：被launcher创建。用于收集 JVM 生成的 stdout 与 stderr。
server.log: 这是 Presto 使用的最主要的日志文件。其中包含得是 Presto 服务相关的日志，比如服务失败日志。
http-request.log： http 请求的相关日志。

End
Created By Henvealf

Presto学译 | 1. 简单介绍与部署