Access and Query Amazon Athena via DBI/JDBC
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

76 lines
3.1 KiB

преди 5 години
#' Simplified Athena JDBC connection helper
преди 7 години
#'
#' Handles the up-front JDBC config
#'
преди 7 години
#' @md
преди 5 години
#' @param default_schema the name of the database schema to use when a schema is
#' not explicitly specified in a query. You can still issue queries on other
#' schemas by explicitly specifying the schema in the query.
#' @param provider JDBC auth provider (defaults to `com.simba.athena.amazonaws.auth.DefaultAWSCredentialsProviderChain`)
преди 7 години
#' @param region AWS region (Ref: <http://docs.aws.amazon.com/general/latest/gr/rande.html#athena>)
преди 5 години
#' @param s3_staging_dir the Amazon S3 location to which your query output is written.
#' The JDBC driver then asks Athena to read the results and provide rows
#' of data back to the user.
#' @param max_error_retries the maximum number of retries that the JDBC client
#' attempts to make a request to Athena.
#' @param connection_timeout the maximum amount of time, in milliseconds, to
#' make a successful connection to Athena before an attempt is terminated.
#' @param socket_timeout the maximum amount of time, in milliseconds, to wait
#' for a socket in order to send data to Athena.
#' @param log_path local path of the Athena JDBC driver logs. If no log path is
#' provided, then no log files are created.
преди 6 години
#' @param log_level log level of the Athena JDBC driver logs. Use names
преди 5 години
#' "OFF", "FATAL", "ERROR", "WARNING", "INFO", "DEBUG", "TRACE".
преди 5 години
#' @param ... passed on to the driver
преди 7 години
#' @export
преди 5 години
#' @references [Connect with JDBC](https://docs.aws.amazon.com/athena/latest/ug/connect-with-jdbc.html);
#' [Simba Athena JDBC Driver with SQL Connector Installation and Configuration Guide](https://s3.amazonaws.com/athena-downloads/drivers/JDBC/SimbaAthenaJDBC_2.0.6/docs/Simba+Athena+JDBC+Driver+Install+and+Configuration+Guide.pdf)
преди 7 години
#' @examples \dontrun{
#' use_credentials("personal")
преди 7 години
#'
преди 5 години
#' athena_connect(
#' default_schema = "sampledb",
#' s3_staging_dir = "s3://accessible-bucket",
#' log_path = "/tmp/athena.log",
#' log_level = "DEBUG"
#' ) -> ath
преди 7 години
#'
преди 7 години
#' dbListTables(ath)
преди 7 години
#'
преди 7 години
#' dbGetQuery(ath, "SELECT * FROM sampledb.elb_logs LIMIT 1")
преди 7 години
#'
преди 7 години
#' }
преди 6 години
athena_connect <- function(
default_schema = "default",
преди 5 години
provider = "com.simba.athena.amazonaws.auth.DefaultAWSCredentialsProviderChain",
преди 6 години
region = c("us-east-1", "us-east-2", "us-west-2"),
s3_staging_dir = Sys.getenv("AWS_S3_STAGING_DIR"),
max_error_retries = 10,
connection_timeout = 10000,
socket_timeout = 10000,
log_path = "",
преди 5 години
log_level = c("OFF", "FATAL", "ERROR", "WARNING", "INFO", "DEBUG", "TRACE"),
...
) {
преди 7 години
athena_jdbc <- Athena()
преди 7 години
region <- match.arg(region, c("us-east-1", "us-east-2", "us-west-2"))
преди 6 години
log_level <- match.arg(log_level, c("OFF", "FATAL", "ERROR", "WARNING", "INFO", "DEBUG", "TRACE"))
преди 7 години
преди 6 години
dbConnect(
athena_jdbc,
преди 5 години
Schema = default_schema,
AwsRegion = region,
S3OutputLocation = s3_staging_dir,
MaxErrorRetry = max_error_retries,
ConnectTimeout = connection_timeout,
SocketTimeout = socket_timeout,
LogPath = log_path,
LogLevel = log_level,
AwsCredentialsProviderClass= provider,
преди 5 години
...
преди 6 години
) -> con
преди 7 години
}