R语言链接redshift数据库

在工作中进行数据挖掘,机器学习,数据分析等等,需要使用到数据库。但是如何链接数据库,可能统计学的学生在学校接触并不多。R基本上所有的数据库的链接都支持:

RODBC - R中ODBC数据库范围. 官网:http://cran.r-project.org/web/packages/RODBC/

DBI - 在R和数据库管理系统之间定义一个公共的接口. 官网:https://github.com/rstats-db/DBI

elastic - Elasticsearch HTTP API的包装器. 官网:https://github.com/ropensci/elastic

mongolite - R中Mongo客户端. 官网:https://github.com/jeroenooms/mongolite

RMySQL - R语言的MySQL数据库接口. 官网:http://cran.r-project.org/web/packages/RMySQL/

ROracle - R中Oracle数据库的接口. 官网:http://cran.r-project.org/web/packages/ROracle/index.html

RPostgreSQL - R语言的PostgreSQL数据库系统接口. 官网:https://code.google.com/p/rpostgresql/

RSQLite - R语言SQLite数据库接口. 官网:http://cran.r-project.org/web/packages/RSQLite/

RJDBC - 通过JDBC接口访问数据库. 官网:http://cran.r-project.org/web/packages/RJDBC/

rmongodb - R中MongoDB驱动. 官网:https://github.com/mongosoup/rmongodb

rredis - R中Redis驱动. 官网:http://cran.r-project.org/web/packages/rredis/

RCassandra -Apache Cassanda直接接口(不是JAVA),提供了最多的基本功能. 官网:http://cran.r-project.org/web/packages/RCassandra/index.html

RHive - 通过Apache Hive的R扩展促进分布式计算. 官网:https://github.com/nexr/RHive

RNeo4j - Neo4j图形数据库驱动. 官网:https://github.com/nicolewhite/Rneo4j

链接redshift

链接redshift数据库的方法有很多,一一列举:

  1. RJDBC
install.packages("RJDBC")
library(RJDBC)

# download Amazon Redshift JDBC driver
download.file('http://s3.amazonaws.com/redshift-downloads/drivers/RedshiftJDBC41-1.1.9.1009.jar','RedshiftJDBC41-1.1.9.1009.jar')

# connect to Amazon Redshift
driver <- JDBC("com.amazon.redshift.jdbc41.Driver", "RedshiftJDBC41-1.1.9.1009.jar", identifier.quote="`")
# url <- "<JDBCURL>:<PORT>/<DBNAME>?user=<USER>&password=<PW>
url <- "jdbc:redshift://demo.ckffhmu2rolb.eu-west-1.redshift.amazonaws.com
:5439/demo?user=XXX&password=XXX"
conn <- dbConnect(driver, url) 


library(RJDBC)

# download Amazon Redshift JDBC driver
download.file('http://s3.amazonaws.com/redshift-downloads/drivers/RedshiftJDBC41-1.1.9.1009.jar','RedshiftJDBC41-1.1.9.1009.jar')

# connect to Amazon Redshift
driver <- JDBC("com.amazon.redshift.jdbc41.Driver", "RedshiftJDBC41-1.1.9.1009.jar", identifier.quote="`")
# url <- "<JDBCURL>:<PORT>/<DBNAME>?user=<USER>&password=<PW>
url <- "jdbc:redshift://jiayundatapro.cls0csjdlwvj.us-west-2.redshift.amazonaws.com:5439/jiayundata?user=ds_report&password=DataAs1234"
conn <- dbConnect(driver, url)

显示数据库中的表格

# list tables
dbGetTables(conn)
dbGetQuery(conn, "SELECT table_name FROM information_schema.tables WHERE table_schema = 'public'")

# get some data from the Redshift table
dbGetQuery(conn, "select count(*) from flights")

# this is not a good idea – the table has more than 100 Mio. rows”
# fligths <- dbReadTable(conn, "flights")

# close connection
dbDisconnect(conn)
  1. dplyr
    这个包是数据分析的包,但是也可以用来链接数据库
# now run analyses with the dplyr package on Amazon Redshift
install.packages("dplyr")
library(dplyr)
library(RPostgreSQL)
#myRedshift <- src_postgres("<DBNAME>",
#   host = "<ENDPOINT>,
#   port = <PORT>,
#   user = "<USER<",
#   password = "<PW>")
myRedshift <- src_postgres('demo',
host = 'redshiftdemo.ckffhmu2rolb.eu-west-1.redshift.amazonaws.com',
port = 5439,
user = "markus", 
password = "XXX")

获取某一个表

# create table reference
flights <- tbl(myRedshift, "flights")
# 或者
dplyr::tbl(con, dbplyr::in_schema("abc", "mytable1"))
# 或者
remote_df = dplyr::tbl(sc,from = "db.financer_tbl") # 定义数据源表 
# 或者 
remote_df = dplyr::tbl(sc,from = dplyr::sql("select * from db.financer_tbl limit 10")) #

# simple and default R commands analyzing data frames
dim(flights)
colnames(flights)
head(flights)

#the summarize command reduces grouped data to a single row.
summarize(flights, avgdelay=mean(arrdelay))
summarize(flights, avgdelay=max(arrdelay))

链接好数据库,获取数据,然后就可以进行各种数据操作了。

3.再添加几种方式

require(redshift)

conn <- redshift.connect('jdbc:postgresql://jiayundatapro.cls0csjdlwvj.us-west-2.redshift.amazonaws.com:5439/jiayundata', "xxx", "xxxx")

tables <- redshift.tables(conn)

mydata <- dbGetQuery(conn, paste('select * from milin.clicktime'))


连外附上连接mysql的方式

my_db <- src_mysql(dbname = "rmysql",
                   host = localhost,
                   port = 3306,
                   user = "rmysql",
                   password = "rmysql")
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容