2 Greenplum导入导出工具详细介绍

2.1 导入导出工具说明

2.1.1 使用Gpfdist服务

GPFDIST是emc工程师推荐的最快的导入导出工具。导入导出数据的时候gpfdist是同时并行的与各个节点互动,效率很高(十分高!如果忽略掉GP的一些其他问题,简直完美)。
在我们的实际试验中使用一个gpfdist加上千兆网卡装载4G的gz文件(压缩前为36G)的文件约要170秒;然后再导出这个数据耗时约580秒。如果使用四个gpfdist,在千兆网卡的支持下速度大约可以提高2.5-3倍。
概述:
gpfdist [-d directory] [-p http_port] [-l log_file] [-t timeout] [-m max_length]
-d:
gpfdist所指向的路径,在这个路径下gpfdist才能读取文件或写入文件;
如果没有指定这个东西,gpfdist会默认为指向当前路径;
注意:启动gpfdist服务的用户要对这个路径有读写权限。
-l:
指定日志文件的路径,记录gpfdist的运行日志,其实是个简单日志(包含一些启动、关闭、找不到文件之类的无聊东西)。
-p:
指定gpfdist服务端口,这个值默认是8080,前置机一般使用9000以上的端口
-t:
为gp创建一个到gpfdist的连接设置一个超时时间;
默认是5秒,允许设置值范围为2-30秒。一般情况不需对这个做设定。
-m:
允许文本文件行的最大长度(以bytes为单位)。默认值为32768.
取值范围为: 32K -- 1MB,目前前置机的项目都只是使用默认值。
-?
获得帮助
--version
查看版本

2.1.2 使用Copy命令

COPY命令是使用比较灵活的导入导出工具,这个工具是postgresql本身带的工具实现表和文件之间拷贝数据,EMC公司对其进行了加工,使其在greenplum的集群环境下可以使用。目前在GP4.1及之前的版本中copy的是逐个节点(逐个postgresql )来导入导出的,所以在效率上比gpfdist要低;
但是copy命令可以很简洁完成一个导入导出操作,使得它也具有十分光辉的魅力。
由于这个工具是直接从postgresql发展出来的完全可以按照postgresql的方式使用,因此在网络上关于copy的资料十分丰富,所以很多开发人员都万分乐意的使用之。
概述(来源于万能的帮助文档):
COPY tablename [ ( column [, ...] ) ]
FROM { 'filename' | STDIN }
[ [ WITH ]
[ BINARY ]
[ OIDS ]
[ DELIMITER [ AS ] 'delimiter' ]
[ NULL [ AS ] 'null string' ]
[ CSV [ HEADER ]
[ QUOTE [ AS ] 'quote' ]
[ ESCAPE [ AS ] 'escape' ]
[ FORCE NOT NULL column [, ...] ]

COPY { tablename [ ( column [, ...] ) ] | ( query ) }
TO { 'filename' | STDOUT }
[ [ WITH ]
[ BINARY ]
[ HEADER ]
[ OIDS ]
[ DELIMITER [ AS ] 'delimiter' ]
[ NULL [ AS ] 'null string' ]
[ CSV [ HEADER ]
[ QUOTE [ AS ] 'quote' ]
[ ESCAPE [ AS ] 'escape' ]
[ FORCE QUOTE column [, ...] ]

参数说明:
1、tablename
现存表的名字(可以有模式修饰)
2、column
可选的待拷贝字段列表。如果没有声明字段列表,那么将使用所有字段。
3、query
一个必须用圆括弧包围的 SELECT 或 VALUES 命令,其结果将被拷贝。
4、filename
输入或输出文件的绝对路径。Windows 用户可能需要使用 E'' 字符串和双反斜线作为路径分割符。
5、STDIN
声明输入是来自客户端应用
6、STDOUT
声明输入前往客户端应用
7、BINARY
使用二进制格式存储和读取,而不是以文本的方式。在二进制模式下,不能声明 DELIMITER, NULL, CSV 选项。
8、OIDS
声明为每行拷贝内部对象标识(OID)。如果为一个 query 拷贝或者没有 OID 的表声明了 OIDS 选项,则抛出一个错误。
9、delimiter
在文件中分隔各个字段的单个字符。在文本模式下,缺省是水平制表符,在 CSV 模式下是一个逗号。
10、null string
这是一个代表 NULL 值的字符串。在文本模式下缺省是 \N ,在 CSV 模式下是一个没有引号的 NULL 。如果你不想区分 NULL 和空字符串,那么即使在文本模式下你可能也会使用一个空字符串。
【注意】在使用 COPY FROM 的时候,任何匹配这个字符串的字符串将被存储为 NULL 值,所以你应该确保你用的字符串和 COPY TO 相同。
11、CSV
打开逗号分隔变量(CSV)模式
12、HEADER
声明文件包含一个标题头行,包含文件中每个字段的名字。输出时,第一行包含表的字段名;输入时,第一行被忽略。
13、quote
声明 CSV 模式里的引号字符。缺省是双引号。
14、escape
声明在 CSV 模式下应该出现在数据里 QUOTE 字符值前面的字符。缺省是 QUOTE 值(通常是双引号)。
15、FORCE QUOTE
在 CSV COPY TO 模式下,强制在每个声明的字段周围对所有非 NULL 值都使用引号包围。NULL 输出从不会被引号包围。
16、FORCE NOT NULL
在 CSV COPY FROM 模式下,把声明的每个字段都当作它们有引号包围来处理,因此就没有 NULL 值。对于在 CSV 模式下的缺省空字符串(''),这样导致一个缺失的数值当作一个零长字符串输入。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,378评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,356评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,702评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,259评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,263评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,036评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,349评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,979评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,469评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,938评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,059评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,703评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,257评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,262评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,501评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,792评论 2 345

推荐阅读更多精彩内容

  • 1. Java基础部分 基础部分的顺序:基本语法,类相关的语法,内部类的语法,继承相关的语法,异常的语法,线程的语...
    子非鱼_t_阅读 31,581评论 18 399
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,599评论 18 139
  • 一. Java基础部分.................................................
    wy_sure阅读 3,790评论 0 11
  • 泰伦·卢,或许在执掌骑士队教鞭以前,球迷对他最大的印象就是2001年总决赛上被艾弗森跨过的那一幕,甚至比较年轻的观...
    氧气是个地铁阅读 5,951评论 0 0
  • 在 19 世纪中叶,卡尔 · 马克思提出了卓越的经济见解,并据以预言无产阶级和资产阶级的冲突将日益激烈,无产阶级必...
    王诗翔阅读 147评论 1 0