src/test/regress/input/copy.source

   1 --
   2 -- COPY
   3 --
   4
   5 -- CLASS POPULATION
   6 --      (any resemblance to real life is purely coincidental)
   7 --
   8 COPY aggtest FROM '@abs_srcdir@/data/agg.data';
   9
  10 COPY onek FROM '@abs_srcdir@/data/onek.data';
  11
  12 COPY onek TO '@abs_builddir@/results/onek.data';
  13
  14 DELETE FROM onek;
  15
  16 COPY onek FROM '@abs_builddir@/results/onek.data';
  17
  18 COPY tenk1 FROM '@abs_srcdir@/data/tenk.data';
  19
  20 COPY slow_emp4000 FROM '@abs_srcdir@/data/rect.data';
  21
  22 COPY person FROM '@abs_srcdir@/data/person.data';
  23
  24 COPY emp FROM '@abs_srcdir@/data/emp.data';
  25
  26 COPY student FROM '@abs_srcdir@/data/student.data';
  27
  28 COPY stud_emp FROM '@abs_srcdir@/data/stud_emp.data';
  29
  30 COPY road FROM '@abs_srcdir@/data/streets.data';
  31
  32 COPY real_city FROM '@abs_srcdir@/data/real_city.data';
  33
  34 COPY hash_i4_heap FROM '@abs_srcdir@/data/hash.data';
  35
  36 COPY hash_name_heap FROM '@abs_srcdir@/data/hash.data';
  37
  38 COPY hash_txt_heap FROM '@abs_srcdir@/data/hash.data';
  39
  40 COPY hash_f8_heap FROM '@abs_srcdir@/data/hash.data';
  41
  42 COPY test_tsvector FROM '@abs_srcdir@/data/tsearch.data';
  43
  44 COPY testjsonb FROM '@abs_srcdir@/data/jsonb.data';
  45
  46 -- the data in this file has a lot of duplicates in the index key
  47 -- fields, leading to long bucket chains and lots of table expansion.
  48 -- this is therefore a stress test of the bucket overflow code (unlike
  49 -- the data in hash.data, which has unique index keys).
  50 --
  51 -- COPY hash_ovfl_heap FROM '@abs_srcdir@/data/hashovfl.data';
  52
  53 COPY bt_i4_heap FROM '@abs_srcdir@/data/desc.data';
  54
  55 COPY bt_name_heap FROM '@abs_srcdir@/data/hash.data';
  56
  57 COPY bt_txt_heap FROM '@abs_srcdir@/data/desc.data';
  58
  59 COPY bt_f8_heap FROM '@abs_srcdir@/data/hash.data';
  60
  61 COPY array_op_test FROM '@abs_srcdir@/data/array.data';
  62
  63 COPY array_index_op_test FROM '@abs_srcdir@/data/array.data';
  64
  65 -- analyze all the data we just loaded, to ensure plan consistency
  66 -- in later tests
  67
  68 ANALYZE aggtest;
  69 ANALYZE onek;
  70 ANALYZE tenk1;
  71 ANALYZE slow_emp4000;
  72 ANALYZE person;
  73 ANALYZE emp;
  74 ANALYZE student;
  75 ANALYZE stud_emp;
  76 ANALYZE road;
  77 ANALYZE real_city;
  78 ANALYZE hash_i4_heap;
  79 ANALYZE hash_name_heap;
  80 ANALYZE hash_txt_heap;
  81 ANALYZE hash_f8_heap;
  82 ANALYZE test_tsvector;
  83 ANALYZE bt_i4_heap;
  84 ANALYZE bt_name_heap;
  85 ANALYZE bt_txt_heap;
  86 ANALYZE bt_f8_heap;
  87 ANALYZE array_op_test;
  88 ANALYZE array_index_op_test;
  89
  90 --- test copying in CSV mode with various styles
  91 --- of embedded line ending characters
  92
  93 create temp table copytest (
  94         style   text,
  95         test    text,
  96         filler  int);
  97
  98 insert into copytest values('DOS',E'abc\r\ndef',1);
  99 insert into copytest values('Unix',E'abc\ndef',2);
 100 insert into copytest values('Mac',E'abc\rdef',3);
 101 insert into copytest values(E'esc\\ape',E'a\\r\\\r\\\n\\nb',4);
 102
 103 copy copytest to '@abs_builddir@/results/copytest.csv' csv;
 104
 105 create temp table copytest2 (like copytest);
 106
 107 copy copytest2 from '@abs_builddir@/results/copytest.csv' csv;
 108
 109 select * from copytest except select * from copytest2;
 110
 111 truncate copytest2;
 112
 113 --- same test but with an escape char different from quote char
 114
 115 copy copytest to '@abs_builddir@/results/copytest.csv' csv quote '''' escape E'\\';
 116
 117 copy copytest2 from '@abs_builddir@/results/copytest.csv' csv quote '''' escape E'\\';
 118
 119 select * from copytest except select * from copytest2;
 120
 121
 122 -- test header line feature
 123
 124 create temp table copytest3 (
 125         c1 int,
 126         "col with , comma" text,
 127         "col with "" quote"  int);
 128
 129 copy copytest3 from stdin csv header;
 130 this is just a line full of junk that would error out if parsed
 131 1,a,1
 132 2,b,2
 133 \.
 134
 135 copy copytest3 to stdout csv header;
 136
 137 -- test copy from with a partitioned table
 138 create table parted_copytest (
 139         a int,
 140         b int,
 141         c text
 142 ) partition by list (b);
 143
 144 create table parted_copytest_a1 (c text, b int, a int);
 145 create table parted_copytest_a2 (a int, c text, b int);
 146
 147 alter table parted_copytest attach partition parted_copytest_a1 for values in(1);
 148 alter table parted_copytest attach partition parted_copytest_a2 for values in(2);
 149
 150 -- We must insert enough rows to trigger multi-inserts.  These are only
 151 -- enabled adaptively when there are few enough partition changes.
 152 insert into parted_copytest select x,1,'One' from generate_series(1,1000) x;
 153 insert into parted_copytest select x,2,'Two' from generate_series(1001,1010) x;
 154 insert into parted_copytest select x,1,'One' from generate_series(1011,1020) x;
 155
 156 copy (select * from parted_copytest order by a) to '@abs_builddir@/results/parted_copytest.csv';
 157
 158 truncate parted_copytest;
 159
 160 copy parted_copytest from '@abs_builddir@/results/parted_copytest.csv';
 161
 162 -- Ensure COPY FREEZE errors for partitioned tables.
 163 begin;
 164 truncate parted_copytest;
 165 copy parted_copytest from '@abs_builddir@/results/parted_copytest.csv' (freeze);
 166 rollback;
 167
 168 select tableoid::regclass,count(*),sum(a) from parted_copytest
 169 group by tableoid order by tableoid::regclass::name;
 170
 171 truncate parted_copytest;
 172
 173 -- create before insert row trigger on parted_copytest_a2
 174 create function part_ins_func() returns trigger language plpgsql as $$
 175 begin
 176   return new;
 177 end;
 178 $$;
 179
 180 create trigger part_ins_trig
 181         before insert on parted_copytest_a2
 182         for each row
 183         execute procedure part_ins_func();
 184
 185 copy parted_copytest from '@abs_builddir@/results/parted_copytest.csv';
 186
 187 select tableoid::regclass,count(*),sum(a) from parted_copytest
 188 group by tableoid order by tableoid::regclass::name;
 189
 190 truncate table parted_copytest;
 191 create index on parted_copytest (b);
 192 drop trigger part_ins_trig on parted_copytest_a2;
 193
 194 copy parted_copytest from stdin;
 195 1       1       str1
 196 2       2       str2
 197 \.
 198
 199 -- Ensure index entries were properly added during the copy.
 200 select * from parted_copytest where b = 1;
 201 select * from parted_copytest where b = 2;
 202
 203 drop table parted_copytest;
 204
 205 --
 206 -- Progress reporting for COPY
 207 --
 208 create table tab_progress_reporting (
 209         name text,
 210         age int4,
 211         location point,
 212         salary int4,
 213         manager name
 214 );
 215
 216 -- Add a trigger to catch and print the contents of the catalog view
 217 -- pg_stat_progress_copy during data insertion.  This allows to test
 218 -- the validation of some progress reports for COPY FROM where the trigger
 219 -- would fire.
 220 create function notice_after_tab_progress_reporting() returns trigger AS
 221 $$
 222 declare report record;
 223 begin
 224   -- The fields ignored here are the ones that may not remain
 225   -- consistent across multiple runs.  The sizes reported may differ
 226   -- across platforms, so just check if these are strictly positive.
 227   with progress_data as (
 228     select
 229        relid::regclass::text as relname,
 230        command,
 231        type,
 232        bytes_processed > 0 as has_bytes_processed,
 233        bytes_total > 0 as has_bytes_total,
 234        tuples_processed,
 235        tuples_excluded
 236       from pg_stat_progress_copy
 237       where pid = pg_backend_pid())
 238   select into report (to_jsonb(r)) as value
 239     from progress_data r;
 240
 241   raise info 'progress: %', report.value::text;
 242   return new;
 243 end;
 244 $$ language plpgsql;
 245
 246 create trigger check_after_tab_progress_reporting
 247         after insert on tab_progress_reporting
 248         for each statement
 249         execute function notice_after_tab_progress_reporting();
 250
 251 -- Generate COPY FROM report with PIPE.
 252 copy tab_progress_reporting from stdin;
 253 sharon  25      (15,12) 1000    sam
 254 sam     30      (10,5)  2000    bill
 255 bill    20      (11,10) 1000    sharon
 256 \.
 257
 258 -- Generate COPY FROM report with FILE, with some excluded tuples.
 259 truncate tab_progress_reporting;
 260 copy tab_progress_reporting from '@abs_srcdir@/data/emp.data'
 261         where (salary < 2000);
 262
 263 drop trigger check_after_tab_progress_reporting on tab_progress_reporting;
 264 drop function notice_after_tab_progress_reporting();
 265 drop table tab_progress_reporting;