Как импортировать CSV файлы в таблицу PostgreSQL?

Как я могу написать хранимую процедуру, которая импортирует данные из файла CSV и заполняет таблицу?

522
07 июня '10 в 9:19
источник поделиться
15 ответов

Взгляните на короткую статью.


Решение перефразировано здесь:

Создайте таблицу:

CREATE TABLE zip_codes 
(ZIP char(5), LATITUDE double precision, LONGITUDE double precision, 
CITY varchar, STATE char(2), COUNTY varchar, ZIP_CLASS varchar);

Скопировать данные из файла CSV в таблицу:

COPY zip_codes FROM '/path/to/csv/ZIP_CODES.txt' WITH (FORMAT csv);
709
07 июня '10 в 9:24
источник

Связанные вопросы


Похожие вопросы

Если у вас нет разрешения на использование COPY (который работает на сервере db), вы можете вместо этого использовать \copy (который работает в клиенте db). Используя тот же пример, что и Божидар Бацов:

Создайте таблицу:

CREATE TABLE zip_codes 
(ZIP char(5), LATITUDE double precision, LONGITUDE double precision, 
CITY varchar, STATE char(2), COUNTY varchar, ZIP_CLASS varchar);

Скопировать данные из файла CSV в таблицу:

\copy zip_codes FROM '/path/to/csv/ZIP_CODES.txt' DELIMITER ',' CSV

Вы также можете указать столбцы для чтения:

\copy zip_codes(ZIP,CITY,STATE) FROM '/path/to/csv/ZIP_CODES.txt' DELIMITER ',' CSV
165
20 июня '15 в 10:26
источник

Одним из быстрых способов сделать это является использование библиотеки панд Python (лучше всего работает версия 0.15 или выше). Это будет обрабатывать создание столбцов для вас - хотя, очевидно, выбор, который он делает для типов данных, может оказаться не тем, что вам нужно. Если это не совсем то, что вам нужно, вы всегда можете использовать код 'create table', сгенерированный как шаблон.

Вот простой пример:

import pandas as pd
df = pd.read_csv('mypath.csv')
df.columns = [c.lower() for c in df.columns] #postgres doesn't like capitals or spaces

from sqlalchemy import create_engine
engine = create_engine('postgresql://username:password@localhost:5432/dbname')

df.to_sql("my_table_name", engine)

А вот код, который показывает вам, как установить различные параметры:

# Set it so the raw sql output is logged
import logging
logging.basicConfig()
logging.getLogger('sqlalchemy.engine').setLevel(logging.INFO)

df.to_sql("my_table_name2", 
          engine, 
          if_exists="append",  #options are ‘fail, ‘replace, ‘append, default ‘fail
          index=False, #Do not output the index of the dataframe
          dtype={'col1': sqlalchemy.types.NUMERIC,
                 'col2': sqlalchemy.types.String}) #Datatypes should be [sqlalchemy types][1]
66
18 апр. '15 в 23:22
источник

Вы также можете использовать pgAdmin, который предлагает графический интерфейс для импорта. Это показано в этом потоке SO. Преимущество использования pgAdmin в том, что он также работает для удаленных баз данных.

Как и предыдущие решения, вам нужно будет иметь свою таблицу в базе данных уже. У каждого человека есть свое решение, но то, что я обычно делаю, это открыть CSV в Excel, скопировать заголовки, вставить специальные с транспозицией на другой рабочий лист, поместить соответствующий тип данных в следующий столбец, а затем просто скопировать и вставить его в текстовый редактор вместе с соответствующим запросом создания SQL-таблицы:

CREATE TABLE my_table (
    /*paste data from Excel here for example ... */
    col_1 bigint,
    col_2 bigint,
    /* ... */
    col_n bigint 
)
28
03 нояб. '14 в 22:49
источник

Как сказал Павел, импорт работает в pgAdmin:

щелкните правой кнопкой мыши по таблице → import

выберите локальный файл, формат и кодирование

здесь представлен немецкий скриншот графического интерфейса пользователя pgAdmin:

pgAdmin import GUI

Аналогичная вещь, которую вы можете сделать с DbVisualizer (у меня есть лицензия, не уверенная о бесплатной версии)

щелкните правой кнопкой мыши по таблице → Импортировать данные таблицы...

DbVisualizer import GUI

20
17 сент. '15 в 11:55
источник

В большинстве других решений здесь требуется создать таблицу заранее/вручную. В некоторых случаях это может оказаться неприемлемым (например, если в таблице назначения много столбцов). Таким образом, подход ниже может пригодиться.

Предоставляя количество путей и столбцов вашего файла csv, вы можете использовать следующую функцию для загрузки таблицы в таблицу temp, которая будет называться как target_table:

Предполагается, что в верхней строке есть имена столбцов.

create or replace function data.load_csv_file
(
    target_table text,
    csv_path text,
    col_count integer
)

returns void as $$

declare

iter integer; -- dummy integer to iterate columns with
col text; -- variable to keep the column name at each iteration
col_first text; -- first column name, e.g., top left corner on a csv file or spreadsheet

begin
    set schema 'your-schema';

    create table temp_table ();

    -- add just enough number of columns
    for iter in 1..col_count
    loop
        execute format('alter table temp_table add column col_%s text;', iter);
    end loop;

    -- copy the data from csv file
    execute format('copy temp_table from %L with delimiter '','' quote ''"'' csv ', csv_path);

    iter := 1;
    col_first := (select col_1 from temp_table limit 1);

    -- update the column names based on the first row which has the column names
    for col in execute format('select unnest(string_to_array(trim(temp_table::text, ''()''), '','')) from temp_table where col_1 = %L', col_first)
    loop
        execute format('alter table temp_table rename column col_%s to %s', iter, col);
        iter := iter + 1;
    end loop;

    -- delete the columns row
    execute format('delete from temp_table where %s = %L', col_first, col_first);

    -- change the temp table name to the name given as parameter, if not blank
    if length(target_table) > 0 then
        execute format('alter table temp_table rename to %I', target_table);
    end if;

end;

$$ language plpgsql;
17
06 мая '15 в 20:24
источник
COPY table_name FROM 'path/to/data.csv' DELIMITER ',' CSV HEADER;
15
16 нояб. '16 в 22:06
источник

Личный опыт работы с PostgreSQL, все еще ждущий более быстрый способ.

1. Сначала создайте скелет таблицы, если файл хранится локально:

    drop table if exists ur_table;
    CREATE TABLE ur_table
    (
        id serial NOT NULL,
        log_id numeric, 
        proc_code numeric,
        date timestamp,
        qty int,
        name varchar,
        price money
    );
    COPY 
        ur_table(id, log_id, proc_code, date, qty, name, price)
    FROM '\path\xxx.csv' DELIMITER ',' CSV HEADER;

2. Когда \path\xxx.csv находится на сервере, postgreSQL не имеет разрешение на доступ к серверу, вам придется импортировать CSV файл через встроенные функции pgAdmin.

Щелкните правой кнопкой мыши имя таблицы, выберите импорт.

введите описание изображения здесь

Если у вас все еще есть проблемы, обратитесь к этому руководству. http://www.postgresqltutorial.com/import-csv-file-into-posgresql-table/

6
26 июля '17 в 20:06
источник

Используйте этот код SQL

    copy table_name(atribute1,attribute2,attribute3...)
    from 'E:\test.csv' delimiter ',' csv header

ключевое слово заголовка позволяет СУБД знать, что файл csv имеет заголовок с атрибутами

для более подробной информации http://www.postgresqltutorial.com/import-csv-file-into-posgresql-table/

5
12 янв. '17 в 10:27
источник

ИМХО, наиболее удобный способ - следовать " Импортировать данные CSV в postgresql, удобный способ ;-) ", используя csvsql из csvkit, который представляет собой пакет python, устанавливаемый через pip.

5
07 нояб. '15 в 12:54
источник
  1. сначала создайте таблицу

  2. Затем используйте команду copy, чтобы скопировать данные таблицы:

скопировать имя_таблицы (C1, C2, C3....)
от 'путь к вашему CSV файлу' разделитель ',' заголовок CSV;

Спасибо

4
22 дек. '17 в 10:33
источник

Если вам нужен простой механизм для импорта из текстового/синтаксического анализа многострочного CSV, вы можете использовать:

CREATE TABLE t   -- OR INSERT INTO tab(col_names)
AS
SELECT
   t.f[1] AS col1
  ,t.f[2]::int AS col2
  ,t.f[3]::date AS col3
  ,t.f[4] AS col4
FROM (
  SELECT regexp_split_to_array(l, ',') AS f
  FROM regexp_split_to_table(
$$a,1,2016-01-01,bbb
c,2,2018-01-01,ddd
e,3,2019-01-01,eee$$, '\n') AS l) t;

DBFiddle Demo

1
23 апр. '18 в 20:55
источник

В Python вы можете использовать этот код для автоматического создания таблицы PostgreSQL с именами столбцов:

import pandas, csv

from io import StringIO
from sqlalchemy import create_engine

def psql_insert_copy(table, conn, keys, data_iter):
    dbapi_conn = conn.connection
    with dbapi_conn.cursor() as cur:
        s_buf = StringIO()
        writer = csv.writer(s_buf)
        writer.writerows(data_iter)
        s_buf.seek(0)
        columns = ', '.join('"{}"'.format(k) for k in keys)
        if table.schema:
            table_name = '{}.{}'.format(table.schema, table.name)
        else:
            table_name = table.name
        sql = 'COPY {} ({}) FROM STDIN WITH CSV'.format(table_name, columns)
        cur.copy_expert(sql=sql, file=s_buf)

engine = create_engine('postgresql://postgres:user@localhost:5432/my_db')

df = pandas.read_csv("my.csv")
df.to_sql('my_table', engine, schema='my_schema', method=psql_insert_copy)

Это также относительно быстро, я могу импортировать более 3,3 миллиона строк примерно за 4 минуты.

0
26 апр. '19 в 19:45
источник

Создайте таблицу и введите необходимые столбцы, которые используются для создания таблицы в файле csv.

  • Откройте postgres и щелкните правой кнопкой мыши на целевой таблице, которую вы хотите загрузить, и выберите импорт и обновите следующие шаги в разделе параметры файла

  • Теперь просмотрите файл в имени файла

  • Выберите csv в формате

  • Кодирование как ISO_8859_5

Теперь перейти Разное. options и проверьте заголовок и нажмите на импорт.

0
04 июля '17 в 11:23
источник

Возможно, этот инструмент будет полезен http://www.convertcsv.com/csv-to-sql.htm Он имеет множество конфигурационных параметров для преобразования из CSV в базу данных script.

-1
06 дек. '17 в 4:32

Посмотрите другие вопросы по меткам или Задайте вопрос