Удалить строки в текстовом файле, который содержит определенную строку

Как использовать sed для удаления всех строк в текстовом файле, который содержит определенную строку?

+1562
23 мар. '11 в 19:46
источник поделиться
15 ответов

Чтобы удалить строку и распечатать вывод на стандартный вывод:

sed '/pattern to match/d' ./infile

Чтобы напрямую изменить файл - не работает с BSD sed:

sed -i '/pattern to match/d' ./infile

То же самое, но для BSD sed (Mac OS X и FreeBSD) - не работает с GNU sed:

sed -i '' '/pattern to match/d' ./infile

Чтобы напрямую изменить файл (и создать резервную копию) - работает с BSD и GNU sed:

sed -i.bak '/pattern to match/d' ./infile
+2394
23 мар. '11 в 19:48
источник

Связанные вопросы


Похожие вопросы

Есть много других способов удалить строки с определенной строкой, кроме sed:

AWK

awk '!/pattern/' file > temp && mv temp file

Рубин (1. 9+)

ruby -i.bak -ne 'print if not /test/' file

Perl

perl -ni.bak -e "print unless /pattern/" file

Shell (Баш 3.2 и позже)

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

И, конечно, sed (обратная печать выполняется быстрее, чем фактическое удаление):

sed -n '/pattern/!p' file
+583
23 мар. '11 в 23:57
источник

Вы можете использовать sed для замены строк на месте в файле. Тем не менее, это выглядит намного медленнее, чем использование grep для инверсии во второй файл, а затем перемещение второго файла по оригиналу.

например.

sed -i '/pattern/d' filename      

или

grep -v "pattern" filename > filename2; mv filename2 filename

Первая команда в 3 раза больше времени на моей машине.

+221
02 нояб. '12 в 2:37
источник

Легкий способ сделать это с помощью GNU sed:

sed --in-place '/some string here/d' yourfile
+65
02 янв. '15 в 17:56
источник

Вы можете рассмотреть использование ex (который является стандартным редактором на основе команд Unix):

ex +g/match/d -cwq file

где:

  • + выполняет данную команду Ex (man ex), так же как -c которая выполняет wq (запись и выход)
  • g/match/d - команда Ex для удаления строк с данным match, см.: Сила g

Приведенный выше пример представляет собой метод, совместимый с POSIX -c, для редактирования файла на месте согласно этому посту в спецификациях Unix.SE и POSIX для ex.


Разница с sed том, что:

sed - это S- tream ED itor, а не редактор файлов. BashFAQ

Если вы не наслаждаетесь непереносимым кодом, накладными расходами ввода/вывода и некоторыми другими плохими побочными эффектами. Таким образом, в основном некоторые параметры (например, на месте /-i) являются нестандартными расширениями FreeBSD и могут быть недоступны в других операционных системах.

+29
17 окт. '15 в 11:54
источник

Я боролся с этим на Mac. Плюс, мне нужно было сделать это с помощью замены переменных.

Поэтому я использовал:

sed -i '' "/$pattern/d" $file

где $file - файл, в котором требуется удаление, а $pattern - шаблон, который необходимо сопоставить для удаления.

Я выбрал '' из этого комментария.

Здесь следует отметить использование двойных кавычек в "/$pattern/d". Переменная не будет работать, когда мы используем одинарные кавычки.

+13
09 мар. '16 в 15:39
источник

Я сделал небольшой тест с файлом, который содержит приблизительно 345 000 строк. В этом случае способ с grep в этом случае примерно в 15 раз быстрее, чем метод sed.

Я пробовал как с установкой LC_ALL = C, так и без нее, похоже, что изменения существенно не изменяются. Строка поиска (CDGA_00004.pdbqt.gz.tar) находится где-то посередине файла.

Вот команды и тайминги:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s
+13
19 мар. '17 в 12:45
источник

Чтобы получить результат, подобный inplace с помощью grep, вы можете сделать это:

echo "$(grep -v "pattern" filename)" >filename
+12
13 июн. '15 в 19:24
источник

Вы также можете использовать это:

 grep -v 'pattern' filename

Здесь -v будет печатать только ваш шаблон (это означает инвертированное совпадение).

+11
28 мар. '15 в 7:11
источник

echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

+2
16 сент. '16 в 23:51
источник
perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

Первая команда редактирует файл inplace (-i).

Вторая команда выполняет то же самое, но сохраняет копию или резервную копию исходного файла (ов), добавляя.bk к именам файлов (.bk можно изменить на что угодно).

+2
30 июн. '14 в 14:59
источник
cat filename | grep -v "pattern" > filename.1
mv filename.1 filename
+1
31 мая '18 в 11:59
источник
$ git ls-files -o -c --exclude-standard > /tmp/c; git ls-files -d > /tmp/d; grep -vf /tmp/d /tmp/c
0
16 мая '19 в 13:59
источник

На всякий случай, если кто-то захочет сделать это для точного соответствия строк, вы можете использовать флаг -w в grep -w для целого. То есть, например, если вы хотите удалить строки с номером 11, но оставить строки с номером 111:

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

Он также работает с флагом -f если вы хотите исключить несколько точных паттернов одновременно. Если "черный список" - это файл с несколькими шаблонами в каждой строке, который вы хотите удалить из "файла":

grep -w -v -f blacklist file
0
02 мар. '17 в 10:45
источник

Посмотрите другие вопросы по меткам или Задайте вопрос