Часто используемый · Чтение и обработка текста
uniq: объединить соседние повторяющиеся строки.
Синтаксис
uniq [-cd] [файл]Параметры
-c- Показать количество повторений
-d- Показывать только повторяющиеся строки
Примеры
sort data/names.txt | uniqИспользование и поддержка
uniq обрабатывает только соседние повторяющиеся строки, а глобальная дедупликация обычно начинается с sort.
Практические упражнения
- Подсчитайте повторяющиеся именаОсновные
Команды по теме
catЧтение и объединение текстаlessЧитать текст на страницахmoreПросмотр текста на страницахheadПрочитайте первые несколько строкtailПрочитай последние несколько строкgrepФильтровать текст по шаблонуfindПоиск путей по имени или типуwcПодсчет строк, слов и байтовsortСортировка строк текстаcutИзвлечение столбцов или символовtrЗаменить или удалить символыsedЗаменить текст или выделить строкиawkИзвлечение структурированных текстовых полейdiffСравнить два текстовых файлаvimРедактировать файлы в терминалеnanoИзменяйте файлы с помощью простого редактораnlКоличество строк текстаtacВывод строк текста в обратном порядкеrevПереворачивать символы построчноpasteСоединение текстовых столбцов по горизонталиcommСравнить отсортированные спискиcmpСравните файлы, чтобы увидеть, одинаковы ли ониexpandПреобразовать Tab в пробелыunexpandПреобразовать ведущие пробелы в TabfoldПеренос длинного текстаrgБыстрый рекурсивный текстовый поискjqОбработать JSONyqОбработать YAMLjoinОбъединить отсортированные таблицы по общим полямfmtПереформатировать абзацы по словамcolumnУпорядочить текстовую таблицуstringsИзвлечь текст для печати из двоичного файлаodПросмотр байтового представления файлаhexdumpПоказать шестнадцатеричные байтыxxdПросмотр или восстановление шестнадцатеричного дампаiconvПреобразование кодировки текстаdos2unixПреобразовать Windows в новую строкуsplitРазбить файл по строкамcsplitРазделить текст по шаблонуbcОценка числового выражения