uniq (von unique = einzigartig) ist ein Filter, der Duplikate entfernt. Voraussetzung ist allerdings, dass die Eingabe sortiert ist, d.h. dass die Duplikate direkt aufeinander folgen, weshalb es i.d.R. mit sort kombiniert wird.
Beispiel
cat mitDoppelten.txt | sort | uniq >ohneDoppelte.txt - entfernt gleiche Zeilen