Removedor de linhas duplicadas

O Removedor de linhas duplicadas é uma ferramenta gratuita que elimina linhas repetidas de um texto colado e informa quantas linhas restaram.

Como remover linhas duplicadas?

Cole o texto com um item por linha, execute a ferramenta e copie o resultado sem as duplicatas.

1. Organize o conteúdo original para que cada endereço de e-mail, URL, código de produto ou outro valor fique em uma linha separada.
2. Envie o texto para remover as duplicatas.
3. Confira as contagens e revise as linhas resultantes antes de usá-las em outro lugar.

A ferramenta usa a operação array_unique do PHP. Quando uma mesma linha aparece mais de uma vez, a primeira ocorrência é mantida e as demais ocorrências idênticas são removidas.

Quando remover linhas duplicadas economiza tempo?

Esse recurso economiza tempo sempre que uma lista acumula entradas repetidas após exportações, cópias ou a combinação de várias fontes.

• Exportações do Excel e do Google Sheets costumam conter endereços de e-mail, números de referência ou códigos de estoque repetidos depois que planilhas são mescladas.
• Arquivos de importação do Mailchimp podem precisar da remoção de linhas com e-mails duplicados antes do envio. No entanto, remover linhas não valida os endereços nem concilia registros de contatos diferentes.
• O trabalho com produtos na Shopify pode gerar SKUs repetidos quando os valores são copiados de mais de um relatório.
• Exportações do Google Search Console podem ser combinadas em uma lista de URLs, uma por linha, e limpas antes de análises posteriores.
• Arquivos de configuração do GitHub, inclusive listas simples de permissões e de itens ignorados, podem conter entradas idênticas adicionadas por colaboradores diferentes.

Uma boa prática é manter uma cópia intacta do conteúdo original para poder recuperar qualquer linha removida como duplicata. Se uma duplicata aparente continuar na lista, examine-a em um editor de texto simples capaz de revelar espaços no final e outros caracteres invisíveis.

Como a ferramenta trata espaços, letras maiúsculas e pontuação?

A comparação considera o valor completo de cada linha. Por isso, qualquer diferença dentro dela pode impedir que duas entradas sejam consideradas iguais.

Por exemplo, "Manchester", "manchester" e "Manchester " são strings diferentes porque há variação entre maiúsculas e minúsculas ou um espaço no final. Números e sinais de pontuação também fazem parte da comparação, portanto "INV-104" não corresponde a "INV104". A operação não deduz que dois valores com formatos diferentes se referem ao mesmo cliente, URL ou produto.

Textos com acentos ou caracteres não latinos podem ser armazenados como strings de linha, mas textos Unicode visualmente idênticos podem usar sequências de caracteres diferentes internamente. Essas linhas podem continuar separadas, a menos que o texto seja normalizado antes. Se linhas em branco chegarem ao array_unique como valores vazios repetidos, apenas o primeiro valor vazio será mantido.

Para arquivos muito grandes, um comando de planilha ou um script pode ser mais prático para eliminar as duplicatas do conjunto completo de linhas do que colar o conteúdo em uma ferramenta no navegador.

Como interpretar o resultado?

Os campos do resultado mostram a quantidade original de linhas, quantas restaram e quantas foram removidas.

• Linhas é a contagem da lista enviada.
• Novas linhas é a contagem após a remoção dos valores duplicados.
• Linhas removidas mostra quantos valores repetidos foram descartados.

Compare o número de linhas removidas com o que esperava. Um valor inesperadamente baixo costuma indicar diferenças de espaços, uso de maiúsculas e minúsculas ou pontuação. Já um valor inesperadamente alto pode indicar que as linhas repetidas tinham significado nos dados originais, como transações separadas com descrições idênticas.

Exemplos práticos com linhas

Para as linhas de entrada "pear", "apple" e "pear", o resultado contém "pear" e "apple". A segunda ocorrência de "pear" é removida, enquanto a ordem das primeiras ocorrências é preservada.

Para "London", "london" e "London " com um espaço no final, os três valores são distintos em uma comparação direta de strings. Padronizar maiúsculas e minúsculas e remover espaços ao redor dos valores antes seria uma operação separada.

Se os valores estiverem separados por vírgulas em vez de quebras de linha, use primeiro o Separador de texto para colocar cada valor em sua própria linha. A remoção de duplicatas funciona com linhas, não com palavras individuais nem com campos separados por vírgulas dentro de uma linha.

Perguntas frequentes

Posso remover duplicatas de um arquivo CSV?

Você pode colar o conteúdo de um CSV, mas a operação compara linhas inteiras. Ela não remove duplicatas de apenas uma coluna preservando dados diferentes nas colunas vizinhas. Para comparar valores por coluna, use o comando Remover Duplicatas do Excel, o Google Sheets ou um script próprio para CSV.

Por que itens numerados de uma lista não são identificados como duplicatas?

Os números no início fazem parte de cada linha, então "1. Bristol" e "2. Bristol" são valores diferentes. Se o nome do lugar for o valor que deve ser comparado, remova a numeração antes de eliminar as duplicatas.

É seguro colar informações confidenciais?

O processamento é feito no servidor. Seu conteúdo é enviado ao servidor por HTTPS e não é armazenado, mas sai do seu dispositivo durante o processamento. Não envie dados confidenciais ou regulamentados se a política da sua organização proibir o envio dessas informações a um serviço externo.

Posso usar a ferramenta para limpar JSON ou código de programação?

Remover linhas repetidas indiscriminadamente pode danificar JSON, código-fonte e outros formatos estruturados nos quais a repetição de texto pode ser intencional. Use um parser, um formatador ou uma ferramenta específica para a linguagem quando a estrutura e a posição das linhas influenciarem o significado.

Verificações finais

Revise a lista resultante antes de importá-la, principalmente quando linhas duplicadas puderem representar pedidos, pagamentos ou eventos distintos. Guarde o arquivo original até que o sistema de destino aceite os dados revisados e você confira as linhas mantidas e removidas pela ferramenta.