Removedor de linhas duplicadas

O Removedor de linhas duplicadas é uma ferramenta gratuita que elimina linhas repetidas de um texto colado e indica quantas restam.

Como removo linhas duplicadas?

Cola o texto com um item por linha, executa a ferramenta e copia o resultado limpo.

1. Organiza o conteúdo de origem de modo que cada endereço de email, URL, código de produto ou outro valor fique numa linha separada.
2. Submete o texto para remover as linhas duplicadas.
3. Confirma as contagens apresentadas e revê as linhas resultantes antes de as utilizares noutro local.

A ferramenta utiliza a operação array_unique do PHP. Quando a mesma linha aparece mais do que uma vez, mantém a primeira ocorrência e remove as ocorrências iguais que surgem depois.

Quando é que remover linhas duplicadas poupa tempo?

É útil sempre que uma lista acumula entradas repetidas devido a exportações, cópias ou à combinação de várias fontes.

• As exportações do Excel e do Google Sheets contêm frequentemente endereços de email, números de referência ou códigos de stock repetidos depois de várias folhas de cálculo serem combinadas.
• Os ficheiros de importação do Mailchimp podem precisar que as linhas com endereços de email duplicados sejam removidas antes do carregamento. No entanto, a remoção de linhas não valida endereços nem concilia registos de contactos distintos.
• O trabalho com produtos no Shopify pode gerar SKUs repetidos quando os valores são copiados de mais do que um relatório.
• As exportações do Google Search Console podem ser combinadas numa lista de URLs, uma por linha, e limpas antes de uma análise posterior.
• Os ficheiros de configuração do GitHub, incluindo listas simples de permissões e de exclusões, podem conter entradas idênticas adicionadas por diferentes colaboradores.

É aconselhável guardar uma cópia intacta do conteúdo original, para poderes recuperar qualquer linha removida como duplicada. Se uma linha aparentemente duplicada não for eliminada, examina-a num editor de texto simples que revele espaços no fim e outros caracteres invisíveis.

Como são tratados os espaços, as maiúsculas e a pontuação?

A ferramenta compara o valor completo de cada linha. Por isso, qualquer diferença dentro da linha pode impedir que duas entradas sejam consideradas iguais.

Por exemplo, "Manchester", "manchester" e "Manchester " são cadeias de caracteres diferentes, porque variam nas maiúsculas ou no espaço final. Os números e a pontuação também fazem parte da comparação, pelo que "INV-104" não corresponde a "INV104". A operação não deduz que dois valores com formatações diferentes dizem respeito ao mesmo cliente, URL ou produto.

O texto acentuado e os alfabetos não latinos podem ser guardados como cadeias de caracteres de uma linha, mas dois textos Unicode visualmente idênticos podem usar sequências de caracteres subjacentes diferentes. Essas linhas podem continuar separadas, a menos que o texto seja previamente normalizado. Se forem passadas ao array_unique várias linhas em branco como valores vazios repetidos, apenas o primeiro valor vazio é mantido.

Em ficheiros muito grandes, pode ser mais prático usar um comando de uma folha de cálculo ou um script para eliminar duplicados do conjunto completo de linhas, em vez de o colar numa ferramenta do navegador.

Como interpreto o resultado?

Os campos do resultado mostram o número original de linhas, o número de linhas restantes e quantas foram removidas.

• Linhas é a contagem da lista submetida.
• Novas linhas é a contagem depois de os valores duplicados serem removidos.
• Linhas removidas indica quantos valores repetidos foram eliminados.

Compara o número de linhas removidas com o valor que esperavas. Um número inesperadamente baixo significa muitas vezes que existem diferenças nos espaços, nas maiúsculas ou na pontuação. Um número inesperadamente alto pode indicar que as linhas repetidas tinham significado nos dados originais, por exemplo, transações distintas com descrições idênticas.

Exemplos práticos

Com as linhas de entrada "pear", "apple" e "pear", o resultado contém "pear" e "apple". A segunda ocorrência de "pear" é removida, mantendo-se a ordem das primeiras ocorrências.

Em "London", "london" e "London " com um espaço no fim, os três valores são distintos numa comparação direta de cadeias de caracteres. Uniformizar primeiro as maiúsculas e minúsculas e remover os espaços no início e no fim seria uma operação separada.

Se os valores estiverem separados por vírgulas em vez de quebras de linha, usa primeiro o Separador de texto para colocar cada valor numa linha própria. A remoção de duplicados funciona com linhas, não com palavras individuais ou campos separados por vírgulas dentro da mesma linha.

Perguntas frequentes

Posso remover duplicados de um ficheiro CSV?

Podes colar o conteúdo de um CSV, mas a operação compara linhas completas. Não remove duplicados de uma só coluna preservando dados diferentes nas colunas adjacentes. Para fazer a correspondência por coluna, usa o comando Remover Duplicados do Excel, o Google Sheets ou um script preparado para processar CSV.

Porque é que os itens numerados de uma lista não são considerados duplicados?

Os números iniciais fazem parte de cada linha, por isso "1. Bristol" e "2. Bristol" são valores diferentes. Se o valor a comparar for o nome do local, remove a numeração antes de eliminares os duplicados.

É seguro colar informações confidenciais?

O processamento é feito no servidor. O conteúdo introduzido é enviado para o servidor através de HTTPS e não é armazenado, mas sai do teu dispositivo durante o processamento. Não submetas dados confidenciais ou sujeitos a regulamentação se a política da tua organização proibir o envio para um serviço externo.

Posso usar a ferramenta para limpar JSON ou código de programação?

Remover indiscriminadamente linhas repetidas pode danificar JSON, código-fonte e outros formatos estruturados nos quais a repetição de texto pode ser intencional. Usa um analisador, um formatador ou uma ferramenta específica para a linguagem quando a estrutura e a posição das linhas afetarem o significado.

Verificações finais

Revê a lista limpa antes de a importares, sobretudo quando as linhas duplicadas puderem representar encomendas, pagamentos ou eventos distintos. Guarda o ficheiro original até o sistema de destino aceitar os dados revistos e confirmares as linhas mantidas e removidas pela ferramenta.