O número 1 e o texto «1» não são duplicados

De onde vêm os tipos misturados

Quase sempre de uma importação. Um CSV não tem tipos — cada campo é texto até que algo decida o contrário — por isso o programa que o abriu adivinhou, e adivinha de forma diferente consoante as primeiras linhas da coluna, a configuração regional e se um valor tem um zero inicial ou um sinal de moeda. Os números de referência são a vítima habitual: 00412 é texto num ficheiro porque o zero tem de ser guardado, e o número 412 noutro porque parecia numérico. Junta os dois e a mesma referência dá duas linhas.

A outra fonte são os espaços invisíveis. Um espaço final sobrevive a um copiar-colar de uma página web, de um PDF ou de um e-mail, e torna diferentes duas células de resto idênticas para qualquer comparação exata — a remoção de duplicados aqui, mas também as procuras, as junções e as tabelas dinâmicas em todo o lado. Limpá-lo é um localizar e substituir antes da junção, e vale a pena fazê-lo em qualquer coluna com que tenciones cruzar.

Linhas inteiras, não uma coluna-chave

Comparar a linha inteira é a opção prudente, e convém entendê-la como tal. Duas linhas que coincidem no número de referência mas diferem num campo de morada são guardadas, porque a ferramenta não pode saber qual das duas moradas está em vigor — decidi-lo é um juízo sobre os teus dados, não uma operação sobre eles. Se quiseres remover duplicados por uma só coluna, ordena primeiro por essa coluna e tira tu os excedentes; o resultado é o mesmo e a decisão continua a ser tua. A linha de cabeçalho nunca é tomada por duplicado de nada: um ficheiro cuja primeira linha repete um valor do corpo guarda ambas.

Perguntas frequentes

Qual dos duplicados é conservado?

O primeiro do ficheiro, pela ordem em que as linhas aparecem. Tudo o que se segue é descartado. Se as linhas diferirem numa coluna em que não pensaste olhar, a que fica é a mais antiga, não a melhor — por isso, se a atualidade importa, ordena a folha antes de remover duplicados e não depois.

Como torno uma coluna misturada de um só tipo?

Decide o que a coluna realmente é e converte-a por inteiro numa só operação antes de juntar. Números de referência, códigos postais e telefones são texto — têm zeros iniciais e nunca se somam. Montantes e contagens são números. Numa folha de cálculo, formata a coluna e depois passa por texto para colunas ou uma coluna auxiliar com TEXTO ou VALOR para forçar cada célula; o formato sozinho não muda o que está guardado.

Olha entre as folhas de um livro?

Trabalha sobre uma folha de cada vez, que é o que se quer quando os separadores contêm coisas diferentes. Para remover duplicados entre vários ficheiros ou separadores, junta-os primeiro numa só folha — a junção por linhas empilha as linhas de cada ficheiro numa única tabela e guarda só o primeiro cabeçalho — e depois corre isto sobre o resultado.