Navicat Premium是一个可连接多种数据库的管理工具，它可以让你以单一程序同时连接到MySQL、Oracle及PostgreSQL数据库，让管理不同类型的数据库更加的方便。

DBA最大的麻烦之一是处理重复数据。不管我们如何防范，重复数据总是会设法进入到表格。重复数据是一个大问题，因为它会影响应用程序视图(每个项都应该是唯一的)、扭曲统计信息，在严重情况下还会增加服务器开销。

在本技巧中，我们将学习如何识别MySQL中的重复数据，以及如何删除它们而不删除宝贵的有效数据。

重复类型

您将遇到的大多数重复记录是两种不同类型之一：重复含义和非唯一键。在本篇文章中，我们将处理重复含义；在下篇文章中，我们将处理非唯一键。

当副本不是副本时

重复意义是最常见的重复类型。在这种情况下，两个或多个字段的内容不相同，但它们的含义是相同的。你可以把它看作是语义上的重复数据。

考虑下表摘录：

1

2

3

4

5

6

7

movie_name  media

---------------------------

ACADEMY DINOSAUR    Theatre

ACE GOLDFINGER  Television

ADAPTATION HOLES    Theatre

AFFAIR PREJUDICE    Theatre

AFRICAN EGG TV

在媒体专栏中，“Television”和“TV”两个词条的含义相同，但表达方式不同。这个问题通常是由使用自由文本输入引起的，有限的下拉列表是更好的选择。

这种类型的复制处理起来非常困难，因为不能使用select distinct排除重复项。

有两种方法可以解决这个问题：

1.使用replace()选择数据，将不需要的值替换为希望看到的值：

1

2

3

SELECT DISTINCT movie_name,

REPLACE(media,"TV","TELEVISION")as media,

FROM films;

2.更新实际表数据。下面是一个声明，用首选的“TELEVISION”值更新“TV”的所有实例：

1

2

3

UPDATE films

SET media =REPLACE(media,"TV","TELEVISION")

WHERE media ="TV";

下面是一个真实的例子！

一些不需要的卷曲撇号进入了数据。注意“O'BRIEN”和“O'BRIEN”条目：

1

2

3

4

5

6

7

first_name  last_name

---------------------

PENELOPE    GUINESS

CONAN   O'BRIEN

ED  CHASE

JENNIFER    DAVIS

CONAN   O'BRIEN

我们可以像上面那样处理这个问题：

1.使用replace()选择数据，用常规的单引号替换大撇号，这样我们就可以始终处理相同的字符：

1

2

3

4

SELECT DISTINCT first_name,

REPLACE(last_name,"'","'")as last_name,

FROM actors

WHERE REPLACE(last_name,"'","'")like "O'BRIEN";

2.更新实际表数据。此语句用常规单引号更新姓氏列中的所有撇号：

1

2

3

UPDATE actors

SET last_name =REPLACE(last_name,"'","'")

WHERE last_namelike "%'%";

结论

重复记录、双精度、冗余数据、重复行；无论您如何称呼它们，它们都是DBA生命中最大的缺陷之一。然而，重要的是要定期清除它们，以免产生错误的统计数据并混淆与数据库交互的用户。