URL 去重的 6 种方案！(附详细代码)

来源 | Java中文社群（ID：javacn666）URL 去重在我们日常工作中和面试中很常遇到，比如这些：可以看出，包括阿里，网易云、优酷、作业帮等知名互联网公司都出现过类似的面试题，而且和 URL 去重比较类似的，如 IP 黑/白名单判断等也经常出现在我们的工作中，所以我们本文就来“盘一盘”URL 去重的问题。URL 去重思路在不考虑业务场景和数据量的情况下，我们可以使用以下方案来实现 URL 的重复判断：使用 Java 的 Set 集合，根据添加时的结果来判断 URL 是否重复（添加成功表示 URL 不重复）；使用 Redis 中的 Set 集合，根据添加时的结果来判断 URL 是否重复；将 URL 都存储在数据库中，再通过 SQL 语句判断是否有重复的 URL；把数据库中的 URL 一列设置为唯一索引，根据添加 ………………………………