查出来的 List 看着没问题,一转 Map,接口就报了 IllegalStateException: Duplicate key。给 toMap 加个 (a, b) -> a,异常倒是没了,但少掉的那条数据该不该丢,往往还没想清楚。
先停在异常这里,确认两件事:究竟哪个 key 撞了,以及业务上一个 key 到底能不能对应多条记录。前者决定去哪里查,后者决定怎么改。
下面的例子使用 JDK 17,没有 Spring 和数据库依赖。所有数据都是程序里构造的演示数据,方便直接复现。
先确认撞的是 key,而不是整条数据
两个参数的 Collectors.toMap(keyMapper, valueMapper) 遇到相等的 key 会抛出异常。即使两条记录的其他字段不同,甚至 value 相同,只要提取出来的 key 重复,仍会冲突。JDK 17 的 toMap 约定
下面这三条用户记录里,用户 ID 7 出现了两次,但分别属于租户 10 和 20。把 userId 单独拿出来当 key,就把两个租户混到一起了。
将代码保存为 ToMapProbe.java。程序先复现异常,再找出冲突记录,最后改用包含租户的组合键。
import java.util.LinkedHashMap;
import java.util.List;
import java.util.Map;
import java.util.function.Function;
import java.util.stream.Collectors;
public class ToMapProbe {
record UserRow(long tenantId, long userId, String label) {}
record UserKey(long tenantId, long userId) {}
public static void main(String[] args) {
var rows = List.of(
new UserRow(10L, 7L, "east-A"),
new UserRow(20L, 7L, "west-A"),
new UserRow(10L, 8L, "east-B")
);
try {
rows.stream().collect(Collectors.toMap(
UserRow::userId, Function.identity()
));
} catch (IllegalStateException e) {
System.out.println(e.getMessage());
}
Map<Long, List<UserRow>> byUserId = rows.stream().collect(
Collectors.groupingBy(
UserRow::userId, LinkedHashMap::new, Collectors.toList()
)
);
byUserId.entrySet().stream()
.filter(entry -> entry.getValue().size() > 1)
.forEach(entry -> System.out.println(
"duplicateKey=" + entry.getKey()
+ ", tenantIds=" + entry.getValue().stream()
.map(UserRow::tenantId).toList()
));
Map<UserKey, UserRow> byTenantAndId = rows.stream().collect(
Collectors.toMap(
row -> new UserKey(row.tenantId(), row.userId()),
Function.identity()
)
);
System.out.println("fixedSize=" + byTenantAndId.size());
System.out.println("east=" + byTenantAndId.get(new UserKey(10L, 7L)).label());
System.out.println("west=" + byTenantAndId.get(new UserKey(20L, 7L)).label());
System.out.println("distinctSize=" + rows.stream().distinct().count());
}
}
在装有完整 JDK 17 的终端里运行,先确认 javac 和 java 使用同一套 JDK:
javac ToMapProbe.java
java ToMapProbe
程序会先打印重复 key 的异常说明,随后输出 duplicateKey=7, tenantIds=[10, 20]。组合键 Map 的大小是 3,两个租户分别取到 east-A 和 west-A,没有悄悄覆盖其中一条。
示例里的 catch 是为了让演示继续跑下去。业务代码不能照着捕获异常,然后假装已经得到了完整 Map。
把冲突记录单独拎出来
上面先用 groupingBy 得到 Map<Long, List<UserRow>>,再挑出列表长度大于一的分组。这样能看到同一个 key 对应的所有记录,而不只停在第一次冲突。排查时要使用与原 keyMapper 相同的提取规则,否则分组查的和报错的就不是同一个 key。JDK 的分组收集器
如果原代码先对编码做了去空格、大小写转换,定位时也要保留这一步。两条原始编码看着不同,转换后的 key 可能已经一样了。
拿到冲突记录后,再沿数据来源往回找:
- 来自 SQL 查询,核对实际返回的结果行。一对多 JOIN 后,相同的父记录 ID 可能出现在多行里,不能只凭基础表主键唯一就判断查询结果也唯一。
- 来自多个接口或分页结果的拼接,检查合并边界,以及同一批数据有没有被加入两次。
- 来自多租户、分仓或分环境的数据,确认 ID 的唯一范围。局部唯一的编号,放到一起不一定仍然唯一。
这个分组办法适合内存中已经拿到、规模可控的 List。生产排查时只保留必要的业务标识和数量,不要为了找两条重复记录,把整批用户资料写进日志。数据很大时,先缩小问题批次或在数据源侧做相同规则的统计。
该补 key,还是该保留一个列表
示例中的两条 ID 7 都是合法数据。此时修改 key 的定义,比强行丢掉一条更符合实际含义。
这里用 record UserKey(long tenantId, long userId),让组合键直接表达两个字段。record 自动生成的 equals 和 hashCode 会考虑组成字段;本例两个组成字段都是 long,无需靠字符串分隔符拼接。JDK 17 的 record 说明
改完之后,取值端也要使用相同的键定义。比如 get(new UserKey(10L, 7L)),不能只改收集过程,下游还继续拿一个裸 userId 查询。
如果业务关系本来就是“一位用户有多条记录”,就直接保留 Map<Long, List<UserRow>>,由调用方处理列表。Map<K, V> 的一个 key 最多对应一个 value,这个 value 完全可以是一组数据。Map 的键值约定
同样的唯一范围也会影响缓存 key。接口跨租户查询时,可以一并对照 @Cacheable 仍然查数据库的排查方法,核对查询和缓存是否使用同一套业务标识。
确实要合并,就把合并规则写出来
三个参数的 toMap 可以接收合并函数,但“保留第一条”和“保留最后一条”都需要业务依据。它们只选择参与冲突的值,不会自动判断哪个更新、哪个有效。
比如,已经按同一租户、同一订单筛好的一批明细,需求明确是按 SKU 累计数量,就可以求和。下面的片段沿用前面的 List、Map、LinkedHashMap 和 Collectors 导入,可放进一个 main 方法运行:
record OrderLine(String sku, int quantity) {}
var lines = List.of(
new OrderLine("BOOK-A", 2),
new OrderLine("BOOK-A", 3)
);
Map<String, Integer> quantities = lines.stream().collect(
Collectors.toMap(
OrderLine::sku,
OrderLine::quantity,
Math::addExact,
LinkedHashMap::new
)
);
System.out.println(quantities); // {BOOK-A=5}
这段里的 LinkedHashMap 用来明确本例结果的迭代顺序;Math.addExact 在 int 相加溢出时会抛异常,避免悄悄绕回另一个数。它们不能代替业务规则,金额、库存和不同单位的数据也不能直接套同一套求和逻辑。JDK 的精确加法
也别指望先加一个 distinct() 就能按 ID 去重。它按流中元素的 equals 判断重复,不会自动采用后面 toMap 的 key。上面三个 UserRow 互不相等,所以 distinctSize 仍然是 3。金额对象的相等性还有自己的规则,可以对照 BigDecimal 的 equals 与 compareTo。Stream 的 distinct 约定
文中的完整程序和数量汇总片段已在本机 JDK 17.0.15 编译运行核对;没有连接数据库或调用业务接口。改回项目后,至少对照输入条数、输出 key 数、冲突分组数量,以及丢弃或合并的数据是否符合预期。异常消失只是第一步,留下的数据也得对。
Java Stream 转 Map 报 Duplicate key,怎么找出重复数据
https://java.li/archives/java-stream-tomap-duplicate-key
评论