distinct

作者: 啦啦一路高歌 | 来源:发表于2022-01-11 15:45 被阅读0次

如果distinct()正在处理有序流,那么对于重复元素,将保留以遭遇顺序首先出现的元素,并且以这种方式选择不同元素是稳定的。

在无序流的情况下,不同元素的选择不一定是稳定的,是可以改变的。distinct()执行有状态的中间操作。

在有序流的并行流的情况下,保持distinct()的稳定性是需要很高的代价的,因为它需要大量的缓冲开销。如果我们不需要保持遭遇顺序的一致性,那么我们应该可以使用通过BaseStream.unordered()方法实现的无序流。

  1. Stream.distinct()

distinct()方法的声明如下:

Stream<T> distinct()

它是Stream接口的方法。在此示例中,我们有一个包含重复元素的字符串数据类型列表

DistinctSimpleDemo.java
package com.concretepage;
import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;
public class DistinctSimpleDemo {
 public static void main(String[] args) {
 List<String> list = Arrays.asList("AA", "BB", "CC", "BB", "CC", "AA", "AA");
 long l = list.stream().distinct().count();
 System.out.println("No. of distinct elements:"+l);
 String output = list.stream().distinct().collect(Collectors.joining(","));
 System.out.println(output);
 }
}

Output

No. of distinct elements:3

AA,BB,CC
  1. Stream.distinct() with List of Objects

在此示例中,我们有一个Book对象列表。 为了对列表进行去重,该类将重写hashCode()和equals()。

Book.java

package com.concretepage;
public class Book {
 private String name;
 private int price;
 public Book(String name, int price) {
 this.name = name;
 this.price = price;
 }
 public String getName() {
 return name;
 }
 public int getPrice() {
 return price;
 }
 @Override
 public boolean equals(final Object obj) {
 if (obj == null) {
 return false;
 }
 final Book book = (Book) obj;
 if (this == book) {
 return true;
 } else {
 return (this.name.equals(book.name) && this.price == book.price);
 }
 }
 @Override
 public int hashCode() {
 int hashno = 7;
 hashno = 13 * hashno + (name == null ? 0 : name.hashCode());
 return hashno;
 }
}

DistinctWithUserObjects.java

package com.concretepage;
import java.util.ArrayList;
import java.util.List;
public class DistinctWithUserObjects {
 public static void main(String[] args) {
 List<Book> list = new ArrayList<>();
 {
 list.add(new Book("Core Java", 200));
 list.add(new Book("Core Java", 200));
 list.add(new Book("Learning Freemarker", 150)); 
 list.add(new Book("Spring MVC", 300));
 list.add(new Book("Spring MVC", 300));
 }
 long l = list.stream().distinct().count();
 System.out.println("No. of distinct books:"+l);
 list.stream().distinct().forEach(b -> System.out.println(b.getName()+ "," + b.getPrice()));
 }
}
Output

1
2
3
4
No. of distinct books:3
Core Java,200
Learning Freemarker,150
Spring MVC,300
  1. Distinct by Property

distinct()不提供按照属性对对象列表进行去重的直接实现。它是基于hashCode()和equals()工作的。

如果我们想要按照对象的属性,对对象列表进行去重,我们可以通过其它方法来实现。

如下代码段所示:

static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
 Map<Object,Boolean> seen = new ConcurrentHashMap<>();
 return t -> seen.putIfAbsent(keyExtractor.apply(t), Boolean.TRUE) == null;
}

上面的方法可以被Stream接口的 filter()接收为参数,如下所示:

list.stream().filter(distinctByKey(b -> b.getName()));

distinctByKey()方法返回一个使用ConcurrentHashMap 来维护先前所见状态的 Predicate 实例,如下是一个完整的使用对象属性来进行去重的示例。

DistinctByProperty.java

package com.concretepage;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.function.Function;
import java.util.function.Predicate;
public class DistinctByProperty {
 public static void main(String[] args) {
 List<Book> list = new ArrayList<>();
 {
 list.add(new Book("Core Java", 200));
 list.add(new Book("Core Java", 300));
 list.add(new Book("Learning Freemarker", 150));
 list.add(new Book("Spring MVC", 200));
 list.add(new Book("Hibernate", 300));
 }
 list.stream().filter(distinctByKey(b -> b.getName()))
 .forEach(b -> System.out.println(b.getName()+ "," + b.getPrice())); 
 }
 private static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
 Map<Object,Boolean> seen = new ConcurrentHashMap<>();
 return t -> seen.putIfAbsent(keyExtractor.apply(t), Boolean.TRUE) == null;
 }
}
Output

Core Java,200
Learning Freemarker,150
Spring MVC,200
Hibernate,300

相关文章

  • distinct([numTasks]) / distinct(

    一个分区就是也一个task 415622337

  • distinct

    distinct只能返回它的目标字段,而无法返回其它字段,有如下记录表: 当只对username去重时,可以过滤掉...

  • DISTINCT

    1. distinct必须写在所有查询字段的前面 2.作用于单列 3.作用与多列 DISTINCT只能放在开头,并...

  • DISTINCT

  • distinct

    如果distinct()正在处理有序流,那么对于重复元素,将保留以遭遇顺序首先出现的元素,并且以这种方式选择不同元...

  • Codility每周一课:L6 Sorting(P6.1)

    P6.1 Distinct Compute number of distinct values in an arr...

  • Django ORM去重

    distinct()具有去重功能是没有必要怀疑的,distinct()函数有一个隐藏特性,当使用distinct(...

  • sql 函数 单词整理

    distinct —— 去重函数 select distinct depart from teacher; b...

  • Spark Aggregations execution

    一、Distinct aggregation 算法 包含 distinct 关键字的 aggregation 由 ...

  • Hive Distinct的实现原理

    Distinct的实现原理 select dealid, count(distinct uid) num from...

网友评论

      本文标题:distinct

      本文链接:https://www.haomeiwen.com/subject/ahnbcrtx.html