lodash 利用_.find数组去重

2020-02-18 13:20:32

去重逻辑主要是讲一个数组的内容重新拿出来进行遍历 属性不同的元素加入到数组中( .find每次都会检查属性相同的元素)


var _ = require("lodash")


var results = [


{ id: 1,


test: '测试1',


},


{ id: 2,


test: '测试2',


},


{ id: 3,


test: '测试3',


},


{ id: 3,


test: '测试4',


}


];


console.log(results.length);


var data = [];


 


for (var i = 0; i < results.length; i++) {


console.log(results[i]);


var row = results[i];


var bill = _.find(data, function(o) {


return row.id == o.id


})


 


if (!bill) {


data.push(row);


}else{


存在重复元素


}


}


console.log(data);



  • 2019-09-28 08:00:30

    Java.io.tmpdir介绍

    System.getproperty(“java.io.tmpdir”)是获取操作系统缓存的临时目录,不同操作系统的缓存临时目录不一样,

  • 2019-09-28 08:36:43

    Ehcache配置持久化到硬盘,只存储到硬盘

    Ehcache默认配置的话 为了提高效率,所以有一部分缓存是在内存中,然后达到配置的内存对象总量,则才根据策略持久化到硬盘中,这里是有一个问题的,假如系统突然中断运行 那内存中的那些缓存,直接被释放掉了,不能持久化到硬盘;这种数据丢失,对于一般项目是不会有影响的,但是对于我们的爬虫系统,我们是用来判断重复Url的,所以数据不能丢失;

  • 2019-09-28 09:33:18

    put与putIfAbsent区别

    put在放入数据时,如果放入数据的key已经存在与Map中,最后放入的数据会覆盖之前存在的数据, 而putIfAbsent在放入数据时,如果存在重复的key,那么putIfAbsent不会放入值。