当前位置:  开发笔记 > 编程语言 > 正文

从C#中的List <T>中删除重复项

如何解决《从C#中的List<T>中删除重复项》经验,为你挑选了15个好方法。

任何人都有一个快速的方法来重复C#中的通用列表?



1> Factor Mysti..:

如果您使用的是.Net 3+,则可以使用Linq.

List withDupes = LoadSomeData();
List noDupes = withDupes.Distinct().ToList();


不,它适用于包含任何类型对象的列表.但是您必须覆盖类型的默认比较器.像这样:public override bool Equals(object obj){...}
该代码将失败,因为.Distinct()返回IEnumerable .你必须添加.ToList().
您还可以使用具有.DistinctBy()扩展方法的MoreLinQ Nuget包.非常有用.

2> Jason Baker..:

也许您应该考虑使用HashSet.

从MSDN链接:

using System;
using System.Collections.Generic;

class Program
{
    static void Main()
    {
        HashSet evenNumbers = new HashSet();
        HashSet oddNumbers = new HashSet();

        for (int i = 0; i < 5; i++)
        {
            // Populate numbers with just even numbers.
            evenNumbers.Add(i * 2);

            // Populate oddNumbers with just odd numbers.
            oddNumbers.Add((i * 2) + 1);
        }

        Console.Write("evenNumbers contains {0} elements: ", evenNumbers.Count);
        DisplaySet(evenNumbers);

        Console.Write("oddNumbers contains {0} elements: ", oddNumbers.Count);
        DisplaySet(oddNumbers);

        // Create a new HashSet populated with even numbers.
        HashSet numbers = new HashSet(evenNumbers);
        Console.WriteLine("numbers UnionWith oddNumbers...");
        numbers.UnionWith(oddNumbers);

        Console.Write("numbers contains {0} elements: ", numbers.Count);
        DisplaySet(numbers);
    }

    private static void DisplaySet(HashSet set)
    {
        Console.Write("{");
        foreach (int i in set)
        {
            Console.Write(" {0}", i);
        }
        Console.WriteLine(" }");
    }
}

/* This example produces output similar to the following:
 * evenNumbers contains 5 elements: { 0 2 4 6 8 }
 * oddNumbers contains 5 elements: { 1 3 5 7 9 }
 * numbers UnionWith oddNumbers...
 * numbers contains 10 elements: { 0 2 4 6 8 1 3 5 7 9 }
 */


如果有一个如何在此特定上下文中使用hashset的示例,将会有所帮助.
这怎么考虑答案?这是一个链接
令人难以置信的快速... 100.000,000字符串列表需要400s和8MB内存,我自己的解决方案需要2.5s和28MB,hashset需要0.1s!和11MB内存
HashSet [没有索引](http://stackoverflow.com/questions/3828973/select-element-index-from-hashset-c-sharp/3828992#3828992),因此并非总是可以使用它。我必须创建一个没有重复的巨大列表,然后在虚拟模式下将其用于`ListView`。首先创建一个HashSet <>然后将其转换为List <>是非常快的(因此ListView可以按索引访问项目)。List <>。Contains()太慢了。
HashSet在大多数情况下都很棒.但是如果你有一个像DateTime这样的对象,它会按引用而不是按值进行比较,所以你仍然会得到重复项.

3> ljs..:

怎么样:-

var noDupes = list.Distinct().ToList();

在.net 3.5?



4> Even Mien..:

只需使用相同类型的List初始化HashSet:

var noDupes = new HashSet(withDupes);

或者,如果您想要返回List:

var noDupsList = new HashSet(withDupes).ToList();


...如果你需要`List `作为结果使用`new HashSet (withDupes).ToList()`

5> angry person..:

对它进行排序,然后检查彼此旁边的两个和两个,因为重复项将聚集在一起.

像这样的东西:

list.Sort();
Int32 index = list.Count - 1;
while (index > 0)
{
    if (list[index] == list[index - 1])
    {
        if (index < list.Count - 1)
            (list[index], list[list.Count - 1]) = (list[list.Count - 1], list[index]);
        list.RemoveAt(list.Count - 1);
        index--;
    }
    else
        index--;
}


不要那样做.这超级慢.`RemoveAt`对`List`来说是一个非常昂贵的操作
实施它们并计时,只有这样才能确定.即使是Big-O表示法也无法帮助您获得实际的绩效指标,只有增长效应关系.

6> Eric..:

我喜欢用这个命令:

List myStoreList = Service.GetStoreListbyProvince(provinceId)
                                                 .GroupBy(s => s.City)
                                                 .Select(grp => grp.FirstOrDefault())
                                                 .OrderBy(s => s.City)
                                                 .ToList();

我在列表中有这些字段:Id,StoreName,City,PostalCode我想在下拉列表中显示具有重复值的城市列表.解决方案:逐个城市然后选择第一个列表.

我希望它有帮助:)



7> Hossein Sars..:

它对我有用.简单地用

List liIDs = liIDs.Distinct().ToList();

将"类型"替换为您想要的类型,例如int.


这个答案(2012)似乎与本页的其他两个答案相同,这些答案来自2008年?

8> Keith..:

正如kronoz在.Net 3.5中所说,你可以使用Distinct().

在.Net 2中你可以模仿它:

public IEnumerable DedupCollection (IEnumerable input) 
{
    var passedValues = new HashSet();

    // Relatively simple dupe check alg used as example
    foreach(T item in input)
        if(passedValues.Add(item)) // True if item is new
            yield return item;
}

这可用于重复数据删除任何集合,并将按原始顺序返回值.

过滤一个集合(就像Distinct()这个和这个样本一样)通常比从中删除项目要快得多.



9> 小智..:

扩展方法可能是一个不错的方式...这样的事情:

public static List Deduplicate(this List listToDeduplicate)
{
    return listToDeduplicate.Distinct().ToList();
}

然后像这样打电话,例如:

List myFilteredList = unfilteredList.Deduplicate();



10> Tom Hawtin -..:

在Java中(我假设C#或多或少相同):

list = new ArrayList(new HashSet(list))

如果你真的想改变原始列表:

List noDupes = new ArrayList(new HashSet(list));
list.clear();
list.addAll(noDupes);

要保留顺序,只需使用LinkedHashSet替换HashSet即可.


在C#中它将是:List noDupes = new List (new HashSet (list)); list.Clear(); list.AddRange(noDupes);

11> 小智..:

这需要不同的元素(没有重复的元素),然后将其再次转换为列表:

List myNoneDuplicateValue = listValueWithDuplicate.Distinct().ToList();



12> Grant..:

作为辅助方法(没有Linq):

public static List Distinct(this List list)
{
    return (new HashSet(list)).ToList();
}



13> Knickerless-..:

使用Linq的Union方法.

注意:除了存在之外,该解决方案不需要Linq的知识.

首先将以下内容添加到类文件的顶部:

using System.Linq;

现在,您可以使用以下命令从名为的对象中删除重复项obj1:

obj1 = obj1.Union(obj1).ToList();

注意:重命名obj1为对象的名称.

这个怎么运作

    Union命令列出两个源对象的每个条目之一.由于obj1都是源对象,因此将obj1减少为每个条目之一.

    ToList()返回一个新的列表.这是必要的,因为Linq命令Union会将结果作为IEnumerable结果返回,而不是修改原始List或返回新List.



14> Motti..:

如果你不关心顺序你可以推的项目进入HashSet,如果你想要保持你可以做这样的事情的顺序:

var unique = new List();
var hs = new HashSet();
foreach (T t in list)
    if (hs.Add(t))
        unique.Add(t);

或者Linq方式:

var hs = new HashSet();
list.All( x =>  hs.Add(x) );

编辑:HashSet方法是O(N)时间和O(N)空间,同时排序,然后作出独特的(如@建议lassevk等)是O(N*lgN)时间和O(1)空间,所以它不是那么清楚,我(因为它是在第一眼)的排序方式是劣质(我为临时投票表示道歉...)



15> gary..:

这是一种用于原位移除相邻重复项的扩展方法.首先调用Sort()并传入相同的IComparer.这应该比Lasse V. Karlsen的版本更有效,它反复调用RemoveAt(导致多个块内存移动).

public static void RemoveAdjacentDuplicates(this List List, IComparer Comparer)
{
    int NumUnique = 0;
    for (int i = 0; i < List.Count; i++)
        if ((i == 0) || (Comparer.Compare(List[NumUnique - 1], List[i]) != 0))
            List[NumUnique++] = List[i];
    List.RemoveRange(NumUnique, List.Count - NumUnique);
}

推荐阅读
落单鸟人
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有