字符串，列表去重

可以使用set对字符串或者列表去重，集合是无序，不重复的序列，可以使用set进行去重

#单词去重
def words_dumplate(sentence):

    return ' '.join(set(sentence.split()))

print(words_dumplate("Python is great and Java is also great"))

#字符串去重
def str_dumplate(string):
    
    return ''.join(set(list(string)))

lst=["1",2,4,3,2,4]
print(list(set(lst)))

运行结果：

Python Java also great is and
wrcegst
[3, '1', 2, 4]

使用set可以很方便的去掉字符串，列表的重复字符，但是使用这个方法有一个问题，就是得到新的字符串或列表元素顺序发生了变化

去掉重复元素，剩余元素仍保留顺序

def order_dumplate(lst):
    #定义一个列表用来记录最终结果
    new_lst=[]
    for item in lst:
        if  item not in new_lst:
            new_lst.append(item)
    return new_lst


lst=["1",2,3,2,3,4,5,4]

print(order_dumplate(lst))

str1="e4r442ee44rrr"
print(order_dumplate(list(str1)))

代码可以进一步优化，使用生成器

def dedupe(items):
    seen=list()
    for item in items:
        if item not in seen:
            yield item
            seen.append(item)


lst=["1",2,3,2,3,4,5,4]

print(list(dedupe(lst)))

如果给一个字典列表去重，需要指定一个函数用来将序列中的元素转换为可哈希的类型

def dedupe(items,key=None):
    seen=list()
    for item in items:
        val=key(item) if key else item
        if val not in seen:
            yield item
            seen.append(val)

lst=["1",2,3,2,3,4,5,4]
print(list(dedupe(lst)))

lst1=[{"x":1,"y":2},{"x":2,"y":"3"},{"x":1,"y":3}]
lst2=[{"x":1,"y":2},{"x":2,"y":"3"},{"x":1,"y":3},{"x":1,"y":2}]

print(list(dedupe(lst1,key=lambda x:x["x"])))
print(list(dedupe(lst2,key=lambda x:(x["x"],x["y"]))))

运行结果：

['1', 2, 3, 4, 5]
[{'x': 1, 'y': 2}, {'x': 2, 'y': '3'}]
[{'x': 1, 'y': 2}, {'x': 2, 'y': '3'}, {'x': 1, 'y': 3}]

这里的key是一个回调函数，因为字典是不可哈希序列，需要规定两个字典根据什么判断为相同