获取主站,并且去重

a = [] 
#----------------------------------------------------------------------
def ceshi_url(url_file):
    """"""
    with open(url_file) as w:
        urls = w.readlines()
        for i in urls:
            i = i.strip('\n').strip('\r')
            try:
                url = tld.get_tld(i)
                list_url = 'http://' + url
                a.append(list_url)
                
            except Exception,e:
                print str(e)
    
ceshi_url('formal_url.txt')
g = open('url.txt','w+')
a = list(set(a))
print len(a)
for i in a:
    print i
    g.writelines(i)
    g.writelines('\n')
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容