a = []
#----------------------------------------------------------------------
def ceshi_url(url_file):
""""""
with open(url_file) as w:
urls = w.readlines()
for i in urls:
i = i.strip('\n').strip('\r')
try:
url = tld.get_tld(i)
list_url = 'http://' + url
a.append(list_url)
except Exception,e:
print str(e)
ceshi_url('formal_url.txt')
g = open('url.txt','w+')
a = list(set(a))
print len(a)
for i in a:
print i
g.writelines(i)
g.writelines('\n')
获取主站,并且去重
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 1.当代种种事件不同于历史之处,在于我们不知道它们会产生什么后果。 2.经验和利益的偶然结合,往往会向人们揭示...
- 时间:2017-2-19(周日) 地点:海南省海口市 修习者小豆丁:小俊娟 1/我怎么如此幸运,观察1: 小俊娟今...