使用Python从字符串中提取URL的最简洁方法是什么？

虽然我知道我可以使用一些巨大的正则表达式,例如发布在这里的那个,但我想知道是否有一些调整,如果使用标准模块或者某些第三方附加组件这么做的话？

简单的问题,但没有任何东西在Google(或Stackoverflow)上跳出来.

期待看到你们是怎么做到的!

我知道这正是你不想要的,但这里有一个巨大的正则表达式的文件:

#!/usr/bin/python
# -*- coding: utf-8 -*-
"""
the web url matching regex used by markdown
http://daringfireball.net/2010/07/improved_regex_for_matching_urls
https://gist.github.com/gruber/8891611
"""
URL_REGEX = r"""(?i)\b((?:https?:(?:/{1,3}|[a-z0-9%])|[a-z0-9.\-]+[.](?:com|net|org|edu|gov|mil|aero|asia|biz|cat|coop|info|int|jobs|mobi|museum|name|post|pro|tel|travel|xxx|ac|ad|ae|af|ag|ai|al|am|an|ao|aq|ar|as|at|au|aw|ax|az|ba|bb|bd|be|bf|bg|bh|bi|bj|bm|bn|bo|br|bs|bt|bv|bw|by|bz|ca|cc|cd|cf|cg|ch|ci|ck|cl|cm|cn|co|cr|cs|cu|cv|cx|cy|cz|dd|de|dj|dk|dm|do|dz|ec|ee|eg|eh|er|es|et|eu|fi|fj|fk|fm|fo|fr|ga|gb|gd|ge|gf|gg|gh|gi|gl|gm|gn|gp|gq|gr|gs|gt|gu|gw|gy|hk|hm|hn|hr|ht|hu|id|ie|il|im|in|io|iq|ir|is|it|je|jm|jo|jp|ke|kg|kh|ki|km|kn|kp|kr|kw|ky|kz|la|lb|lc|li|lk|lr|ls|lt|lu|lv|ly|ma|mc|md|me|mg|mh|mk|ml|mm|mn|mo|mp|mq|mr|ms|mt|mu|mv|mw|mx|my|mz|na|nc|ne|nf|ng|ni|nl|no|np|nr|nu|nz|om|pa|pe|pf|pg|ph|pk|pl|pm|pn|pr|ps|pt|pw|py|qa|re|ro|rs|ru|rw|sa|sb|sc|sd|se|sg|sh|si|sj|Ja|sk|sl|sm|sn|so|sr|ss|st|su|sv|sx|sy|sz|tc|td|tf|tg|th|tj|tk|tl|tm|tn|to|tp|tr|tt|tv|tw|tz|ua|ug|uk|us|uy|uz|va|vc|ve|vg|vi|vn|vu|wf|ws|ye|yt|yu|za|zm|zw)/)(?:[^\s()<>{}\[\]]+|\([^\s()]*?\([^\s()]+\)[^\s()]*?\)|\([^\s]+?\))+(?:\([^\s()]*?\([^\s()]+\)[^\s()]*?\)|\([^\s]+?\)|[^\s`!()\[\]{};:\'\".,<>?«»“”‘’])|(?:(?

我称之为该文件urlmarker.py,当我需要它时,我只需导入它,例如.

import urlmarker
import re
re.findall(urlmarker.URL_REGEX,'some text news.yahoo.com more text')


比照 http://daringfireball.net/2010/07/improved_regex_for_matching_urls

此外,这是Django(1.6)用于验证URLFields的内容:

regex = re.compile(
    r'^(?:http|ftp)s?://'  # http:// or https://
    r'(?:(?:[A-Z0-9](?:[A-Z0-9-]{0,61}[A-Z0-9])?\.)+(?:[A-Z]{2,6}\.?|[A-Z0-9-]{2,}\.?)|'  # domain...
    r'localhost|'  # localhost...
    r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}|'  # ...or ipv4
    r'\[?[A-F0-9]*:[A-F0-9:]+\]?)'  # ...or ipv6
    r'(?::\d+)?'  # optional port
    r'(?:/?|[/?]\S+)$', re.IGNORECASE)


比照 https://github.com/django/django/blob/1.6/django/core/validators.py#L43-50

Django 1.9将逻辑拆分为几个类

        
这对我来说似乎是对的.我注意到http://zdf.info/是一个真实的网站. 

2> Björn Lindqv..：
看看Django的方法:django.utils.urlize().Regexs对于工作而言太有限了,您必须使用启发式方法来获得大多数正确的结果.

        

3> tohster..：
对13种不同的正则表达式方法进行了很好的比较

...可以在这个页面找到:寻找完美的URL验证正则表达式.

通过所有测试的Diego Perini正则表达式很长,但可以在他的要点上找到.

请注意,您必须将其PHP版本转换为python正则表达式(存在细微差别).

我最终使用了Imme Emosol版本,该版本通过绝大多数测试,只是Diego Perini的一小部分.

这是Imme Emosol正则表达式的python兼容版本:

r'^(?:(?:https?|ftp)://)(?:\S+(?::\S*)?@)?(?:(?:[1-9]\d?|1\d\d|2[01]\d|22[0-3])(?:\.(?:1?\d{1,2}|2[0-4]\d|25[0-5])){2}(?:\.(?:[1-9]\d?|1\d\d|2[0-4]\d|25[0-4]))|(?:(?:[a-z\u00a1-\uffff0-9]+-?)*[a-z\u00a1-\uffff0-9]+)(?:\.(?:[a-z\u00a1-\uffff0-9]+-?)*[a-z\u00a1-\uffff0-9]+)*(?:\.(?:[a-z\u00a1-\uffff]{2,})))(?::\d{2,5})?(?:/[^\s]*)?$'

        

4> ddaa..：
使用正则表达式.

回复OP的评论:我知道这没有用.我告诉你解决问题的正确方法,因为你声明它是使用正则表达式.

        
我知道*我可以使用正则表达式!我问是否有一个模块或其他方法来做到这一点,而没有提出最终的正则表达式来提取URL. 
以上是python格式的正则表达式:match_urls = re.compile(r"""((？:[az] [\ w  - ] + :(？:/ {1,3} | [a-z0-9 %])| WWW\d {0,3} [] | [A-Z0-9\ - ] + [] [AZ] {2,4} /)(:.？[^\S()< >] + | \(([^\S()<>] + |(\([^\S()<>] + \)))*\))+(？:\(([^\S ()<>] + |(\([^\S()<>] + \)))*\)|![^\s`()\ [\].{} ;:"',<> ？«»""'']))""",re.DOTALL) 

5> Imran..：
您可以使用我写的这个库:

https://github.com/imranghory/urlextractor

它非常hacky,但它不像许多其他技术那样依赖"http://",而是使用Mozilla TLD列表(通过tldextract库)来搜索TLD(即".co.uk",". com"等,然后在文本中尝试构建TLD周围的URL.

它的目标不是符合RFC,而是准确了解在现实世界中如何使用URL.因此,例如,它将拒绝技术上有效的域"com"(您实际上可以使用TLD作为域;虽然它在实践中很少见)并且将从URL中删除跟踪句点或逗号.