从python中的字符串中剥离不可打印的字符

我用来跑

$s =~ s/[^[:print:]]//g;

在Perl上摆脱不可打印的字符.

在Python中没有POSIX正则表达式类,我不能写[:print:]让它意味着我想要的东西.我知道在Python中无法检测字符是否可打印.

你会怎么做？

编辑:它也必须支持Unicode字符.string.printable方式很乐意将它们从输出中剥离出来.对于任何unicode字符,curses.ascii.isprint都将返回false.

1> Ants Aasma..：

---

遗憾的是,迭代字符串在Python中相当慢.对于这种事情,正则表达式要快一个数量级.你只需要自己构建角色类.该unicodedata模块是这个相当有帮助,尤其是unicodedata.category()函数.有关类别的说明,请参阅Unicode字符数据库.

import unicodedata, re

all_chars = (unichr(i) for i in xrange(0x110000))
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) == 'Cc')
# or equivalently and much more efficiently
control_chars = ''.join(map(unichr, range(0,32) + range(127,160)))

control_char_re = re.compile('[%s]' % re.escape(control_chars))

def remove_control_chars(s):
    return control_char_re.sub('', s)

---

'Cc'在这里足够吗？我不知道,我只是问 - 在我看来,其他一些'C'类别也可能是这个过滤器的候选者.

---

对我来说`control_chars =='\ x00-\x1f\x7f-\x9f'`(在Python 3.5.2上测试过)

---

使用`all_chars =(unichr(i)for i in xrange(sys.maxunicode))`来避免窄的构建错误.

2> William Kell..：

---

据我所知,最pythonic /有效的方法是:

import string

filtered_string = filter(lambda x: x in string.printable, myStr)

---

您应该使用列表推导或生成器表达式,而不是filter + lambda.其中一个将99.9%的时间更快.''.join(对于myStr中的s,如果s在string.printable中)

---

可悲的是string.printable不包含unicode字符,因此ü或ó不会出现在输出中...也许还有别的东西？

---

你可能想要filter_string =''.join(filter(lambda x:x in string.printable,myStr),这样你就可以得到一个字符串.

---

嗨威廉.此方法似乎删除所有非ASCII字符.Unicode中有许多可打印的非ASCII字符!

---

@AaronGallagher:快了99.9%？你从那里采摘那个数字？性能比较远没那么糟糕.

---

@ChrisMorgan:迟到的反应,但声称它几乎总是会更快,而不是它会更快,更快.

3> Ber..：

---

您可以尝试使用以下unicodedata.category()功能设置过滤器:

import unicodedata
printable = {'Lu', 'Ll'}
def filter_non_printable(str):
  return ''.join(c for c in str if unicodedata.category(c) in printable)

请参阅可用类别的Unicode数据库字符属性

4> shawnrad..：

---

在Python 3中,

def filter_nonprintable(text):
    import string
    # Get the difference of all ASCII characters from the set of printable characters
    nonprintable = set([chr(i) for i in range(128)]).difference(string.printable)
    # Use translate to remove all non-printable characters
    return text.translate({ord(character):None for character in nonprintable})

有关.translate()与regex&.replace()的比较,请参阅此StackOverflow帖子,删除标点符号

5> Kirk Strause..：

---

此函数使用列表推导和str.join,因此它以线性时间而不是O(n ^ 2)运行:

from curses.ascii import isprint

def printable(input):
    return ''.join(char for char in input if isprint(char))

---

`滤波器(isprint判断,输入)`