如何去掉字符串中的非UTF-8编码?

使用Struts2接收iPhone客户端发来的请求,刚刚接收到的时候是做了URL Encode的,比如这个字符串:“%E8%BF%99%E6%98%AF%E4%B8%80%E6%AE%B5%E6%B5%8B%E8%AF%95%00%E7%94%A8%E7%9A%84%E6%96%87%E5%AD%97”。

但是这个字符串中包含了一个非UTF-8编码“%00”,目前所知产生的原因是使用了iPhone原生的文本框,在用户从其他App或者网页粘贴内容后提交的时候会带有一些额外的字符。为了兼容iOS5之后的emoji表情,目前采用的方法是数据库直接保存URL Encode之后的编码,在显示的时候进行Decode并输出,根本原因在于MySQL的编码使用的是GBK。

对于上述字符串,由于包含了非UTF-8编码的字符串,因此如果返回的结果是XML形式的时候客户端(比如iphone App)会出现XML解析失败导致整个页面空白的情况。请教在不改变现有程序实现的情况下(即不更换数据库编码、仍然保存URL Encode之后的字符串),能否通过其他手段过滤掉这些非法字符呢?比如通过正则表达式?

结果
[code="java"]测{方块}试[/code]
只有%00是方块,对头的吧?

我的建议也是你自己说的用正则表达式把非法字符过滤掉。

看你的描述似乎不确定非法字符有哪些,那么就把所有 非 正常 字符 过滤掉。

比如正常字符包括:

  • 数字,英文大小写,表达符号。

  • 中文。

用正则把不是以上的字符都干掉的方向,具体区间可以参考这篇[url]http://www.reai.us/chinese-in-utf8-and-gbk[/url]

但是,我仍然建议改DB编码吧,一了百了。

[quote]这个是HTTP请求的时候产生的,可以使用 URLDecoder.decode 进行准换,过滤的话你可以在保存的时候进行转换这样就可以到达过滤非UTF-8 的 %00,%00是代表空格好像不能直接替换掉的,最好是先转码再操作[/quote]