在处理数据时,当业务数据同步至MaxCompute后,会产生一些含异常字符的脏数据,比如字段中包含了一个不可见字符,在DataWorks中显示不出来,但在BI界面又会显示成其他字符,影响整体观感。这种情况,通常我们的解法是,将异常的字符洗掉,下面来介绍几种常见的处理异常字符的方法。
如下图,可以看到“异常name”和“正常name”的 length值 不同,多了个不可见字符,但是我们并不能看出来啥。后期做数据处理或数据展示可能成为一个难以定位的问题。
SELECT name as 异常name, LENGTH(name) as 异常name长度, '北京' as 正常name, LENGTH('北京') as 正常name长度from tbl1 where name RLIKE '北京';
结果:
方案 | 描述 | 备注 | 本case是否适用 |
trim()函数 | 常规的首尾不可见字符处理 | 适用首尾部的空格、tab、换行 | Yes |
replace()函数 | 定向剔除字符串 | 适用于单个待替换的字符,多个需要层层嵌套 | Yes |
正则替换函数 | 定向剔除一类字符串 | 通过正则匹配符,替换一类字符串 | Yes |
效果如下:
SELECT name as 异常name, LENGTH(name) as 异常name长度, trim(name,'') as 正常name, LENGTH(trim(name,'')) as 正常name长度from tbl1 where name RLIKE '北京';
结果:
效果如下:
SELECT name as 异常name, LENGTH(name) as 异常name长度, replace(name,'','') as 正常name, LENGTH(replace(name,'','')) as 正常name长度from tbl1 where name RLIKE '北京';
结果:
select id,name from tbl1 where name rlike '[\\x{200b}]';
结果返回:
-- regexp_replace()函数SELECT name as 异常name, LENGTH(name) as 异常name长度, regexp_replace(name, '[\\x{200b}]', '',0) as 正常name, LENGTH(regexp_replace(name, '[\\x{200b}]', '',0)) as 正常name长度FROM tbl1;
结果:
针对于SQL中的不可见字符或者其他中文等异常字符,都可以使用方案3中的筛选方式筛出来,然后再做后续的替换或其他操作就可以了。
Copyright © 2013-2024 www.leidunyun.com. All Rights Reserved. 雷盾云 版权所有 公安备案号: 皖公网安备34010402703903号 雷盾云计算有限公司 皖ICP备2023001433号