理解Java控制台输入奇数个中文乱码

    |     2015年6月2日   |   输入输出(IO)操作   |     0 条评论   |    1961

Java控制台输入乱码
这是很常见的获取键盘输入的一段Java代码,但在运行过程中,我发现只要我输入的是中文,而且字符数为奇数,就会出现最后一个字符为乱码的问题,

      BufferedReader reader = new BufferedReader(
				new InputStreamReader(System.in));
		String message;
		while ((message = reader.readLine()) != null) {
			System.out.println(message);
                }

产生原因:因为这个项目文件的默认字符编码为UTF-8,所以我的控制台的字符编码也自动变成了UTF-8,而键盘的输入流的默认格式是GBK格式,这样就造成了在GBK转UTF-8的过程中产生的奇数乱码错误

解决办法:
第一种: 修改项目文件编码为GBK,控制台的字符编码也自动变成了GBK.
第二种:在代码区域右键 -> run as -> run configurations -> common(右侧) -> console encoding
如果出现此错误,此时的编码格式应该是UTF-8,选择Other,这时可能没有GBK选项,如果没有,则执行之后操作。

理解并解决GBK转UTF-8奇数中文乱码

问题出现:GBK转UTF-8时,奇数个中文会乱码,偶数个中文不会乱码。
三个中文

public static void encodeError() throws UnsupportedEncodingException {  
    String gbk = "我来了";  
    String utf8 = new String(gbk.getBytes("UTF-8"));  
  
    //模拟UTF-8编码的网站显示  
    System.out.println(new String(utf8.getBytes(),"UTF-8"));  
}  
/* 
我来?? 
*/  
 前面三个中文,后面一个中文,都是奇数
Java代码  收藏代码
public static void encodeError2() throws UnsupportedEncodingException {  
    String gbk = "今年是2011年";  
    String utf8 = new String(gbk.getBytes("UTF-8"));  
  
    //模拟UTF-8编码的网站显示  
    System.out.println(new String(utf8.getBytes(),"UTF-8"));  
}  
/* 
今年??011?? 
*/  

原因:为什么只有奇数个中文才乱码,偶数个却不乱码?下面来分析原因

public static void analyze() throws UnsupportedEncodingException {  
    String gbk = "我来了";  
    String utf8 = new String(gbk.getBytes("UTF-8"));  
    for (byte b : gbk.getBytes("UTF-8")) {  
        System.out.print(b + " ");  
    }  
    System.out.println();  
    for (byte b : utf8.getBytes()) {  
        System.out.print(b + " ");  
    }  
}  
/* 
-26 -120 -111 -26 -99 -91 -28 -70 -122  
-26 -120 -111 -26 -99 -91 -28 -70 63  
*/  

注意最后一个字节不同,上面一行才是正确的UTF-8编码。那么为什么下面一行最后一个字节是63,而不是-122呢?这就是导致乱码的原因所在。
GBK编码是一个中文2个字节,而UTF-8编码是一个中文3个字节,当我们调用getBytes(“UTF-8”)方法时,会通过计算来增加字节,使得从GBK的2个字节变成UTF-8对应的3个字节。因此,上例3个中文输出了9个字节。

这里讲一下怎么通过计算增加字节,不深究的读者可以跳过此段。为了醒目,直接用代码讲解

public static void gbk2Utf() throws UnsupportedEncodingException {  
    String gbk = "我来了";  
    char[] c = gbk.toCharArray();  
    byte[] fullByte = new byte[3*c.length];  
    for (int i=0; i<c.length; i++) {  
        String binary = Integer.toBinaryString(c[i]);  
        StringBuffer sb = new StringBuffer();  
        int len = 16 - binary.length();  
        //前面补零  
        for(int j=0; j<len; j++){  
                sb.append("0");  
            }  
        sb.append(binary);  
        //增加位,达到到24位3个字节  
        sb.insert(0, "1110");  
            sb.insert(8, "10");  
            sb.insert(16, "10");  
            fullByte[i*3] = Integer.valueOf(sb.substring(0, 8), 2).byteValue();//二进制字符串创建整型  
            fullByte[i*3+1] = Integer.valueOf(sb.substring(8, 16), 2).byteValue();  
            fullByte[i*3+2] = Integer.valueOf(sb.substring(16, 24), 2).byteValue();  
    }  
    //模拟UTF-8编码的网站显示  
    System.out.println(new String(fullByte,"UTF-8"));  
}  
 

现在我们来找出最后一个字节是63,而不是-122的原因。

public static void analyze2() throws UnsupportedEncodingException {  
    String gbk = "我来了";  
    byte[] utfBytes = gbk.getBytes("UTF-8");//得到9个字节  
    String utf8 = new String(utfBytes);//问题就出在这  
    System.out.print(utf8);  
}  
/* 
鎴戞潵浜? 
*/  

因为文件是GBK编码,new String(utfBytes)默认就是new String(utfBytes,”GBK”)。它会2个字节2个字节地转换成字符,当字节是奇数时最后1个字节转字符就会计算错误,然后直接赋予最后这个字符为?,对应ASCII代码就是63。

解决问题
保证字节正确才是硬道理。当调用getBytes(“UTF-8”)转换成字节数组后,创建ISO-8859-1编码的字符串,ISO-8859-1编码是一个字节对应一个字符,因此不会使最后一个字节错误。

public static void correctEncode() throws UnsupportedEncodingException {  
    String gbk = "我来了";  
    String iso = new String(gbk.getBytes("UTF-8"),"ISO-8859-1");  
    for (byte b : iso.getBytes("ISO-8859-1")) {  
        System.out.print(b + " ");  
    }  
    System.out.println();  
  
    //模拟UTF-8编码的网站显示  
    System.out.println(new String(iso.getBytes("ISO-8859-1"),"UTF-8"));  
}  
/* 
-26 -120 -111 -26 -99 -91 -28 -70 -122  
我来了 
*/  

JAVA编码研究之字符转字节到字节转字符

public class Bianma {
    private static void printBytes(byte[] bytes) {
        for (byte b : bytes) {
            printByte(b);
        }
        System.out.println();
    }
    private static void printByte(byte abyte) {
        String hex = "00"+Integer.toHexString((int)abyte);
        System.out.print(hex.substring(hex.length() - 2) + "\t");
    }
    public static void main(String[] args) throws IOException {
        String s = "陶";
        printBytes(s.getBytes("GBK"));
        printBytes(s.getBytes("UTF-8"));
        byte b = (byte) System.in.read();
        while (true) {
            printByte(b);
            b = (byte) System.in.read();
        }
    }
}
run:
cc        d5      // 陶的GBK编码    
e9        99        b6        // 陶的UTF8编码
陶
cc        d5        0a    // 0a是回车生成的 
byte[] b = new byte[]{new Byte((byte) 0xcc), new Byte((byte) 0xd5)};
System.out.println(new String(b, "GBK"));

//输出为 :陶
转载请注明来源:理解Java控制台输入奇数个中文乱码
回复 取消