Skip to main content
Added more conversion combos.
ソース リンク
Hiroshi Yamamoto
  • 6,349
  • 14
  • 32

定番エンコードの変換には、定番text.encoding パッケージを使用しますが、code.google.com/p/go.text/encoding パッケージは使わないでください。 去年末 (Go 1.4 に先駆けて) から推奨されるパッケージ名が変わりました。現在では golang.org/x/text/encoding パッケージが使われます。

package main

import (
    "fmt"
    "strings"
    "bytes"
    "io"
    "io/ioutil"
    "golang.org/x/text/transform"
//  "code.google.com/p/go.text/transform" // deprecated
    "golang.org/x/text/encoding/japanese"
//  "code.google.com/p/go.text/encoding/japanese" // deprecated
)

func transformEncoding( rawReader io.Reader, trans transform.Transformer) (string, error) {
    ret, err := ioutil.ReadAll(transform.NewReader(rawReader, trans))
    if err == nil {
        return string(ret), nil
    } else {
        return "", err
    }
}

// Convert a string encoding from ShiftJIS to UTF-8
func FromShiftJIS(str string) (string, error) {
    return transformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewDecoder())
}

// Convert a string encoding from UTF-8 to ShiftJIS
func ToShiftJIS(str string) (string, error) {
    return transformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewEncoder())
}

// Convert an array of bytes (a valid ShiftJIS string) to a UTF-8 string
func BytesFromShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewDecoder())
}

// Convert an array of bytes (a valid UTF-8 string) to a ShiftJIS string
func BytesToShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewEncoder())
}

func main() {
    strRaw := "\x8c\x8e\x93\xfa\x82\xcd\x95\x53\x91\xe3\x82\xcc\x89\xdf\x8b\x71" +
            "\x82\xc9\x82\xb5\x82\xc4\x81\x41\x8d\x73\x82\xa9\x82\xd3\x94\x4e" +
            "\x82\xe0\x96\x94\x97\xb7\x90\x6c\x96\xe7\x81\x42"

    strUTF := "月日は百代の過客にして、行かふ年も又旅人也。"

    // string (ShiftJIS) -> []byte (ShiftJIS)
    bytesRaw := []byte(strRaw)

    // string (UTF-8) -> []byte (UTF-8)
    bytesUTF := []byte(strUTF)

    // string (ShiftJIS) -> string (UTF-8)
    {
        result, err := FromShiftJIS(strRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
    }

    // []byte (ShiftJIS) -> string (UTF-8)
    {
        result, err := BytesFromShiftJIS(bytesRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
    }

    // []byte (UTF-8) -> string (ShiftJIS)
    {
        result, err := BytesToShiftJIS(bytesUTF)
        if err != nil {
            panic(err)
        }
        fmt.Printf("ByteToShiftJIS: %t", result == strRaw)
    }
}
月日は百代の過客にして、行かふ年も又旅人也。
月日は百代の過客にして、行かふ年も又旅人也。
ByteToShiftJIS: true

参考:

定番text.encoding パッケージを使用しますが、code.google.com/p/go.text/encoding パッケージは使わないでください。 去年末 (Go 1.4 に先駆けて) から推奨されるパッケージ名が変わりました。現在では golang.org/x/text/encoding パッケージが使われます。

package main

import (
    "fmt"
    "strings"
    "bytes"
    "io"
    "io/ioutil"
    "golang.org/x/text/transform"
//  "code.google.com/p/go.text/transform" // deprecated
    "golang.org/x/text/encoding/japanese"
//  "code.google.com/p/go.text/encoding/japanese" // deprecated
)

func transformEncoding( rawReader io.Reader, trans transform.Transformer) (string, error) {
    ret, err := ioutil.ReadAll(transform.NewReader(rawReader, trans))
    if err == nil {
        return string(ret), nil
    } else {
        return "", err
    }
}

// Convert a string encoding from ShiftJIS to UTF-8
func FromShiftJIS(str string) (string, error) {
    return transformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewDecoder())
}

// Convert a string encoding from UTF-8 to ShiftJIS
func ToShiftJIS(str string) (string, error) {
    return transformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewEncoder())
}

// Convert an array of bytes (a valid ShiftJIS string) to a UTF-8 string
func BytesFromShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewDecoder())
}

// Convert an array of bytes (a valid UTF-8 string) to a ShiftJIS string
func BytesToShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewEncoder())
}

func main() {
    strRaw := "\x8c\x8e\x93\xfa\x82\xcd\x95\x53\x91\xe3\x82\xcc\x89\xdf\x8b\x71" +
            "\x82\xc9\x82\xb5\x82\xc4\x81\x41\x8d\x73\x82\xa9\x82\xd3\x94\x4e" +
            "\x82\xe0\x96\x94\x97\xb7\x90\x6c\x96\xe7\x81\x42"
    bytesRaw := []byte(strRaw)

    // string (ShiftJIS) -> string (UTF-8)
    {
        result, err := FromShiftJIS(strRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
    }

    // []byte (ShiftJIS) -> string (UTF-8)
    {
        result, err := BytesFromShiftJIS(bytesRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
    }
}
月日は百代の過客にして、行かふ年も又旅人也。
月日は百代の過客にして、行かふ年も又旅人也。

参考

エンコードの変換には、定番text.encoding パッケージを使用しますが、code.google.com/p/go.text/encoding パッケージは使わないでください。 去年末 (Go 1.4 に先駆けて) から推奨されるパッケージ名が変わりました。現在では golang.org/x/text/encoding パッケージが使われます。

package main

import (
    "fmt"
    "strings"
    "bytes"
    "io"
    "io/ioutil"
    "golang.org/x/text/transform"
//  "code.google.com/p/go.text/transform" // deprecated
    "golang.org/x/text/encoding/japanese"
//  "code.google.com/p/go.text/encoding/japanese" // deprecated
)

func transformEncoding( rawReader io.Reader, trans transform.Transformer) (string, error) {
    ret, err := ioutil.ReadAll(transform.NewReader(rawReader, trans))
    if err == nil {
        return string(ret), nil
    } else {
        return "", err
    }
}

// Convert a string encoding from ShiftJIS to UTF-8
func FromShiftJIS(str string) (string, error) {
    return transformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewDecoder())
}

// Convert a string encoding from UTF-8 to ShiftJIS
func ToShiftJIS(str string) (string, error) {
    return transformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewEncoder())
}

// Convert an array of bytes (a valid ShiftJIS string) to a UTF-8 string
func BytesFromShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewDecoder())
}

// Convert an array of bytes (a valid UTF-8 string) to a ShiftJIS string
func BytesToShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewEncoder())
}

func main() {
    strRaw := "\x8c\x8e\x93\xfa\x82\xcd\x95\x53\x91\xe3\x82\xcc\x89\xdf\x8b\x71" +
            "\x82\xc9\x82\xb5\x82\xc4\x81\x41\x8d\x73\x82\xa9\x82\xd3\x94\x4e" +
            "\x82\xe0\x96\x94\x97\xb7\x90\x6c\x96\xe7\x81\x42"

    strUTF := "月日は百代の過客にして、行かふ年も又旅人也。"

    // string (ShiftJIS) -> []byte (ShiftJIS)
    bytesRaw := []byte(strRaw)

    // string (UTF-8) -> []byte (UTF-8)
    bytesUTF := []byte(strUTF)

    // string (ShiftJIS) -> string (UTF-8)
    {
        result, err := FromShiftJIS(strRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
    }

    // []byte (ShiftJIS) -> string (UTF-8)
    {
        result, err := BytesFromShiftJIS(bytesRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
    }

    // []byte (UTF-8) -> string (ShiftJIS)
    {
        result, err := BytesToShiftJIS(bytesUTF)
        if err != nil {
            panic(err)
        }
        fmt.Printf("ByteToShiftJIS: %t", result == strRaw)
    }
}
月日は百代の過客にして、行かふ年も又旅人也。
月日は百代の過客にして、行かふ年も又旅人也。
ByteToShiftJIS: true

参考:

Added samples with arrays of bytes.
ソース リンク
Hiroshi Yamamoto
  • 6,349
  • 14
  • 32
package main

import (
    "fmt"
    "strings"
    ";bytes"
    "io"
    ";io/ioutil"
    "golang.org/x/text/transform"
//  "code.google.com/p/go.text/transform" // deprecated
    "golang.org/x/text/encoding/japanese"
//  "code.google.com/p/go.text/encoding/japanese" // deprecated
)

func transformStringtransformEncoding( strrawReader stringio.Reader, trans transform.Transformer) (string, error) {
    ret, err := ioutil.ReadAll(transform.NewReader(strings.NewReader(str)rawReader, trans))
    if err == nil {
        return string(ret), nil
    } else {
        return "", err
    }
}

// Convert a string encoding from ShiftJIS to UTF-8
func FromShiftJIS(str string) (string, error) {
    return transformStringtransformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewDecoder())
}

// Convert a string encoding from UTF-8 to ShiftJIS
func ToShiftJIS(str string) (string, error) {
    return transformStringtransformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewEncoder())
}

// Convert an array of bytes (a valid ShiftJIS string) to a UTF-8 string
func mainBytesFromShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewDecoder())
}

// "月日は百代の過客にして、行かふ年も又旅人也。"Convert an array of bytes (Shifta valid UTF-JIS8 エンコードstring) to a ShiftJIS string
func BytesToShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewEncoder())
}

func main() {
    strRaw := "\x8c\x8e\x93\xfa\x82\xcd\x95\x53\x91\xe3\x82\xcc\x89\xdf\x8b\x71" +
            "\x82\xc9\x82\xb5\x82\xc4\x81\x41\x8d\x73\x82\xa9\x82\xd3\x94\x4e" +
            "\x82\xe0\x96\x94\x97\xb7\x90\x6c\x96\xe7\x81\x42"
    strbytesRaw := []byte(strRaw)

    // string (ShiftJIS) -> string (UTF-8)
    {
        result, err := FromShiftJIS(strRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
 str   }

    // []byte (ShiftJIS) -> string (UTF-8)
    {
        result, err := BytesFromShiftJIS(bytesRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
    }
}
月日は百代の過客にして、行かふ年も又旅人也。
月日は百代の過客にして、行かふ年も又旅人也。
package main

import (
    "fmt"
    "strings"
    "io/ioutil"
    "golang.org/x/text/transform"
//  "code.google.com/p/go.text/transform" // deprecated
    "golang.org/x/text/encoding/japanese"
//  "code.google.com/p/go.text/encoding/japanese" // deprecated
)

func transformString( str string, trans transform.Transformer) (string, error) {
    ret, err := ioutil.ReadAll(transform.NewReader(strings.NewReader(str), trans))
    if err == nil {
        return string(ret), nil
    } else {
        return "", err
    }
}

// Convert a string from ShiftJIS to UTF-8
func FromShiftJIS(str string) (string, error) {
    return transformString(str, japanese.ShiftJIS.NewDecoder())
}

// Convert a string from UTF-8 to ShiftJIS
func ToShiftJIS(str string) (string, error) {
    return transformString(str, japanese.ShiftJIS.NewEncoder())
}

func main() {
    // "月日は百代の過客にして、行かふ年も又旅人也。" (Shift-JIS エンコード)
    strRaw := "\x8c\x8e\x93\xfa\x82\xcd\x95\x53\x91\xe3\x82\xcc\x89\xdf\x8b\x71" +
            "\x82\xc9\x82\xb5\x82\xc4\x81\x41\x8d\x73\x82\xa9\x82\xd3\x94\x4e" +
            "\x82\xe0\x96\x94\x97\xb7\x90\x6c\x96\xe7\x81\x42"
    str, err := FromShiftJIS(strRaw)
    if err != nil {
        panic(err)
    }
    fmt.Println( str)
}
月日は百代の過客にして、行かふ年も又旅人也。
package main

import (
    "fmt"
    "strings"
    ";bytes"
    "io"
    ";io/ioutil"
    "golang.org/x/text/transform"
//  "code.google.com/p/go.text/transform" // deprecated
    "golang.org/x/text/encoding/japanese"
//  "code.google.com/p/go.text/encoding/japanese" // deprecated
)

func transformEncoding( rawReader io.Reader, trans transform.Transformer) (string, error) {
    ret, err := ioutil.ReadAll(transform.NewReader(rawReader, trans))
    if err == nil {
        return string(ret), nil
    } else {
        return "", err
    }
}

// Convert a string encoding from ShiftJIS to UTF-8
func FromShiftJIS(str string) (string, error) {
    return transformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewDecoder())
}

// Convert a string encoding from UTF-8 to ShiftJIS
func ToShiftJIS(str string) (string, error) {
    return transformEncoding(strings.NewReader(str), japanese.ShiftJIS.NewEncoder())
}

// Convert an array of bytes (a valid ShiftJIS string) to a UTF-8 string
func BytesFromShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewDecoder())
}

// Convert an array of bytes (a valid UTF-8 string) to a ShiftJIS string
func BytesToShiftJIS(b []byte) (string, error) {
    return transformEncoding(bytes.NewReader(b), japanese.ShiftJIS.NewEncoder())
}

func main() {
    strRaw := "\x8c\x8e\x93\xfa\x82\xcd\x95\x53\x91\xe3\x82\xcc\x89\xdf\x8b\x71" +
            "\x82\xc9\x82\xb5\x82\xc4\x81\x41\x8d\x73\x82\xa9\x82\xd3\x94\x4e" +
            "\x82\xe0\x96\x94\x97\xb7\x90\x6c\x96\xe7\x81\x42"
    bytesRaw := []byte(strRaw)

    // string (ShiftJIS) -> string (UTF-8)
    {
        result, err := FromShiftJIS(strRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
    }

    // []byte (ShiftJIS) -> string (UTF-8)
    {
        result, err := BytesFromShiftJIS(bytesRaw)
        if err != nil {
            panic(err)
        }
        fmt.Println(result)
    }
}
月日は百代の過客にして、行かふ年も又旅人也。
月日は百代の過客にして、行かふ年も又旅人也。
Small adjustment.
ソース リンク
Hiroshi Yamamoto
  • 6,349
  • 14
  • 32

定番の text.encoding パッケージを使用しますが、code.google.com/p/go.text/encoding パッケージは使わないでください。 去年末 (Go 1.4 に先駆けて) で、から推奨されるパッケージ名が異なっており、変わりました。現在では golang.org/x/text/encoding パッケージを使用するようにしが使われます。

package main

import (
    "fmt"
    "strings"
    "io/ioutil"
    "golang.org/x/text/transform"
//  "code.google.com/p/go.text/transform" // deprecated
    "golang.org/x/text/encoding/japanese"
//  "code.google.com/p/go.text/encoding/japanese" // deprecated
)

func transformString( str string, trans transform.Transformer) (string, error) {
    ret, err := ioutil.ReadAll(transform.NewReader(strings.NewReader(str), trans))
    if err == nil {
        return string(ret), nil
    } else {
        return "", err
    }
}

// Convert a string from ShiftJIS to UTF-8
func FromShiftJIS(str string) (string, error) {
    return transformString(str, japanese.ShiftJIS.NewDecoder())
}

// Convert a string from UTF-8 to ShiftJIS
func ToShiftJIS(str string) (string, error) {
    return transformString(str, japanese.ShiftJIS.NewEncoder())
}

func main() {
    // "月日は百代の過客にして、行かふ年も又旅人也。" (Shift-JIS エンコード)
    strRaw := "\x8c\x8e\x93\xfa\x82\xcd\x95\x53\x91\xe3\x82\xcc\x89\xdf\x8b\x71" +
            "\x82\xc9\x82\xb5\x82\xc4\x81\x41\x8d\x73\x82\xa9\x82\xd3\x94\x4e" +
            "\x82\xe0\x96\x94\x97\xb7\x90\x6c\x96\xe7\x81\x42"
    str, err := FromShiftJIS(strRaw)
    if err != nil {
        panic(err)
    }
    fmt.Println( str)
}

定番の text.encoding パッケージを使用しますが、code.google.com/p/go.text/encoding パッケージは使わないでください。 去年末 (Go 1.4) で、推奨されるパッケージ名が異なっており、 golang.org/x/text パッケージを使用するようにします。

package main

import (
    "fmt"
    "strings"
    "io/ioutil"
    "golang.org/x/text/transform"
//  "code.google.com/p/go.text/transform" // deprecated
    "golang.org/x/text/encoding/japanese"
//  "code.google.com/p/go.text/encoding/japanese" // deprecated
)

func transformString( str string, trans transform.Transformer) (string, error) {
    ret, err := ioutil.ReadAll(transform.NewReader(strings.NewReader(str), trans))
    if err == nil {
        return string(ret), nil
    } else {
        return "", err
    }
}

// Convert a string from ShiftJIS to UTF-8
func FromShiftJIS(str string) (string, error) {
    return transformString(str, japanese.ShiftJIS.NewDecoder())
}

// Convert a string from UTF-8 to ShiftJIS
func ToShiftJIS(str string) (string, error) {
    return transformString(str, japanese.ShiftJIS.NewEncoder())
}

func main() {
    strRaw := "\x8c\x8e\x93\xfa\x82\xcd\x95\x53\x91\xe3\x82\xcc\x89\xdf\x8b\x71" +
            "\x82\xc9\x82\xb5\x82\xc4\x81\x41\x8d\x73\x82\xa9\x82\xd3\x94\x4e" +
            "\x82\xe0\x96\x94\x97\xb7\x90\x6c\x96\xe7\x81\x42"
    str, err := FromShiftJIS(strRaw)
    if err != nil {
        panic(err)
    }
    fmt.Println( str)
}

定番の text.encoding パッケージを使用しますが、code.google.com/p/go.text/encoding パッケージは使わないでください。 去年末 (Go 1.4 に先駆けて) から推奨されるパッケージ名が変わりました。現在では golang.org/x/text/encoding パッケージが使われます。

package main

import (
    "fmt"
    "strings"
    "io/ioutil"
    "golang.org/x/text/transform"
//  "code.google.com/p/go.text/transform" // deprecated
    "golang.org/x/text/encoding/japanese"
//  "code.google.com/p/go.text/encoding/japanese" // deprecated
)

func transformString( str string, trans transform.Transformer) (string, error) {
    ret, err := ioutil.ReadAll(transform.NewReader(strings.NewReader(str), trans))
    if err == nil {
        return string(ret), nil
    } else {
        return "", err
    }
}

// Convert a string from ShiftJIS to UTF-8
func FromShiftJIS(str string) (string, error) {
    return transformString(str, japanese.ShiftJIS.NewDecoder())
}

// Convert a string from UTF-8 to ShiftJIS
func ToShiftJIS(str string) (string, error) {
    return transformString(str, japanese.ShiftJIS.NewEncoder())
}

func main() {
    // "月日は百代の過客にして、行かふ年も又旅人也。" (Shift-JIS エンコード)
    strRaw := "\x8c\x8e\x93\xfa\x82\xcd\x95\x53\x91\xe3\x82\xcc\x89\xdf\x8b\x71" +
            "\x82\xc9\x82\xb5\x82\xc4\x81\x41\x8d\x73\x82\xa9\x82\xd3\x94\x4e" +
            "\x82\xe0\x96\x94\x97\xb7\x90\x6c\x96\xe7\x81\x42"
    str, err := FromShiftJIS(strRaw)
    if err != nil {
        panic(err)
    }
    fmt.Println( str)
}
ソース リンク
Hiroshi Yamamoto
  • 6,349
  • 14
  • 32
読み込んでいます