3

Bilingual Emacspeak Projectで英単語とその読みのカタカナの5万組ほどのペアのデータがGPLで公開されていたので
これを使って英単語←→カタカナの変換を行うCUIのバイナリをGoで作ろうとしたのですが、一般的にこのような時にデータをどう保存しておくのかわからず躓いてしまいました。

思いついたのはデータの追加・削除は行わないのでmap形式でソースに直書きしてしまう方法とCSVなど扱いやすいデータをバイナリに同封する方法なのですが基礎的な知識が足りず方向性があってるのかさえわかりません。

上記のような条件ではGo言語でどのようにデータを取り扱うのが一般的なのでしょうか?

2 件の回答 2

2

標準パッケージの gob を利用する方法を挙げます。

英単語を key, その読みのカタカナ表記を value とした map object を作成します。ここでは「読み」が複数ある英単語があるので map[string][]string としています。次に map object を Deflate で圧縮、gob でエンコードして、[]byte 型変数(BepDicByteArray)の宣言文を作成します。

generate.go

package main

import (
  "bytes"
  "compress/flate"
  "encoding/csv"
  "encoding/gob"
  "fmt"
  "os"
)

func main() {
  tbl := make(map[string][]string)
  reader := csv.NewReader(os.Stdin)
  reader.Comma = ' '
  reader.FieldsPerRecord = -1
  for r, err := reader.Read(); err == nil; r, err = reader.Read() {
    tbl[r[0]] = append(tbl[r[0]], r[1])
  }

  buf := new(bytes.Buffer)
  out, _ := flate.NewWriter(buf, flate.DefaultCompression)
  if err := gob.NewEncoder(out).Encode(tbl); err != nil {
    panic(err)
  }
  out.Close()

  fmt.Printf("package main\n\nvar BepDicByteArray []byte = []byte{\n\t")
  for i, v := range buf.Bytes() {
    fmt.Printf("%#02x, ", v)
    if (i+1)%10 == 0 {
      fmt.Printf("\n\t")
    }
  }
  fmt.Printf("\n}")
}

Generate bep_dic.go

generate.go の出力をファイル(bep_dic.go)に保存します。

$ tail -n +2 bep-eng.dic | nkf -w | go run generate.go > bep_dic.go

$ head bep_dic.go
package main

var BepDicByteArray []byte = []byte{
    0x84, 0xfd, 0xfd, 0x6e, 0x1c, 0x47, 0x96, 0x36, 0x88, 0xb7, 
    0x46, 0xac, 0x4f, 0xd2, 0x56, 0xff, 0xfc, 0x42, 0x80, 0x00, 
                              :

$ ls -1sh bep-eng.dic bep_dic.go
916K bep-eng.dic
3.5M bep_dic.go

Example

引数に英単語を取って、その「読み」(カタカナ表記)を表示します。対応する「読み」がない場合は "Not found." と表示します。

main.go

[]byte 型変数 BepDicByteArray に格納されている map object を復元します。

package main

import (
  "bytes"
  "compress/flate"
  "encoding/gob"
  "fmt"
  "os"
  "strings"
)

// Restore map object    
func SetupDic() map[string][]string {
  buf := bytes.NewBuffer(BepDicByteArray)
  in := flate.NewReader(buf)
  dic := make(map[string][]string)
  if err := gob.NewDecoder(in).Decode(&dic); err != nil {
    panic(err)
  }
  in.Close()

  return dic
}

func main() {
  dic := SetupDic()
  if len(os.Args) > 1 {
    if r, ok := dic[strings.ToUpper(os.Args[1])]; ok {
      fmt.Println(r)
    } else {
      fmt.Println("Not found.")
    }
  }
}

Build

$ go build -o bepdic main.go bep_dic.go

実行

$ ./bepdic accessories
[アクセサリイズ アクセサリーズ]

$ ./bepdic emacs
[イマックス]

$ ./bepdic vim
[ヴィム]

$ ./bepdic vi
Not found.
3
  • 1
    回答ありがとうございます。gobflateも知らなかったので大変勉強になります。こちらのコードを私の目的に合うように少し修正してGPLv2でGithubでバイナリと一緒に公開してもよろしいでしょうか? もちろんこのページへのリンクとmetropolis さんが書かれた旨も記述します。
    – ironsand
    2020年2月12日 7:58
  • @ironsand はい、どの様にでもお使い下さい。
    – user39889
    2020年2月12日 8:12
  • 1
    重ねてありがとうございます。Githubに公開しました。github.com/ironsand/kanayomi (バイナリはghrを使ってリリース作業の自動化ができたら追加する予定です。)
    – ironsand
    2020年2月12日 9:33
0

Goでもなんでも、5万件のデータをソースコードに書くということは普通しないと思います。

  • 5万行のソースコードをテストするのが面倒
  • もはや保守不能

データが正しいかどうかとプログラムが正しいかどうかを分離して管理するほうが合理的なので。。

jsonで書き出しておいて、取り込むほうが楽なのでは?

https://www.pospome.work/entry/20160828/1472385535

同様にCSVでもできますね。この場合もファイルを読み込んで自分で解析するよりも
すでにあるライブラリを利用するほうが合理的です。車輪の再発明はたのしいですけど、
結局、品質おちるので

http://nakawatch.hatenablog.com/entry/2018/05/29/184737

1
  • プログラムを書いていると、プログラマの基本的な欲求として - 実行時に決定したい(今決めたくない) ってのがあると思います。例えば配列のサイズ。「実行時までわからないのに・・・」と配列のサイズを実行時に決定するテクニックを身に着けるまで門紋々とします。 そういったプログラマの欲求にこたえるために、コンピュータは発展していると思います。仮想記憶とかも。。もちろんこれは「そういう色の眼鏡」を通して偏った見方をしているにすぎませんが。。。 2020年2月10日 22:38

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。