2

Tungsten Replicatorで、OracleデータベースからMySQLデータベースにデータを流し込もうとしています。各種初期化は終わり、ドキュメントにあるParallel extractorを使う方法で既にOracle側にあるデータをMySQLに入れようとしているところです。

ところが、エラーで途中で止まってしまいます。幸いオープンソースなのでログを仕込んでみたところ、CDCで変更を記録するためのテーブルのデータも抽出しようとしているらしいことがわかりました。

java.sql.Types.VARBINARY という型 (-3) の SOURCE_COLMAP$ という名前のカラムを処理しようとしている:

2014-12-08 14:59:37,077 [cookbook - prov-q-to-thl-0] WARN thl.serializer.ProtobufSerializer Unimplemented type -3 for SOURCE_COLMAP$

テーブルは MYSCHEMA.CT_USER:

2014-12-08 14:59:37,428 [cookbook - prov-q-to-thl-0] ERROR thl.serializer.ProtobufSerializer Failure while storing MYSCHEMA_PUB.CT_USER

どうすればCDC用テーブルは無視するように設定できるでしょうか。

バージョン: Tungsten Replicator 3.0.0-524

1 件の回答 1

0

その後ソースコードを眺めていたら、抽出用の設定ファイルを指定できるようになっていることに気付きました。

スキーマ名,テーブル名,一度に抽出する行数

という形式でchunks.csvなどに保存してレプリケーターから読める場所に置き、

./tools/tpm update service_name \
    --property=replicator.extractor.parallel-extractor.ChunkDefinitionFile=/path/to/chunks.csv

で設定を更新すれば使ってくれるようになります。CDC用のテーブルは *_PUB という形式のスキーマに保存するように初期化スクリプトがセットアップしているので、抽出したいスキーマのみを含めるようにすればCDC用テーブルを除外できます。

テーブル名以降は省略可です。

設定を読み込んでいるあたりのソースコード:

logger.info("Using definition from file " + chunkDefFile);
chunkDefinition = new ChunkDefinitions(chunkDefFile);

設定すべきプロパティの見つけ方:

# ChunkDefinitionsというのが設定ファイル用クラスなので、chunkでレプリケーターの設定ファイルをgrepしてみる
$ grep chunk conf/static-service_name.properties
# Path to the chunk definition file. If the file is not provided or is not
replicator.extractor.parallel-extractor.ChunkDefinitionFile=/path/to/chunks.csv
# How many rows should be handle in one chunk
replicator.extractor.parallel-extractor.chunk_size=2000
2
  • こちら(continuent.com)がそのドキュメントの様ですね。 調べていてRestrict replication to specific schemas and tables というのを見かけたのですが、parallel-extractorにも使えるのかはわかりませんでした。
    – fliedonion
    2014年12月8日 8:10
  • @fliedonion ちゃんとドキュメントが! ありがとうございます。 "Restrict replication..." で説明されているreplicateプラグインは既に使っているにも関わらずエラーになっていたので、そこに処理が到達する前に起きていた問題のようです。
    – ento
    2014年12月8日 9:50

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。