Terraformで作ったGlueのテーブルに対してAthenaでShow Create Tableができない問題の対処
普段Terrafromでテーブルの管理をすることがあるのですが、テーブルを作成し適用したところshow create tableがAthenaよりできませんでした。
エラー内容としては、Null Pointer Excepitonが発生してしまう様な状態でした。
最終的には以下の形に落ちつたいのですが、
resource "aws_glue_catalog_table" "hoge_pekepek" {
name = "pekepek"
database_name = "hoge"
table_type = "EXTERNAL_TABLE"
parameters = {
EXTERNAL = "TRUE"
}
partition_keys {
name = "dt"
type = "string"
}
storage_descriptor {
location = "s3://hogehoge.com/data/hoge.db/pekepek"
input_format = "org.apache.hadoop.mapred.TextInputFormat"
output_format = "org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat"
number_of_buckets = -1
ser_de_info {
serialization_library = "org.openx.data.jsonserde.JsonSerDe"
parameters = {
"ignore.malformed.json" = true,
"serialization.format" = "1"
}
}
columns {
name = "various"
type = "string"
}
}
}
最初はなにが悪いのかさっぱりでした。
修正前のコードですが
nameというプロパティーを使ってserdeのタイプを指定していました。
しかし、この方法だと、うまくいく時もあればうまくいかない時もある様で
同等のコードである
"serialization.format" = "1"
を指定することで問題は解決しました。
resource "aws_glue_catalog_table" "hoge_pekepek" {
name = "pekepek"
database_name = "hoge"
table_type = "EXTERNAL_TABLE"
parameters = {
EXTERNAL = "TRUE"
}
partition_keys {
name = "dt"
type = "string"
}
storage_descriptor {
location = "s3://hogehoge.com/data/hoge.db/pekepek"
input_format = "org.apache.hadoop.mapred.TextInputFormat"
output_format = "org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat"
number_of_buckets = -1
ser_de_info {
serialization_library = "org.openx.data.jsonserde.JsonSerDe"
name = "ROW FORMAT SERDE" <----------ここが上だとserialization.format
parameters = {
"ignore.malformed.json" = true,
}
}
columns {
name = "various"
type = "string"
}
}
}。
この記事が気に入ったらサポートをしてみませんか?