自分はデータエンジニアから脱出できないかもしれない
こんばんは。
タイトルの通り便所の落書きみたいなポエムです。
データエンジニアリングは確かに重要だ
分析するのに最初から綺麗なデータじゃないからうんぬんかんぬん。
そらそうだ。
問題はここから。
データエンジニアリングにおけるツールが爆発的に増えている
ここが、最大の問題で、分析ツールを使うためのデータに整形するためにツールを使わなければならなくなってきており、ツールを組み合わせるみたいにやっていける人はクラウドアーキテクトなどを目指していけるのかもしれないが、逆に言えばそういうところをやっていくことが目的になっていく。
ということで、データ事業の分業化がデータエンジニアリング領域はこのアジャストに時間が取られていて、データの分析自体はデータサイエンティストに依頼(しかも、だいたいこの領域の主管が他社だったりすることが多く、そもそもここへの転職ができないからデータエンジニアになるしかない状況となっている。)
キャリアパスの間違い
一昔前はデータエンジニアのキャリアパスとして
データエンジニア→データサイエンティスト
とあげられたりしたものですが、今となっては当てはまらないと思います。
そもそも、「サイエンスってなんだよ。」なので、自分としてはデータ分析官を想定していますが、このパスは相当狭いと思った方がよいです。データエンジニアはどちらかというとクラウドアーキテクトかデータベーススペシャリストになっていかざるを得ない。それ以外はおそらく推奨されなくなります。
プラットフォームツールの乱立
このデータエンジニアの最終地点は結局、似たようなプロダクトの自社制作エンジニアになるんじゃないかと思います。
これには理由があって、どこかでプロダクトに対する不満があって、カスタマイズを必要とすることが出てくるはずです。その解決方法を作るのがうちらなのかなと。
いまは使っているプロダクトの使いやすさを実務で使って、わちゃわちゃやる感じなのかな。宗教戦争と言ってもいいのかもしれないが、
ただし、宗教戦争はどこいってもある。
おそらく、データ分析者になれたとしても、同じようなことになるんだと思います。(想像の域を出ないためここからは書いてる人の妄想100%でお届けします。)
・データエンジニア領域に関わらない仕事が増えてしまうため、データエンジニアリングの経験が足りない(つまりツールとかが使えないので、データができていないと何もできないという退化)
・アルゴリズムについても、まだ◯◯つかってんのダセーという考えが出始める可能性(そもそもこれも前例踏襲で変えられないケースの可能性が高い+管轄外なので手のつけようがない)がある。
感想(まとめになってないので)
分業化はバベルの塔か?結局、誰も得しない結果になって、金にならないからやめようというオチ。別の金稼ぎの方法を考えた方がよさそうじゃないかな。。。