Confluent | 創業者からの手紙

"a fox knows many things, but a hedgehog knows one big thing. (キツネは多くのことを知っているが、ハリネズミは大事なことをひとつだけ知っている。)" という言葉があります。Confluentは非常に大きなことを知っている会社であり、それを知るに至った経緯を少しお話ししたいと思います。

私がこの分野に足を踏み入れたのは、2000年代後半にLinkedInでデータインフラの再構築を支援していたときです。当時は、分散システムやクラウドインフラを構築するための実践的な知識に革命が起きていましたが、商業的にもオープンソースとしても利用できるものはほとんどありませんでした。必要なものはゼロから作らなければなりませんでした。

当時、私たちが驚いたのは、データを保存するための技術は100種類以上ありますが、私たちが最も必要としているのは、データの保存の問題ではないということでした。私たちが必要としていたのは、グローバルなソーシャルネットワークを構成するさまざまなアプリケーションやデータストアを1つの一貫したシステムに統合することでした。このシステムは、相互に接続されたソフトウェアシステムの複雑な構造の中で発生するすべてのことに継続的かつリアルタイムに反応し、対応することができます。このニーズはよくある問題のように思えたので、きっとそれに対応する製品や技術があるはずで、私たちが知らないだけだと思っていました。しかし、そんなものはありませんでした！私たちは何年もかけて、既存の製品を試したり、コンピュータサイエンスの論文を読んだり、このテーマについてブレインストーミングを行いました。その結果、「既製のソリューションは存在しない」ということがわかりました。さらに驚いたことに、この問題は統一されたデジタルビジネスを実現するための核心であるにもかかわらず、データストレージやデータベースに比べて、商業的にも知的にもほんのわずかしか投資されていませんでした。このことに気づいた私たちは、開発に着手しました。

後にConfluentの共同創業者となるJun Rao、Neha Narkhede、そして私の3人で構成された小さなチームは、Kafkaという社内システムの初期バージョンを構築しました。Kafkaは、LinkedInの初期のユースケースとして、何十億ものメッセージのデータストリームを処理するために大規模に展開されました。しかし、その時も私たちの野望はもっと大きかったのです。Kafkaはオープンソースとして開発されましたが、1つの企業の1つのユースケースに対応するだけでなく、それ以上のことを実現したいと考えていました。何年もかけてソフトウェアを改良し、何百、何千ものユースケースに対応できるようにして、Apache Software Foundationに寄贈し、シリコンバレーの技術界で最初に採用されたユーザーと開発者のコミュニティの構築を支援しました。

そして、他の企業も同じ問題に悩んでいることがわかり、大手ハイテク企業の多くが、現在では「Data in Motion」と呼ばれる、リアルタイム・ストリームを中心としたアーキテクチャに移行し始めました。

これらのハイテク企業は、エンドツーエンドでソフトウェアに完全に表現されたビジネスを行う最先端の企業でした。その結果、彼らのアプリケーションは大きく変わりました。それは、単にバラバラのパーツで構成されているのではなく、すべてのソフトウェアが統合されていなければならないからです。ソフトウェアのすべての部分が統合され、ユーザーとの対話や基本的なビジネスプロセスの実行など、ビジネスの活動を遂行しなければなりませんでした。このような企業では、データは山積みになっているだけでは不十分で、常に必要としている他のソフトウェアシステムとの間で継続的に流れていかなければなりません。

私たちは、シリコンバレーのハイテク企業だけでなく、さまざまな企業と話をするようになりましたが、彼らも同じ問題に直面していることがわかりました。彼らは、ビジネスのデジタル面を進化させ、既存のアプリケーションと新しいイニシアチブを統合しなければならないという同じプレッシャーを抱えていました。しかし、そのためのインフラが整っていないのです。私たちは、ハイテク企業の新たな青写真が、やがてすべての企業の青写真になることを知っていました。そして、この機会を見逃すわけにはいかないと考え、Confluentを設立しました。

Confluentは、外から見ると急成長した会社のように見えますが、ある意味ではその通りです。私たちは、目の前にある機会の全容を真剣に受け止め、それを捉えられるようにできるだけ早く規模を拡大したいと考えています。しかし、別の意味では、私たちは会社よりも古くから存在する計画に対して、非常に慎重に行動しています。私たちが作ろうとしたもの、そして今も作っているものの多くは、会社設立当初のピッチデッキに書かれていたものです。大規模に運用できるソフトウェアシステムを構築し、企業の基盤となる役割を果たすことは、長期的な旅です。私たちは幸運にも、注目に値する問題を抱え、この目標を達成するために何年もかけて慎重に構築されたチームを持っています。私たちは、何が可能かということについて、まだ非常に初期の段階にいると考えています。

今日、企業のデータアーキテクチャは、物理的な不動産や組織図、その他のビジネスの青写真と同様に、企業の運営において重要なものとなっています。データアーキテクチャは、最新のデジタルカスタマーエクスペリエンスの基盤であり、ソフトウェアを活用してインテリジェントで効率的なオペレーションを実現する鍵となります。この点を正しく理解している企業は、今後数十年の間に各業界のリーダーとなるでしょう。私たちは、データインフラの中心には、発生したデータを活用する(Data in Motion)ための基盤となる欠けた層があることを知っています。これは、企業のアーキテクチャの次の進化において重要です。この新しいスタックは、すべての企業の中枢神経系として進化し、現代のデータの世界で最も戦略的な唯一のレイヤーになると考えています。

Confluentは、その目標を達成するために作られた会社です。私たちは、データを動かすため(Set Data in Motion)にここにいます。

Jay Kreps

最高経営責任者兼共同創業者

Source: S-1/A

S-1/A