見出し画像

D.A.G.G.E.R. Litepaper のガイド（パート2）

raa

この記事はGenesysGoによる「Guide to the D.A.G.G.E.R. Litepaper, Part 2」を日本語に機械翻訳したものです。

ようこそ

GenesysGoのDirected Acyclic Gossip Graph Enabling Replication Protocol（D.A.G.G.E.R.）の世界への教育的な旅を続ける、3部構成の「Litepaperガイド」ブログシリーズの第2回へようこそ（第1回の日本語訳はこちら）。このシリーズでは、D.A.G.G.E.R. Litepaperの各セクションを分解し、複雑な詳細を解き明かし、D.A.G.G.E.R.の膨大な可能性を明らかにしています。この第2回の投稿では、Litepaperのセクション3をカバーし、D.A.G.G.E.R.のShdwDrive実装に関する追加の明確化を行い、これによってWeb2およびWeb3アプリケーションのためのデータ可用性プロトコルが完全に形成されます。データを安全に保存する方法について、消去符号化を使用する方法についての詳細を提供し、モバイルネットワークを使用してネットワークを監査および保護する初めての設計の一端を垣間見ることができます。D.A.G.G.E.R.のコンセンサスとモジュールの技術的な詳細については、D.A.G.G.E.R. Litepaperの完全版を参照してください。

セクション3 - ShdwDrive

Litepaperのセクション3では、D.A.G.G.E.R.とShdwDriveの融合に焦点を当てています。このセクションは、セクション3.1「エグゼクティブサマリー」とセクション3.2「モバイルネットワーク」で構成され、どちらも一般の読者向けに書かれています。技術的な背景を持たない読者の方々に、このLitepaperのセクションを読むことをお勧めします。これは、次に話すことの基盤となるためです。ShdwDrive v2のビジョンをより明確にするために、この第2部のガイドでは、ShdwDrive v2の基本、D.A.G.G.E.R.コントローラーモジュールによる消去符号化の説明、そしてShdwDrive v2を新しいデータ可用性プロトコルとして確立するためにモバイル電話が果たすエキサイティングな役割のさらなる説明を行います。GenesysGoのShdwDrive v2に馴染みがない方のために、これはWeb2およびWeb3の両方に適した分散型の高性能でスケーラブルなオブジェクトストレージソリューションです。現在、テストネット開発段階にあり、ここでファイルのアップロードやテストトランザクションの送信をテストすることができます。ShdwDrive v2は大規模なデータ可用性（ストレージ）に最適化されており、D.A.G.G.E.R.コンセンサスエンジンに実装され、SDK、CLI、S3-APIと組み合わせて、プロトコル上での開発を可能な限り容易にするように設計されています。ShdwDrive v2のロードマップについてもっと学ぶためには、ロードマップ概要（日本語訳）の投稿をご覧ください。

セクション3.1 - エグゼクティブサマリー

Litepaper内のエグゼクティブサマリー（セクション3.1）は、ShdwDrive v2についての非技術的な優れた紹介を提供しています。皆さんに是非読んでいただきたいと思います！セクション3.1の最後の段落では、一般的なアーキテクチャと革新的な消去符号化スキームについて触れています。ShdwDrive v2の技術的設計の大部分は将来のホワイトペーパーでカバーされますが、消去符号化や監査などの内部についていくつかの情報を提供します。それを行う前に、セクション3.1-3.2の要点について簡単に要約した箇条書きをここに示します。

  • リモートデータストレージは、デバイス間で情報にアクセスしたり他者と共有したりする方法を大きく変えています。これにより、デバイスが故障してもデータを回復できます。

  • リモートストレージ提供者は、重要なデータバンクとなっています。ユーザーは、信頼してデータの保存と取得を任せています。

  • ソリューションは、安全であり、いつでも利用可能で、プライバシーを保護する必要があります。リモートストレージの使用が指数関数的に増加する中で、これらのニーズは重要です。

  • 2025年までに、160ゼタバイト（1兆ギガバイト）以上のデータがストレージを必要とし、多くが公共のクラウドに保存されます。

  • 保存されるデータの多くは、財務、顧客、医療記録などの機密情報です。2023年の調査では、回答者の75%がクラウドデータの40%以上が機密情報であると答えました。

  • 現代のシステムは、プライバシーの保証、必要時のアクセス、データの耐久性を保証しなければなりません。

  • GenesysGoのD.A.G.G.E.R.システムは、これらのニーズに対応する分散型データ可用性レイヤーを提供します。分散型設計により、単一障害点がありません。

  • ShdwDrive v2は、D.A.G.G.E.R.を実装しており、データ可用性レイヤーとしてユーザーに完全な制御とプライバシーを提供します。暗号化によりプライバシーが保証され、データ侵害を防ぎます。

  • ShdwDrive v2は、効率的なストレージと耐久性のためにハイブリッド消去符号化を使用します。

  • ShdwDrive v2は、効率的なストレージと高速なパフォーマンスを通じて、冷蔵アーカイブとホットデータベースの両方に対応することを目指しています。

  • ShdwDrive v2の使用を開始し、切り替えるのは簡単です。AmazonのS3と互換性があり、主要な言語のソフトウェアキットがあります。

  • 一度の支払いで不変のストレージを実現し、恒久的な低コストのレコード、資産アーカイブ、ブロックチェーンデータストレージを可能にします。

  • 多様な用途に柔軟に対応 - 暗号化データ、研究データセット、高需要CDN、アーカイブニーズ、AIトレーニングデータなど。

  • スマートフォンやタブレットは、5Gのおかげでリモートストレージに必要なパワーと帯域幅を increasingly しています。それらの容量は大部分が未活用のままです。

エグゼクティブサマリーでは、D.A.G.G.E.R.に基づいて構築されたShdwDriveの機能についての高レベルの概要が提供されています。特に言及されている重要な技術は、効率的なストレージとデータ耐久性を可能にする革新的なハイブリッド消去符号化スキームです。消去符号化とは、元のデータをシャードにエンコードし、それらをノード間で冗長に分散することを指します。これにより、いくつかのシャードが失われたり破損したりしても、再構築が可能になります。ShdwDrive v2では、コントローラーモジュールがコンセンサスシステムからシャードが到着する際に、消去符号化アルゴリズムを実行します。データはこの消去符号化スキームを使用して、分散型ネットワーク内のストレージノードまたは「Wield」ノードにシャード化されて分散されます。分散型消去符号化システム内では、データが適切に分散されていることを検証し、品質監査を行うことは軽量ながら重要なタスクです。

ここで、モバイルデバイスの監査機能が重要な役割を果たします。監査ノードとして参加することにより、モバイルデバイスはストレージノード間で分散された消去符号化されたデータシャードの整合性を検証することができます。監査者は、Wieldノードから発行される証明を計算し、データの可用性、一貫性、正確性を保証します。モバイルデバイスの役割は時間とともに拡大するでしょうが、その初期統合により、革新的な消去符号化スキームの監査を行うことは重要な第一歩です。次のセクションでは、ShdwDriveの消去符号化設計について詳しく説明し、モバイル監査への理解へと導きます。

消去符号化

リード・ソロモン消去符号化は、D.A.G.G.E.R.のShdwDrive実装の重要なコンポーネントです。これは、データの耐久性と高いストレージ効率を確保するために使用されます。リード・ソロモン消去符号は、エラー訂正アルゴリズムの一種で、データの一部が破損したり失われたりしても元のデータを再構築できるようにします。これは、ShdwDrive v2のような分散システムでは特に有用です。ここでは、データが複数のノードにまたがって保存され、データの損失や破損のリスクは無視できないからです。

D.A.G.G.E.R.のShdwDrive実装において、コントローラーは次の方法でリード・ソロモン消去符号化を実行します：

  • データシャーディング：元のデータは小さなピース、いわゆるシャードに分割されます。各シャードはリード・ソロモン消去符号を使用してエンコード（暗号化）されます。このプロセスは、データの効率的な保存と取得にとって重要です。シャードのサイズは、テストネット調整段階でのシステムのサイズや要件に基づいて調整/チューニングすることができます。

  • メタデータとシャードデータベース：各オペレーターノード（Wieldノード）は、メタデータとシャードから成る二重のデータベースを維持します。メタデータには、シャードのsha256ハッシュなど、シャードに関する情報が含まれており、これは破損したシャードを特定するために使用されます。このメタデータはシステム内のすべてのWieldノードにレプリケートされます。

  • 消去符号化とレプリケーション：シャードは、セキュリティを確保し、効率と冗長性のバランスをとるために、ハイブリッド消去符号とレプリケーションスキームを使用してシステム全体に分散されます。

  • データ復旧：データの損失や破損が発生した場合、リード・ソロモン消去符号がデータ復旧のために活用されます。消去符号により、残っている未破損のシャードから元のデータを再構築できます。システムは、保存されているシャードデータのsha256ハッシュを使用して、破損したシャードを特定します。特定された破損したシャードは、リード・ソロモン復号アルゴリズムを使用して修復または交換されます。リード・ソロモン消去符号は厳格な修復保証を提供するため、分散システムでの消去符号化に実用的な選択肢となります。

このスキームは、高いストレージ効率を確保するだけでなく、いくつかのシャードが失われたり破損したりしても元のデータを再構築できることにより、データの耐久性を向上させます。D.A.G.G.E.R.のShdwDrive実装では、特性2有限体上でのリード・ソロモン消去符号のエンコーディングとデコーディングに新しいアプローチも使用されています。このアプローチは、加算および乗算の複雑さでO(nlog2(n))の複雑さをサポートします。これは、従来のリード・ソロモン消去符号のO(N^2)という複雑さに比べて大幅な改善です。フルホワイトペーパーを公開する際には、消去符号化の正確な実装が技術的な詳細でカバーされます。現時点では、比喩を使ってこれがどのように機能するかを説明することができます。

ニューヨークからロサンゼルスへ大切な家族の写真アルバムを送ると想像してみてください。しかし、それを一つのパッケージで送る代わりに、各写真のコピーを作成し、複数のパッケージで送ることにします。これは、パッケージが旅の途中で失われたり破損したりしても、目的地でアルバム全体を再構築できるようにするためです。これはリード・ソロモン消去符号が機能する方法に似ています。データを複数の「シャード」に分解し、いくつかのシャードが失われたり破損したりした場合に元のデータを再構築するのに役立つ追加の「パリティ」シャードを追加します。

それでは、複雑さの部分について話しましょう。ジグソーパズルを解こうとしていると想像してみてください。従来のリード・ソロモン消去符号は、ピースのすべての可能な組み合わせを試すことによってパズルを解くようなもので、多くの時間がかかる可能性があります（O(N^2)）。しかし、私たちが使用している新しいアプローチは、各ピースがどこに行くかを正確に教えてくれるガイドを持っているようなもので、プロセスをはるかに高速にします（O(nlog2(n)）。この「ガイド」は、特性2有限体上でのリード・ソロモン消去符号の新しいエンコーディングとデコーディングアルゴリズムの結果です。有限体は、コンピュータ（バイナリ）計算に適している特別なタイプの代数構造です。

本質的に、私たちはあなたの写真アルバム（データ）を複数のパッケージ（シャード）で、いくつかの余分なコピー（パリティシャード）を使用して送り、目的地でアルバムを再構築するためにより速い方法（新しいエンコーディングとデコーディングアルゴリズム）を使用しています。これにより、途中で何か問題が発生したとしても、あなたの貴重な思い出（データ）が効率的に保存されるだけでなく、安全に配信されることが保証されます。

この新しいアプローチは、リード・ソロモン消去符号のエンコーディングとデコーディングに関連する計算オーバーヘッドを削減するため、実用的なアプリケーションにおいて有利です。これにより、ShdwDrive v2のパフォーマンスと、それがD.A.G.G.E.R.コンセンサスプロトコルを利用する方法が向上します。さらに、D.A.G.G.E.R.システムからトランザクションのブロックが到着すると、それらはコンセンサスによって順序付けられ、その後Wieldノード内のユーザーによって安定的にソートされます。これにより、トランザクションの並列化可能なサブブロックが生じ、順次実行者であれば存在するであろうリード・ソロモンエンコーディングのボトルネックを解消し、水平方向のスケーリングを可能にします。この概念はブロック全体に拡張され、各ユーザーのためのトランザクションのストリームが作成されます。この最適化により、ShdwDrive v2のD.A.G.G.E.R.実装のパフォーマンスがさらに向上します。この低い計算オーバーヘッドは、特に監査ノードとして機能することにより、モバイルネットワークの参加を重要な方法で可能にします。

セクション3.2 - モバイルネットワーク（監査）

上述の計算オーバーヘッドの削減は、ShdwDriveのパフォーマンスを向上させるだけでなく、モバイルデバイスに監査における重要な役割を果たさせることも可能にします。モバイルデバイスは、その広範な使用と、非同期監査者として組み込むための私たちの設計により、D.A.G.G.E.R.のWieldノード内のデータの完全性を検証するユニークな位置にあります。モバイルデバイスは、独自のペースでデータの破損と複製をチェックできるため、この分散システムにおいて効果的です。

さらに、D.A.G.G.E.R.プロトコルの監査アルゴリズムの低エネルギー消費は、モバイルデバイスが環境に大きな影響を与えることなくネットワークに貢献できることを可能にします。これは、モバイル技術をネットワークに統合するだけでなく、モバイルデバイスのユニークな利点を活用してシステムの回復力と検証可能性を高めることについてです。このアプローチは、参加を民主化するだけでなく、より持続可能で効率的で信頼性の高い分散システムに寄与します。

5Gの登場と今後の6G技術の発展により、モバイルデバイスはますます強力で高機能になっています。今日のハイエンドスマートフォンの仕様が、わずか10年前のパーソナルコンピュータと比較できるほどであることは注目に値します。この技術進歩と、世界中でアクティブに使用されている75億台以上のスマートフォンの膨大な量は、D.A.G.G.E.R.やそのアプリケーションであるShdwDrive v2のような分散システムにとって、巨大な未活用の潜在能力を示しています。

最もローカルなレベル、つまりユーザーのモバイルデバイスにおけるコンピューティング能力の急速な進歩は、データ管理の世界を革命的に変えています。毎日、これらのデバイスは複雑な計算や大容量のタスクを扱う能力を高めています。このことを考えてみてください：データを処理し、やり取りする速度には限界があります。人間は一定のペースでしかデータを読んだり、書いたり、ストリーミングしたり、アクセスしたりできません。しかし、私たちのポケットに入っているモバイルデバイスのパワーは、私たちの物理的なニーズを上回る点に急速に近づいています。このローカルコンピューティングパワーの余剰を適切に活用し、分散型プロトコルに統合すれば、可能性の世界が開かれます。これは、将来のデータの管理とやり取りの方法を再定義するユニークな機会を提供します。

しかし、モバイルデバイスをそのようなネットワークに統合することは、単にスイッチを切り替えるほど単純なことではないと理解することが重要です。特にバッテリー寿命や稼働時間に関する課題があります。しかし、D.A.G.G.E.R.アーキテクチャの美しさは、監査ノードとしての役割から始めて、モバイルデバイスを段階的に統合することができる点にあります。モバイル監査ノードは、分散型ストレージプロトコルの分野におけるユニークで革新的なコンセプトです。基本的に、これらはモバイル電話のユーザーが、Wieldノードとしても知られるストレージノードの品質と正確さを監査し、検証することによってネットワークに参加することを可能にします。多くの他のモジュールタスク（Litepaperを参照）に加えて、これらのWieldノードは消去符号化されたデータを保存する責任があり、その品質、一貫性、可用性、セキュリティはネットワーク全体の健全性にとって非常に重要です。Wieldノードによって生成されたShdwDrive v2ネットワークから証明を計算することにより、これらの監査ノードは、保存されたデータの整合性とセキュリティを保証する上で重要な役割を果たします。

そして、最も良い部分は？監査ノードとして参加するモバイル電話ユーザーは、その貢献に対して報酬を受け取ります。これは参加を促進するだけでなく、スマートフォンを持つ誰もが貢献できるようにすることでネットワークを民主化します。したがって、モバイルデバイスをShdwDriveのデータの保存とアーカイブにおける積極的な参加者として活用するという最終的なビジョンはまだいくつかの段階を経て実現するかもしれませんが、監査ノードとしての即時統合は重要で画期的な第一歩です。

このアプローチにより、D.A.G.G.E.R.は世界中のモバイルデバイスの大幅に未活用のリソースを活用すると同時に、ユーザーにネットワークへの積極的な参加と利益を得る機会を提供します。大局的に見ると、モバイルデバイスのこの統合は、私たちが個人デバイスをどのように見て使用するかにおいてパラダイムシフトを表しています。もはやそれらは通信や娯楽のための道具だけではありません。代わりに、それらはグローバルで分散型のネットワークへの積極的な貢献者となり、前例のない規模でのデータストレージのセキュリティと検証を支援します。モバイルデバイスは、データ可用性の未来の要求に貢献することにより、さらに大きな個人的資産となります - 世界的に作成され保存されるデータの品質と正確さという根本的に重要なものを民主化します。これがデータストレージの世界に与える潜在的な影響は本当に革命的です。

モバイルが重要な理由：

まず、モバイルデバイスを統合することで、スマートフォンを持つ誰でも簡単に監査ノードになり報酬を得ることができ、参加を民主化します。これは、データ可用性プロトコルを包括的でアクセスしやすいものにする大きな変化を示しています。

第二に、アイドル状態のモバイルデバイスの広範な未使用の処理能力は、実世界のエネルギーおよびストレージ要求に対処する機会を提供します。D.A.G.G.E.R.の効率的な設計により、モバイルは高いエネルギーコストなしに貢献でき、持続可能な分散システムの新しい基準を設定します。

さらに、これほど大きな潜在的な監査員プールを活用することで、ビジネスはストレージコストを削減し、コミュニティ参加を通じてマーケティングの機会にアクセスできます。しかし、真の影響は、この統合が世界中の一般ユーザーにグローバルな分散型ネットワークの確保において積極的な役割を果たす力を与える点にあります。彼らのモバイルデバイスは、データの可用性とプライバシーの未来を推進する個人的な資産となります。このアプローチは、デジタル世界における個人技術の見方と利用方法を再定義することになるでしょう。

要約すると、モバイルを統合することは革命的です - それは参加を民主化し、エネルギー効率を開拓し、ビジネスインセンティブを提供し、そして何よりも、世界中の人々がデータストレージの未来に直接貢献し、その恩恵を受けることを可能にします。

結論：

この記事では、ShdwDriveによって使用される消去符号化アプローチとデータの分散方法について詳しく掘り下げました。データを保存するWieldノードとモバイルリソースを活用する監査ノードの役割に焦点を当てました。最後に、これらの設計選択をクラウドストレージの課題解決への意味のある道筋と結び付けました。私たちは、ShdwDriveが何を異なるものにし、有用であり、現実世界の問題を解決する能力を持っているのかをより深く伝えるのに役立つ、これらの設計の主要な側面を共有できることを嬉しく思います。

私たちは、D.A.G.G.E.R. Litepaper Guideに関する3部構成のシリーズのこの第2回を読んでいただいたことに感謝します。私たちは、ShdwDriveホワイトペーパーの最終リリースに向けて、設計についてさらに詳しく説明し続けます。次回の投稿をお楽しみにしてください。そこでは、ShdwDriveの一般的な高レベルアーキテクチャ（ノードの役割やSHDWトークンを含む）について議論し、その後、Litepaperのセクション4を掘り下げ、D.A.G.G.E.R.の他の使用例について探求します。

この記事はGenesysGoによる「Guide to the D.A.G.G.E.R. Litepaper, Part 2」を日本語に機械翻訳したものです。


この記事が気に入ったらサポートをしてみませんか？