【AIエンジニアの進化：今知っておくべきこと】英語解説を日本語で読む【2023年9月27日｜@Dave Ebbelaar】
伝統的な機械学習エンジニアと新しい時代のエンジニアの違いは、ソフトウェアエンジニアリングのスキルと事前学習済みの言語モデル利用能力にある。新型エンジニアはソフトウェアの技術とデータサイエンティストの思考が要求され、事前学習モデルはユーザーの入力次第で変わるため、境界設定と検証が必須。また、バックエンド、フロントエンド、データ処理の各スキルが必要。ジェネレーティブAIが話題となる中、伝統的なデータサイエンスの知識も継続して重要である。
公開日：2023年9月27日
※動画を再生してから読むのがオススメです。
In my opinion, there are really two main differences if you compare the more traditional machine learning engineer and the new age machine learning engineer who's working with generative AI.
私の見解では、従来の機械学習エンジニアと、生成的AIを取り扱う新時代の機械学習エンジニアを比較すると、実際には2つの主な違いがあります。
So, the other day, I was watching the Pine Cone AI Transformation Summit and in there, I heard this notion of the new age machine learning engineer, and this was a new term to me but it resonated really well with me based on the projects that I've been working on over the past couple of months.
この間、Pine Cone AI変革サミットを視聴していました。そこで新時代の機械学習エンジニアという概念について聞きました。私にとっては新しい言葉でしたが、過去数ヶ月で取り組んできたプロジェクトを基にとても共感しました。
So, in this video, I want to quickly highlight what, in my opinion, this notion of a new age machine learning engineer is like, what kind of skills do you need, how is it different from a traditional machine learning engineer, and what kind of projects do you work on?
ですので、このビデオでは、新しい時代の機械学習エンジニアの概念がどのようなものか、どのようなスキルが必要か、従来の機械学習エンジニアとはどのように異なるか、どのようなプロジェクトに取り組むかを簡単に紹介したいと思います。
And overall, how do you add value to a business?
そして全体として、ビジネスにどのように価値を付加するのか？
So, for those of you that are new here, my name is Dave Abelar and I'm the founder of Data Lumina, which is a data intelligence coaching and consulting business.
初めての方々へ、私の名前はデイブ・アベラールで、Data Luminaというデータインテリジェンスのコーチングおよびコンサルティングビジネスの創設者です。
And what I've really noticed in this shift, basically from traditionally doing more data science work, so the classical classical machine learning projects, in my opinion, there are really two main differences if you compare the more traditional machine learning engineer and the new age machine learning engineer who's working with generative AI.
そして、私がこの変化で本当に気づいたことは、従来のデータサイエンスの仕事、つまり古典的な機械学習プロジェクトから、新しい時代の機械学習エンジニアがジェネレーティブAIと一緒に作業する場合、実際には2つの主な違いがあるということです。
And the first point is that you need more software engineering skills.
最初のポイントは、もっとソフトウェアエンジニアリングのスキルが必要であるということです。
I've been trained as a data scientist and as I was taken on these generative AI projects, what I've really found is this difference of the more in the more classical machine learning approach.
私はデータサイエンティストとして訓練を受けていましたが、これらの生成的AIプロジェクトに取り組む中で、従来の機械学習アプローチの違いを真に認識しました。
You have these algorithms and you train them with your own data or company data to make them specific to solve a problem, and then you try to find the best algorithm, you try to find the best data, and that is how you build your machine learning solution.
これらのアルゴリズムを持っていて、自分自身のデータや企業のデータでそれらを訓練し、問題を解決するために特定のものにすること、そして最適なアルゴリズム、最適なデータを見つけること、それがあなたの機械学習ソリューションを構築する方法です。
But now, since we now have these generative AI models that are pre-trained, what we do is we interact with them via various APIs.
しかし、事前に訓練されたこれらの生成的AIモデルを持つようになった今、私たちは様々なAPIを介してそれらと対話します。
And since the main way right now that we build these applications is we use a process of retrieval augmented generation, where we use Vector databases to store our data and then do a retrieval.
現在私たちがこれらのアプリケーションを構築する主な方法としては、リトリーバル増強生成というプロセスを使用して、ベクターデータベースにデータを保存し、リトリーバルを行います。
And then pass that as like an input to the large language module.
そして、それを大きな言語モジュールへの入力のように渡します。
And if you want to learn more about that, then I highly recommend checking out my previous video.
それについてもっと学びたい場合は、私の前のビデオをチェックすることを強くお勧めします。
But that is the overall main process.
しかし、それが主要なプロセスです。
So without going into much of the technical details, what this basically means in simple terms is that you have to connect a lot of services together.
多くの技術的な詳細には踏み込まずに、これは基本的に多くのサービスを接続しなければならないということを単純な用語で意味します。
For example, you have your vector database, you have your large language model API, and to get to an answer, you have to first get a query from the user, then pass it on to the vector database, retrieve it, send it to the language model, then you get back your answer.
例えば、ベクターデータベース、大きな言語モデルAPIを持っており、回答を得るためには、まずユーザーからのクエリを取得し、それをベクターデータベースに渡して取得し、それを言語モデルに送信し、回答を取得します。
And then you maybe want to store that somewhere.
そして、それをどこかに保存したいかもしれません。
And you're essentially just building out a whole application with various moving data parts that each do their own thing.
そして、基本的には、それぞれが独自のことを行うさまざまな動くデータ部分を持つ全体のアプリケーションを構築しています。
And maybe in between, you want to build some custom logic, so you add some custom functions.
そしてその間に、カスタムロジックを構築したい場合は、カスタム関数を追加します。
It's more focused on actually building applications than it is really on training and tuning machine learning models and algorithms.
実際にアプリケーションを構築することにもっと焦点を当てて、機械学習モデルやアルゴリズムの訓練や調整よりも実際には。
That's where this notion of software development and the skills required for that really come from.
ソフトウェア開発のこの概念と、そのために必要なスキルが実際にどこから来るのか。
And I really had to brush up on a lot of areas.
私は多くの分野でスキルアップをしなければなりませんでした。
So for example, I've mainly used Python as my main programming language.
例えば、私は主要なプログラミング言語として主にPythonを使用してきました。
I still do, but I had to brush up on how to, for example, build quick web applications using Flask to make these endpoints available for applications.
まだ使用していますが、たとえば、Flaskを使用してこれらのエンドポイントをアプリケーションで利用可能にするための簡単なウェブアプリケーションを構築する方法など、いくつかのスキルアップが必要でした。
So that is like one of the main things.
それが主なポイントの一つです。
And also, just in general, working with APIs and how you connect all of that and working with the vector databases and streamlining that, putting in various checks in place, all stuff that you see in a typical software engineering project.
そして、一般的にAPIの操作方法や、それをどのように接続するか、ベクターデータベースの操作方法や、それを効率的に行う方法、様々なチェックを配置する方法など、典型的なソフトウェアエンジニアリングプロジェクトで見られるすべての内容。
I feel like the new age machine learning engineer leans more towards software engineering, but you need the mindset of a data scientist.
新しい時代の機械学習エンジニアは、ソフトウェアエンジニアリングにもっと傾斜しているように感じますが、データサイエンティストの考え方が必要です。
And why is that?
それはなぜですか？
And that, I think, brings us to point number two.
そして、それは私たちをポイント番号2に連れて行きます。
You have to learn how to work with these pre-trained language models, the pre-trained large language models that are out of the box already very capable, but not use case specific.
これらの事前に訓練された言語モデル、すでに非常に有能な事前に訓練された大きな言語モデルを操作する方法を学ばなければなりませんが、ユースケースに特化していません。
If you want to solve very specific business problems with these models, you have to make them specific.
これらのモデルを使用して非常に特定のビジネスの問題を解決したい場合、それらを特定のものにしなければなりません。
How do you do that?
どのようにしてそれを実現するのですか？
You add context, you add data through the process of retrieval augmented generation, for example.
コンテキストを追加し、リトリーバル増強生成のプロセスを通じてデータを追加します、例として。
But now here's the difference with software engineering.
しかし、ソフトウェアエンジニアリングとの違いはここにあります。
So as a software engineer, you are mainly trained to work on applications that are deterministic most of the time.
ソフトウェアエンジニアとして、ほとんどの場合、確定的なアプリケーションを操作するように訓練されています。
So what does this mean?
これは何を意味するのですか？
For example, when you create an API, you send a certain kind of request and you expect a certain output or you expect an action that is predictable, meaning you can repeat it, you can repeat those experiments, and you can put in testing in place.
例えば、APIを作成するとき、特定の種類のリクエストを送信し、特定の出力を期待するか、予測可能なアクションを期待します。これは、それを繰り返すことができ、それらの実験を繰り返すことができ、テストを行うことができることを意味します。
But now these pre-trained large language models, they are non-deterministic.
しかし、これらの事前に訓練された大きな言語モデルは、非確定的です。
You never know exactly what it is that you're going to get as a result.
あなたが結果として何を得るのかを正確には知らない。
Now you can play, of course, with the temperature setting, even to zero, to make the models less creative.
もちろん、モデルをあまり創造的でなくするために、温度設定をゼロまでプレイすることはできます。
But your outputs are also dependent on the user input.
しかし、あなたの出力もユーザーの入力に依存しています。
And for example, like one of the most common use cases right now for generative AI is building like internal data or enterprise data chatbots.
例えば、現在の生成的AIの最も一般的な使用例の一つは、内部データや企業データのチャットボットを作成することです。
So these are chatbots that companies use internally to ask questions about their own data.
これらは、企業が自社のデータに関する質問をするために社内で使用するチャットボットです。
Person A might ask a question one way.
人Aはある方法で質問をするかもしれません。
And then, colleague person B might ask a question in a slightly different way, where they essentially want to retrieve the same information.
そして、同僚の人Bは、基本的に同じ情報を取得したい場合でも、少し違う方法で質問するかもしれません。
Those both those queries can be interpreted and processed through the whole gen AI applications in two different ways, meaning that person one will maybe retrieve some part of the documentation from your vector database, and the Gen app will base its answers on that.
これらの両方のクエリは、全体のgen AIアプリケーションを通じて異なる方法で解釈および処理される可能性があり、その結果、人1はベクターデータベースからの文書の一部を取得し、Genアプリはそれに基づいて答えを出すかもしれません。
Whereas the other person might just based on the wording extract a different piece of data from the factor database and thus gets a different, different output.
一方、もう一人の人は、単語の使い方に基づいて、ベクターデータベースから異なるデータの部分を抽出し、異なる出力を得るかもしれません。
Now, where I was going with this, as a software engineer, you're not really used to these kind of applications because they're unpredictable.
これを言いたかったのは、ソフトウェアエンジニアとして、これらのアプリケーションは予測不可能なので慣れていないからです。
But, and that's why I said you need the mindset of a data scientist.
しかし、それがデータサイエンティストの考え方が必要だと私が言った理由です。
In data science and machine learning, this is pretty common.
データサイエンスや機械学習では、これは非常に一般的です。
In the sense that you train a machine learning algorithm, you put data into it, but you never really know what you're going to get in the beginning.
つまり、機械学習アルゴリズムを訓練し、データを入力しますが、最初は何が得られるか本当にわかりません。
You never really know how good the model is going to be.
モデルがどれほど良いかは本当にわからない。
And for example, when you're building a classification algorithm, as data scientists and machine learning engineers, we are aware of the fact that answers can be wrong.
例えば、分類アルゴリズムを作成するとき、データサイエンティストや機械学習エンジニアは、答えが間違っている可能性があるという事実を認識しています。
A model is never 100% correct.
モデルが100％正確であることはありません。
And the same is true for these large language models and gen apps in general.
これは、これらの大規模な言語モデルやgenアプリ全般にも当てはまります。
Like, they're still behind the scenes, they're machine learning models.
まるで、彼らはまだ舞台裏にいるかのようです。それらは機械学習モデルです。
They're trained machine learning models.
それらは訓練された機械学習モデルです。
And we influence them in the same way that we do with classical machine learning models.
そして、私たちは古典的な機械学習モデルと同じ方法でそれらに影響を与えます。
Means, we have a bunch of, we have some data, and we send it to the model, and we get an output.
つまり、私たちはデータの束を持っていて、それをモデルに送信し、出力を得ます。
So, I think that really highlights this difference.
だから、これが違いを本当に強調していると思います。
So, you need these software engineering skills to build these applications together.
これらのアプリケーションを一緒に構築するためには、ソフトウェアエンジニアリングのスキルが必要です。
But then, once it's in place, you really need the, the like, the experimental and debugging mindset of a data scientist.
しかし、それが実施されると、データサイエンティストの実験的でデバッグのマインドセットが本当に必要です。
So, as you start to experiment with these applications, you're going to run into problems where, for example, the model is not pro is just providing like wrong answers, either through hallucination or retrieving the wrong information from the factor database.
ですので、これらのアプリケーションを試してみると、例えばモデルが間違った回答を提供している、幻覚を起こしている、またはファクターデータベースから間違った情報を取得しているなどの問題に直面することになります。
And then, it's up to you as the new age machine learning engineer to figure out how to counter this.
それから、新しい時代の機械学習エンジニアとして、これにどのように対処するかを見つけるのはあなたの役目です。
So, that could either be through changing the structure of your Factor database, adding more metadata, adding more checks in place, maybe even adding an intermediate step where you let a large language model evaluate an answer before sending it back to the user.
それは、ファクターデータベースの構造を変更すること、メタデータを追加すること、より多くのチェックを追加すること、あるいは大きな言語モデルで答えを評価する中間ステップを追加することなど、さまざまな方法で行うことができます。
There are a lot of things that you can do, and you have to be really creative with this.
やることはたくさんあり、これに非常に創造的でなければなりません。
Really, like the sky's the limit here.
本当に、可能性は無限大です。
These applications are so powerful, but you have to instruct them and direct them in such a way that you, first of all, set the boundaries so they don't go overboard and start to hallucinate.
これらのアプリケーションは非常に強力ですが、あなたがそれらを指示し、誘導する必要があります。まず第一に、あなたが境界を設定して、彼らが暴走したり幻覚を見たりしないようにする必要があります。
But also, within the boundaries, you have to perform various checks to really make sure that the final result, the output that you are providing to the user, is correct.
しかし、境界内で、ユーザーに提供する最終結果、出力が正しいことを本当に確認するためにさまざまなチェックを実施する必要があります。
And now, of course, this becomes more and more important as you, for example, start to...
そして、もちろん、これはますます重要になります。例えば、あなたが始めると...
So maybe what you...
だから、あなたがやるべきことは...
What usually what companies do is they start internally, like I said.
通常、企業が行うことは、社内で開始することです。
What does this mean?
これは何を意味するのでしょうか？
You create applications to assist companies internally.
社内で企業をサポートするアプリケーションを作成します。
And then, the impact of an answer not being correct is very low because it's all internal.
そして、回答が正しくない場合の影響は非常に低いです。すべて内部ですから。
And you can put like fact checks in place where you link to reference, for example.
そして、例えば参照先にリンクするなど、事実確認を行うことができます。
And then, you can always have the employee do their own due diligence to really check and make sure that the answer is correct.
そして、従業員が答えが正しいかどうかを本当に確認するための独自の調査を常に行うことができます。
So, it's a helping tool.
だから、それは助けるツールです。
It can assist.
助けることができます。
But in the end, it's still the human that's responsible for the output, if you get what I'm saying.
しかし最終的には、出力に責任を持つのは人間です。私の言っていることがわかるでしょうか。
When you switch this to customer-facing applications, so for example, you create a customer support bot and you let your customers on your website, on your app, or whatever directly interact with this AI bot, with this large language model or this application, you really want to be sure that if the customer, for example, asks like, Hey, what's the return policy on this product that I just bought?
顧客対応のアプリケーションにこれを切り替えるとき、例えば、顧客サポートのボットを作成し、お客様に直接、ウェブサイトやアプリなどでこのAIボットやこの大規模言語モデル、またはこのアプリケーションと直接対話させる場合、顧客が例えば「この購入した商品の返品ポリシーは何ですか？」と尋ねた場合、その答えが正確であることを確認したいと思いますよね？
you really want to make sure that that answer is correct.
その答えが正しいことを確認することが本当に重要です。
Because otherwise, it could really have legal implications at some point, depending on the kind of information that you're using.
そうしないと、使用している情報の種類によっては、法的な影響を及ぼす可能性があります。
You could see how as companies start to rely on this new technology, that you really have to be aware of the impact that faulty and wrong answers could have on your customer experience.
企業がこの新しい技術に頼るようになると、誤った回答の影響について本当に意識しなければならないことがわかります。
So, with those two topics explained, to kind of recap, what I really see is this new age machine learning engineer.
それでは、これら2つのトピックを説明したので、簡単に要約すると、私が実際に見ているのは新時代の機械学習エンジニアです。
I feel like machine learning engineers now have an additional set of models in their toolkit.
機械学習エンジニアは今、彼らのツールキットに追加のモデルセットを持っていると感じます。
So, still, all of the other machine learning models are still relevant for specific use cases.
それでも、他の機械学習モデルは特定のユースケースにはまだ関連しています。
But we now also have the large language models, and they are a subset of machine learning models that machine learning engineers can use, depending on the use case.
しかし、私たちは今、大規模言語モデルも持っており、それは機械学習エンジニアがユースケースに応じて使用できる機械学習モデルの一部です。
They're definitely not a one-size-fits-all, but for certain use cases, they can be highly effective.
それらはワンサイズフィットすべてではないですが、特定のユースケースには非常に効果的です。
So, it's a new toolkit.
したがって、それは新しいツールキットです。
And with that new toolkit comes its own new rules and strategies and skills and overall things that you have to keep in mind.
その新しいツールキットには、新しいルールや戦略、スキル、そして考慮すべき全体的なことが伴います。
And that is just really understanding well how these large language models work, how we can set the boundaries, how we can use processes and tools like retrieval augmented generation to add context, how to really turn those very powerful tools into applications that you can use.
それは大規模な言語モデルがどのように動作するかを本当によく理解し、どのように境界を設定し、文脈を追加するための手法やツール、例えば取得拡張生成を使用する方法、これらの非常に強力なツールを実際に使用できるアプリケーションに本当に変換する方法です。
And then, we have the whole MLOps part.
そして、私たちはMLOpsの部分も持っています。
It's still the same for these gen applications.
これらのジェネリックなアプリケーションにとっても、それは同じままです。
And platforms like LangSmith are already putting great work into setting an example of how you can actually put evaluation and monitoring systems in place for gen applications.
LangSmithのようなプラットフォームは、ジェネリックアプリケーションの評価と監視システムを実際に設定する方法の例を設定するために既に素晴らしい仕事をしています。
And also, MLflow.
そして、MLflowもそうです。
I know that they're also experimenting with this, adding new features to the toolkit.
彼らもこれを試していることを知っています、ツールキットに新しい機能を追加すること。
So, you see these platforms arise and existing platforms building out new features to work with all of this.
したがって、これらのプラットフォームが出現するのを見ると、既存のプラットフォームがこれらすべてで動作する新しい機能を構築しているのを見ることができます。
So, I think that's what you have to keep in mind.
それが考慮すべきことだと思います。
It's not a new role.
それは新しい役割ではありません。
It's just a new set of tools that you can equip yourself with if that's something you're interested in.
それはあなたが興味を持っている場合に自分自身を装備することができる新しいツールセットに過ぎません。
So, it's also, I think, not for everyone.
したがって、それは私が思うように、すべての人のためではないです。
You could very well keep focusing on more classical machine learning algorithms and just work with that.
あなたは非常によく、より古典的な機械学習アルゴリズムに焦点を合わせて、それだけで働くことができます。
With that out of the way, I also want to highlight, like, kind of the project teams that I put together.
それを取り除くと、私はまた、私が組み立てたプロジェクトチームのようなものを強調したいと思います。
And then, also like, the skills, uh, required for all of the members, basically, to really deliver these projects, like end to end, and they're not much different, I, I would say, from, uh, from more traditional machine learning approaches.
そして、また、すべてのメンバーに必要なスキルは、基本的にはエンドツーエンドでこれらのプロジェクトを本当に提供するために必要なものであり、従来の機械学習アプローチとあまり変わりません、と私は言いたいと思います。
Whether I feel like right now, really, a lot of the value you create, a lot of the value in the UI, why is that?
私が今、本当に価値を創出するのは、UIの価値が非常に高いのはなぜかと思います。
Because these AI applications right now are very much like customer-facing, whereas traditional machine learning applications could very well just end up in a dashboard that just some people look at or end up in some automations somewhere behind the scenes in the back end.
なぜなら、これらのAIアプリケーションは現在、非常に顧客対面型であり、伝統的な機械学習アプリケーションはダッシュボードに終わる可能性があり、それを見る人がいるか、バックエンドの裏側のどこかの自動化に終わる可能性があるからです。
But right now, the main application is really in the front end, usually in some kind of like a chat application.
しかし、現在、主要なアプリケーションは、通常、チャットアプリケーションのようなもので、実際にフロントエンドにあります。
You definitely can also implement them into a back end, but that's a little more challenging and, and just not as common right now.
確かにバックエンドにそれらを実装することもできますが、それは少し難しく、そして現在はそれほど一般的ではありません。
So, to execute on most of the projects that we've been working on, you really need, like, what we call the backend AI engineer, and this is also what the, like, the new age machine learning engineer would fall under.
したがって、私たちが取り組んできたプロジェクトのほとんどを実行するには、私たちがバックエンドAIエンジニアと呼ぶものが本当に必要です、そしてこれも新時代の機械学習エンジニアが該当するものです。
So, you could either do this, uh, with, with like two people, so you have a dedicated software engineer and a machine learning engineer or data scientist pairing up together to really create the back end.
したがって、あなたはこれを、2人の人々と、したがって、専用のソフトウェアエンジニアと機械学習エンジニアまたはデータサイエンティストをペアリングして、バックエンドを実際に作成することができます。
Or usually what we do is I would personally like take on that role and I would be responsible for configuring not only all the data connections and putting the data into Vector databases but also really setting up the logic, usually with, with LangChain, to put everything together and create a solid application.
または、私たちが通常行うことは、私がその役割を引き受け、データ接続すべてを設定するだけでなく、データをベクターデータベースに入力すること、そして通常、LangChainと一緒に、すべてをまとめて堅牢なアプリケーションを作成するためのロジックを本当に設定するための責任があります。
And then, on the other hand, we have the front end where everything would come together to the user, and this is where I would really pair up with a frontend developer that knows, for example, JavaScript, TypeScript, or React to build out the front end of the applications and put it into a chat interface that people can actually use.
そして、他方、フロントエンドでは、すべてがユーザーに結合され、これが私が例えば、JavaScript、TypeScript、またはReactを知っているフロントエンド開発者とペアを組む場所であり、アプリケーションのフロントエンドを構築し、人々が実際に使用できるチャットインターフェースにそれを入れることです。
So, that's, those are like, I would say, three of the main roles that you need to complete these projects, and depending on how much a certain person knows, you can either do it all by yourself or split it up into a project team of two or three, again depending on your needs and the people you have available.
したがって、それは、これらのプロジェクトを完成させるために必要な主要な役割の、私が言うところの3つのようなものです、そしてどれだけの知識を持っているかに応じて、それをすべて自分自身で行うこともできますし、2人または3人のプロジェクトチームに分けることもできます、再びあなたのニーズと利用可能な人々に応じて。
So, overall, you really need a solid understanding, I believe, of, of like, Python.
したがって、全体として、Pythonのような、私が信じる、確固とした理解が本当に必要です。
While you could also technically do all of this with JavaScript and build applications in the front end, which is something that's gaining popularity right now, but like I said, I'm still very much more confident with, with Python, and also really, I feel like if you want to build out custom logic, Python is just more suitable for that.
あなたはまた技術的にはJavaScriptでこれをすべて行い、フロントエンドでアプリケーションを構築することもできますが、現在のところ、人気が出てきていることですが、私はまだPythonで非常に自信を持っていて、また、カスタムロジックを構築する場合、Pythonはそれにもっと適していると本当に感じています。
So, that's still my has still has my preference for the back end, but yeah, that said, you know, you need to know how to work with APIs and how to piece everything together.
したがって、それはまだ私の好みを持っていますが、バックエンドのための、それにもかかわらず、それは、あなたがAPIの作業方法を知っている必要があることを意味します、そしてすべてを一緒に組み立てる方法。
You have to understand Vector databases, the factorization process, embedding models, and then also again, how to piece all of that together, and just understanding how to process data in general is really helpful because clients often have a bunch of data, some could be structured, some could be unstructured, and knowing how to work with both and put it into a format to make it available to these large language models is really required to be successful.
ベクターデータベース、ベクトル化プロセス、埋め込みモデルの理解が必要です。そして、それらすべてをどのようにして一緒に組み立てるかも再び、そしてデータの処理方法を一般に本当に理解することは非常に有用です。なぜなら、クライアントはしばしば多くのデータを持っており、それらは構造化されている場合もあれば構造化されていない場合もあるからです。そして、どちらのデータも作業し、それをこれらの大規模な言語モデルに利用可能な形式にする方法を知っていることは、成功するために本当に必要です。
And then, also like I've said, uh, you have to understand how to build front-end applications most of the time.
そして、私が言ったように、あなたはほとんどの時間、フロントエンドアプリケーションの構築方法を理解する必要があります。
And then also building, uh, web applications.
そして、ウェブアプリケーションの構築も。
So building back ends that you can put on a server, uh, for the front end to then communicate with to make the results available to do the processing.
ですので、サーバー上に置くことができるバックエンドを構築し、フロントエンドが通信して処理を行い結果を利用可能にするためのものです。
And then some final notes on how I see gen fit into the overall digitization strategy of companies right now compared to all of the other tools and techniques that are available.
そして、現在の企業のデジタル化戦略全体にどのようにgenが適合しているか、そして他の利用可能なツールや手法と比較してどのように位置づけられているかについての最終的なメモです。
And for that, I would like to refer to an article that actually someone in my free group, Data Alchemy, shared.
そのために、私の無料グループ、Data Alchemyのメンバーが共有した記事を参照したいと思います。
So I think this was a very interesting article that was shared by Min.
とても興味深い記事だったと思いますが、Minさんが共有したものです。
And this is an article from McKenzie on what's the future of generative AI, an early few in 15 charts.
これは、McKenzieからの「生成的AIの未来は何か、15のチャートでの初期の見解」という記事です。
And without going into all of the details of the article, what I, uh, what mainly like stood out to me, and I'll, I'll read this out, is Gen is a big step forward, but traditional Advanced analytics and machine learning continue to account for the line share of tasks optimization, and they continue to find new applications in a wide variety of sectors.
記事の詳細すべてについては触れませんが、私が特に注目した点、そしてこれを読み上げるのは、Genは大きな前進ですが、従来の高度な分析と機械学習は依然としてタスクの最大部分を占めており、さまざまなセクターで新しいアプリケーションを見つけ続けています。
Organizations undergoing digital and AI Transformations would do well to keep an eye on gen, but do not to the exclusion of other AI tools.
デジタルとAIの変革を進めている組織は、genに目を光らせることが重要ですが、他のAIツールを排除することはありません。
Just because they're not making headlines doesn't mean they can be put to work to deliver increased productivity and ultimately value.
ヘッドラインになっていないだけで、生産性を向上させ、最終的には価値を生み出すために彼らを働かせることができるわけではありません。
And I think this really summarizes the state of generative AI really well right now.
そして、これは現在の生成的AIの状況を非常によく要約していると思います。
Generative AI is hot, it's trending, it's new, it gets all of the headlines.
生成的AIは注目の的で、トレンドで、新しいもので、全てのヘッドラインを獲得しています。
But we don't have to forget that other AI tools, more traditional data science, machine learning, and even data analysis approaches are still also like very new to most companies.
しかし、他のAIツール、もっと伝統的なデータサイエンス、機械学習、さらにはデータ分析のアプローチも、ほとんどの企業にとってはまだ非常に新しいものであることを忘れてはなりません。
Most companies haven't done anything at all with that.
ほとんどの企業はそれに関して何も行っていません。
So please keep that in mind also as you embark on this journey or as you are already a data scientist or machine learning engineer.
この旅を始める際や、すでにデータサイエンティストや機械学習エンジニアである際も、これを念頭に置いてください。
With this rise of gen, doesn't make the old school or traditional skill had obsolete.
このgenの台頭で、古い学校や伝統的なスキルが時代遅れになるわけではありません。
There's still so much to be done in both areas.
両方の分野でまだやるべきことがたくさんあります。
And I feel like you individually have to decide for yourself whether genis is something you want to pursue, whether it's something you want to put in your skill set.
そして、genがあなたが追求したいものであるか、あるいはあなたのスキルセットに取り入れたいものであるかどうか、個々に決める必要があると感じます。
And overall, I feel like it wouldn't hurt to at least experiment with it because the fundamental PR fundamental principles and techniques complement each other really well.
全体的に、少なくともそれを試してみることは損ではないと感じています。なぜなら、基本的な原則と技術は非常にうまく補完しあっているからです。
Like I've said, you need Pon, you need data processing.
私が言ったように、Ponが必要で、データ処理が必要です。
And in the end, it's still trying to take data raw, uh, raw data, whether that's just a user question, user input, or some kind of like numerical value from a sensor.
最終的には、それが単なるユーザーの質問、ユーザー入力、またはセンサーからの数値のような生のデータであろうと、それを情報や行動可能な洞察に変えようとしています。
And we're trying to turn that into information on, uh, or actionable insights.
これがまさにデータインテリジェンスの目的であり、また私の会社、Dat Luminaの目的でもあります。
That's really what data intelligence is about and also what my company, Dat Lumina, what we aim to do.
それがデータインテリジェンスの本質であり、また私の会社であるDat Luminaが目指すことでもあります。
So it's not all artificial int or gen, no.
私たちは、生のデータを価値ある情報に変えるための助けとなることを望んでいます。
We want to help companies to turn raw data into valuable information.
私たちは企業が生データを価値ある情報に変えるのを助けたいのです。
That's what we do.
そして、genは私たちが使うツールのひとつです。
And gen is one of the tools that we have at our disposal.
そして、生のデータを価値ある情報に変えることは、私の無料グループであるData Alchemyで行おうとしていることの目的でもあります。
And now turning raw data into valuable information is also exactly the goal of what we're trying to do with Data Alchemy, which is my free group.
これについてもっと知りたい場合は、それをチェックすることを強くお勧めします。なぜなら、私はそこでAlchemy codexと呼ばれるツールやスキルやワークフローの基本セットを共有しています。
And if you want to learn more about this, then I would highly recommend checking it out because in there, I share what I call the Alchemy codex, which is an essential set of tools, uh, and skills and workflows that you need in order to start turning raw data into information.
もしこれについてもっと学びたいのであれば、ぜひチェックしてみることを強くお勧めします。そこでは、私がアルケミーコーデックスと呼ぶものを共有しています。それは、生データを情報に変えるために必要な基本的なツール、スキル、ワークフローです。
And it doesn't matter if you want to be a data scientist, machine learning engineer, New Age machine learning engineer, just want to experiment with AI.
データサイエンティスト、機械学習エンジニア、新しい時代の機械学習エンジニアになりたいか、単にAIを試してみたいかは問題ありません。
These are really the tools and the techniques that you need, no matter what it is that you do.
これらは本当に必要なツールと技術です。何をするにしても。
It's really the fundamentals.
興味を持ったら、それをチェックすることを強くおすすめします。
And that's why I put this together as a free resource.
私たちは、データサイエンスや人工知能、その間の全てに興味を持つ人々の素晴らしいコミュニティを築いています。
And if you're interested in that, then I would highly recommend checking it out.
もしそれに興味があるなら、ぜひチェックしてみることを強くお勧めします。
We're building a great community of people that are interested in data science and artificial intelligence and everything in between.
私たちはデータサイエンスや人工知能に興味を持つ人々の素晴らしいコミュニティを作っています。
So that's it for now.
それは本当に私を助けてくれるだけでなく、YouTubeにもこのようなコンテンツをもっと見たいという意志を示すことになります。
Make sure to like this video right now.
そして、ループの中にいたい、将来の動画を逃したくない場合は、
It will really help me out and also show YouTube that you want to see more content like this.
それは本当に私を助けてくれるし、またYouTubeにあなたがこのようなコンテンツをもっと見たいと伝えることにもなります。
And if you want to stay in the loop, don't miss any future videos.
そして、もし最新情報を知りたいのであれば、将来の動画を見逃さないでください。
Also make sure to hit the Subscribe button.
購読ボタンも押してくださいね。
So that's it for now.
それでは、今はこれで終わります。
Thank you guys for watching.
ご視聴いただきありがとうございます。
And then I'll see you in the next one.
それでは、次の動画でお会いしましょう。
この記事が気に入ったらサポートをしてみませんか？