見出し画像

[備忘録]ChatGPT・AIで役に立ちそうな記事

そんちゃー君

（表紙はFirely(beta)が作りました）

これってどうやるんだったっけ？という時にお世話になりっぱなしのChatGPT。検索で無駄にする時間が減り余計な広告にも煩わされず大変重宝してます。
が、つぎつぎのAI関連のハックが公開されていて、実務もあるので試しきれません。というかほとんど触れてないです😥

そいうことで、見つけた記事などはここにメモすることにしました。時々追記したり、古いのは消しますのでご了承ください。



最新・画像認識

ChatGPT とエクセル

英語の記事なんですけども、翻訳するとこんな感じでお役立ち情報が満載。

こちらの記事もなかなかです

「Microsoft はまもなく ChatGPT を Excel に統合する予定ですが、Microsoft Copilot 365 に注目する必要がある理由を説明します。」

※こういう記事で英語のやり取りを画像として貼ってある場合、Bingなどを使うと文字起こしをしてくれますので、簡単に翻訳が可能です。


コーディング補助

Stable Code

画像生成AI「Stable Diffusion」の開発などで知られるAI開発企業Stability Aが発表したAIサービスで、学習データにはPythonやGo、Java、Javascript、C言語など多様なプログラミング言語が含まれているということでこの分野の競争も加速しそうです。

MEAT の　Code LLaMA　（無料）

Code Llama は、 Llama 2に基づくコードの大規模言語モデル ファミリです。オープン モデル間で最先端のパフォーマンス、埋め込み機能、大規模な入力コンテキストのサポート、プログラミング タスクのゼロショット命令追従機能を提供します。幅広いアプリケーションをカバーするための複数のフレーバーを提供しています。

テスト利用環境

https://labs.perplexity.ai

git


Python in Excel

「PY関数（=PY）」を入力するとPythonのコードが記述できます。
Microsoft 365 Insider Programに参加していれば利用可能。

Flowise　

UI をドラッグ アンド ドロップして、カスタマイズされた LLM フローを構築します

・LangChain搭載
・アプリテンプレート付き
・クラウドへの簡単連携


MerlinでもうChatGPT課金はする必要なし？

残念ながら課金をしないと回数制限があるため、利用は限定的になりますが「ここはChatGPT4で聞いてみたい」というときには便利です。
ただし日本語入力でリターンキーを押すと入力途中でも送信されるため、元祖ChatGPTで質問したものをコピペしてChatGPT4でも聞き直す、というくらいの使い方ならば無料範囲である程度使えそうです。

Merlin以外でも同じとは思いますが、extensions機能などでブラウザ横にAIがいて検索したことを横で評価してくれるのはセカンドオピニオン機能として最高に便利です。検索結果は多くが広告やそれに近いブログなど「人目を引く」ものが上に出てきますが正しいものが先に表示されるとは限らないどころか、最近ではスクロールして下の方まで見ないと、というご時世だからです。

アボカドの語源は睾丸ではないかも？と指摘してくださいました。


個性ある自分用のchat botが作れるダンテAI

アカウント作成後、データをアップロードして自分用のAIにカスタマイズが出来ます。生成したチャットボットを人に共有したりWebに埋め込んだり出来るのがこのサービスの大きな利用価値になっています。
※２ヶ月無料、$100/$600プランということで企業向け

→PDF、Word ドキュメント、Excel シートなど、AI フレンドについて語るドキュメントをアップロードして
→システム ベース プロンプトを変更して、独自の個性を与えます。
→魅力的なアバターであ​​なたの AI 友達に命を吹き込みましょう!
→そして、特別感を出すために、ダンテのブランドを削除


AIで音声合成↔文字

Mubert-Text-to-Music

プロンプトから楽曲生成してくれます。これを待っていました！

・プロンプトベースの音楽生成が可能に
・音楽ジャンル･楽器･ムードなどジャンルも指定可能

これから音楽生成はドンドン進化が加速するような気がします。動画を作る時に著作権や曲探しで頭が痛い人も多いと思うので朗報ではないでしょうか


PlayHT

文字から音声を生成してくれるサービスです。日本語ではVOICEVOXなどがありますがこちらはオンラインで使えるサービスです。

ビジネスユースケース
1. ビデオ用の新しい音声
2.  学習ビデオを生成する
3.  カスタマー サービス支援に使用する API
4.  IVR での音声対話
5. ウェブサイト上の SEO に適したオーディオ ウィジェット

notta

Nottaは高精度の音声認識とAI要約機能を使って、1時間の音声を5分で文字起こしし、簡潔な要約を作成することができます。

実際に動画（スティーブ・ジョブズの談話）をnottaで英語文字起こしをして、それを日本語にする、という作業を試したところあっという間に出来ました。

（文字起こしツール notta で作成）

When you grow up, you tend to get told that the world is the way it is. And your life is just to live your life inside the world, try not to bash into the walls too much, try to have a nice family life, have fun, save a little money.

But life, that's a very limited life. Life can be much broader. Once you discover one simple fact, and that is everything around you that you call life was made up by people that were no smarter than you.

And you can change it. You can influence it. You can build your own things that other people can use. And the minute that you understand that you can poke life and actually something will,

you know, if you push in something will pop out the other side. You can change it. You can mold it. That's maybe the most

important thing, is to shake off this erroneous notion that life is there

and you're just going to live in it, versus embrace it, change it, improve it, make your mark upon it. I think that's very important. And however you learn that, once you learn it,

you'll want to change life and make it better, because it's kind of messed up in a lot of ways. Once you learn that, you'll never be the same person.

(Google 翻訳）

大人になると、世の中はこんなものだと言われがちです。そして、あなたの人生は、ただ世界の中で自分の人生を生きることです。あまり壁にぶつからないようにして、素敵な家庭生活を送り、楽しんで、少しお金を節約してください。

しかし、人生、それは非常に限られた人生です。人生はさらに広がる可能性があります。ひとつの単純な事実を発見すると、それは、あなたの周りにある人生と呼ばれるものすべては、あなたよりも賢くない人々によって作り上げられたものであるということです。

そしてそれを変えることができます。あなたはそれに影響を与えることができます。他の人が使用できる独自のものを構築できます。そして、あなたが人生を傷つける可能性があり、実際に何かが起こることを理解した瞬間、

押し込むと反対側から何かが出てきます。変更できます。成形できますよ。おそらく最も重要なことは、生命がそこにあるという誤った概念を振り払うことです

そして、あなたはただその中で生きていくだけであり、それを受け入れ、変え、改善し、それに自分の痕跡を残すのではありません。それはとても重要なことだと思います。そして、どのようなことを学んだとしても、一度それを学べば、

人生はいろいろな意味でめちゃくちゃなので、人生を変えてより良くしたいと思うでしょう。それを知ったら、あなたは決して同じ人間ではなくなります。

音声を直接理解し、それに対応する手法の論文

https://arxiv.org/pdf/2307.11795.pdf

Metaとケンブリッジ大の研究者らにより出された論文です。進歩が止まりませんね！

Microsoft Designer （マイクロソフトデザイナー）

CanvaみたいなWebアプリですがAI機能が無料で使えるCanvaキラーというお話です

これからはデザインもプロンプトでチャットボットと相談しながら素材を選んではめ込んだりが多くなるのかもしれません。

画像をAIでサイズ補完　PromeAI

Bing art creator などで生成した画像が正方形で、横長にしたいけど上下を着ると顔が切れてしまう！とかありませんか？そんな時に便利なのでPromeAIです。

こんな感じで足りない部分をAIが追加してくれます。これは便利！

CanvaがChatGPTに対応

  • TikTok または YouTube ショートを作成する

  • 広告クリエイティブの生成

  •  プレゼンテーションを作成

  •  ロゴデザイン

  •  ソーシャル バナーをデザイン

  •  グッズデザイン

  • ソーシャルメディアへの投稿

↓に動画があるのでわかりやすです

FacebookのMetaがLlama2リリース！

7/18にMetaがリリースした最先端のオープンアクセス大規模言語モデル ファミリでChatGPT と同等のパフォーマンスを達成している、としています。
Metaが以前に発表したC++製のDeep Learning (Flashlightのより前に発表されたもの）はpythonの同じものに比べて数百倍も早くメモリも使わなかったので期待してしまいます。

サイトにはデモがあり、日本語も対応しています。（ただし英語に自動変換され、英語の返答が自動で日本語に翻訳されるので微妙にニュアンスが変わることがあります、以下は例。Forest color は英語で通じても日本語で森色は日本語には馴染みません）

「クローズドソースのチャットボットに代わるオープンな代替手段を待っていたなら、おそらく Llama 2-Chat が最良の選択となるでしょう。」

PEFTによる微調整

「Llama 2 7B を微調整するためのコマンド例をtimdettmers/openassistant-guanaco以下に示します。safetensorスクリプトは、引数を指定することで、LoRA の重みをモデルの重みにマージし、重みとして保存できます。
テキスト生成推論と推論エンドポイントを使用したトレーニング後に、微調整されたモデルをデプロイできるようになります。」とあります。

python finetune_llama_v2.py \
--model_name llamaste/Llama-2-7b-hf \
--dataset_name timdettmers/openassistant-guanaco \
--use_4bit \
--merge_and_push

Llama２利用例：Doctor GPT

DoctorGPT は、Meta のLlama2 70 億パラメータ大規模言語モデルのバージョンで、医療対話データセットで微調整され、強化学習と憲法 AI を使用してさらに改善されました。モデルのサイズはわずか 3 ギガバイトなので、どのローカル デバイスにも適合し、使用するために API を支払う必要はありません。

ChatGPT HACK

ChatGPT institution

有料会員向けの新機能で、デフォルトの設定をすることで毎回同じことを入力する手間を省けるようになりました。

ChatGPTで文字起こし

AIの利用法で今後当たり前になるのが会議などの『文字起こし』ではないでしょうか。AIさんが「あれ？何の話だったっけ」とか「言った言わない」を撲滅する日が近づいていまます。
こちらの記事は今あるツールを組み合わせればそんな未来が実現できる方法を詳しく解説してくださっています。


ファクトファイルの利用

方法を書いている方がいたのでこちらで…

Bard のパワーアップ機能

まだベータということもあるでしょうがChatGPTには見劣りするところが多いGoogle Bardですが飛び道具を出してきました。

浮気ではありません（画像は拾い物ですmm)

画像が表示できるようになった！

７月にアップデートがあり大幅に進化！　まだ英語用の機能ですが英語で例えば「What are some typical Japanese dishes? Please introduce with images.」（代表的な日本料理を教えて。写真つきで紹介して）と言った使い方が出来ます。

Bardに画像入力・画像認識機能

これは使おうとしたら自分のアカウントではまだ画像uploadボタンが表示されませんでした。アカウントの設定->個人情報ｰ>言語　でEnglish/United State に設定後、Bard画面をリロードすると使えるようになりました。


ニュースリストのスクショをアップロードして、「extract all letters from the pic 」（文字をすべて抽出して）と命じると、バッチリ出力されました。

画像から他のAI画像生成ツール用にプロンプトを作る

画像と共に「Please describe this image in detail.（この画像を詳細に説明してください。）」と入力すると作成してくれます。試しにベトナム鉄道の写真を入れると下記のように状況説明が出ました。更にこの解説からBing Creatorで画像を作るとアメリカっぽい写真が（笑

  •  The train is a GE Genesis locomotive, model number P42DC.

  • The train is pulling six passenger cars, each of which is about 85 feet long.

  • The platform is about 500 feet long and 100 feet wide.

  • The sign on the platform says "RATRACO", which is the name of the train company.

  • The image was taken in the morning, as the sun is just starting to rise.

  • The temperature is about 50 degrees Fahrenheit.

Bingで上記を指示したところ、元とはかなり違うものが。。。

画像を指示する文章を Japanese train E700 Shinkansen としたらこうなりました。便利。。。

Google docsのAI利用術

よく使うツールｘAIが一番効果爆発泣きがしています。まだ活用できてないですが、これからの人はこれが基準になるのでしょうね。

Google スプレッドシートの AI – GPT Copilot の使用方法

以下のコパイロット関数について解説しています。ありがとう！


文書・資料関連

ざっくりAI解説

入門のきっかけや広く網羅されているので資料を作る時にも便利だなと思いました。自分でこういうのを全部作るとメンテで負債になっていくので大変ありがたいです。

東京都の文章生成AI利活用ガイドライン

社内でのAI利用のガイドを作るときに参考になりそうです。

職員が守るべきルール
- 個人情報等、機密性の高い情報は入力しないこと
- 著作権保護の観点から十分注意し、確認
- 回答の根拠や裏付けを必ず自ら確認
- 回答を対外的にそのまま使用する場合は、その旨明記

などとなっています。


無料で使えるGoogleのAI講座

Google Cloud Skill boostの解説など。講座を受ける前に見ると全体像が日本語で理解できるので大変ありがたい動画です。

Google AI コースはこんな

動画解説では「難しいので覚悟して望みましょう」というお話がありました。Googleですもの

同じ方の入門動画も分かりやすいです

個人的にはプロンプトエンジニアリングはあまり焦らなくても、サーバー側で改良が進むと思うので心配していません。
が、複数のバリエーションを作ってもらったり応用方法は少しずつでも利用して慣れていたほうが良さそうです。


Adobe Firefly

無料で使える画像生成AI。
１．テキストから生成
２．ジェネレーティブフィル（画像をアップロードして編集）
３．テキスト効果

3の機能で作った画像。残念なことに画像にAdobe社の透かしが入るので商用利用できません。有料化するまで練習しろ、ということのようです

こんなテイストのTシャツがベトナムでは増殖しています（笑


Midjourney 

ざっくり使い方

簡単にかっこいいポートレートを作成

この方のNOTEは便利なハックがいっぱい。とても勉強になります。

inpainting 機能

生成した画像の１部だけを編集？する機能です。
↓百聞は一見にしかず


ChatGPTを利用したプロンプト入門

同じ題材で様々な画像を生成する例でわかりやすい！

Generative AI art prompt generator

100のプロンプト例が掲載されているサイト。英語での指示のほうがAIは正しく働いてくれるのでこれはとても勉強になります。

Midjourney 動画を出力する方法

1．プロンプトの末尾に–videoを追加します。
2．ジョブが終了したら、「リアクションを追加する」をクリックします。
3．✉️ 封筒の絵文字を選択します。

簡単に作れるみたいです

OpenAI

ChatGPTは自然言語のUIで利用者を爆発的に増やしたことが主な功績・ブームの理由と思います。同じ機能をAPIで使えるOpenAIのAPIサービスの記事はChatGPTに比べると驚くほど少なく、特に日本語ではアカウントを作って触るまでの入り口の記事ばかり（おそらくマーケティングのための広告記事）です。

自分も利用していますがあまりうまく使えていないので、OpenAIをもっと掘り下げたいと思っています。

OpenAI使い方と例

↓こんな感じで幅広くたくさん解説してくれています）

プロンプト設計に関するいくつかのガイドライン
GPT4 モデルと GPT3 モデルの比較
テキスト補完
テキストの生成
会話 (GPT-3 モデル
テキストの翻訳と変換
テキストの挿入と編集
コード補完 /  コードの挿入
画像処理
既存の GPT-3 モデルの微調整
データセットの準備
感情分類モデルの微調整
テキスト埋め込みの取得
GPT-3 埋め込みを使用して機械学習分類器をトレーニング
GPT-3 埋め込みによるゼロショット分類
Open AI のコンテンツ ポリシーによるコンテンツ モデレーション
（違反コンテンツの事前チェック）
チャット GPT を使って遊ぶ

この英語記事の記述から更に検索すればより深く情報が得られそうです

本家マニュアル

本家マニュアルを熟読して色々試すのが一番かもしれませんが、とっつきづらい面が（笑

GPT-3 モデルを微調整し、パフォーマンスを向上させる方法

Python を使用して独自のデータで GPT-3 モデルを微調整し、パフォーマンスを向上させる方法を解説。

1. OpenAI API キーを取得しました
2. 教師データの作成
3. 学習データの確認
4. トレーニングデータのアップロード
5. GPT-3 モデルを微調整する
6. 微調整ジョブの進行状況を確認する
7. 微調整したモデルを保存する
8. 新しいプロンプトで新しいモデルをテスト

総合版

AIツールアグリゲーターのWebサイト。 現在、データベースには 1413 のツールがあり、さらに継続的に追加されています。
29のカテゴリで絞り込むことができます


この記事が気に入ったらサポートをしてみませんか？