【二十四節きろく】G検_AWSなど

2024年6月23日 17:54

芒種初候：螳螂生 (かまきりしょうず) 　6/5～6/9頃

【取り組むことリスト】
１．リテラシーレベルをあげること
・データサイエンティスト検定（9月下旬着手・11月目標）
・G検定（着手中・7月目標）
・基本情報技術者試験（7月着手・9月下旬目標）
・ネットワークまわり（随時）

２．興味あること（※直近の目標を記載）
・MicrosoftOffice製品　エクセルマクロ（自動転記処理）を構築
・Blender　noteのアイコンに使うモデルを作成
・Unity　簡単なゲームをリリース
・Python/C言語　活用イメージを膨らませるため基本構文を学ぶ
＝＝今週追加
・Figma
　↓！リテラシーレベルに入っていたものを移動
・AWS・Azure（IaaS/PaaS：随時）　
・UiPath/PowerAutomete（RPAツール：随時）

6/5（水）の活動

リテラシーレベルをあげること
G検定：4章『ディープラーニング』つづき
学習済みモデル（基盤モデル）、スケール則（Scale Laws）、BERT（Bidirectional Encoder Representations from Transformers）、MLM(Masked Language Model)、NSP（Next Sentence Prediction）、GPT（Generative Pre-trained Transformer）、GLUE（General Language Understanding Evaluation）、SuperGLUE、マルチタスク言語モデル、生成AI（Generative AI）⇔識別AI、プロンプト、プロンプトエンジニアリング、RLHF（Reinforcement Learning from Human Feedback）、ハルシネーション、変分オートエンコーダ（Variational Autoencoder）、GAN（敵対的生成ネットワーク）、生成器（ジェネレーター）⇔識別器（ディスクリミネーター）､DCGAN（Deep Convolutional Generative adversarial networks）

・プロンプトの構造と形式
命令(instruction)、文脈(Context）、出力指示子、入力データ

・プロンプトテクニック
　Zero-shot prompting：回答例なし。命令のみのプロンプト。
　Few-shot prompting：1つ以上の正解例を与えた上で命令。
　Chain-of-Thought prompting：回答に至るまでの中間の思考プロセスを与える
　知識生成 prompting：プロンプトの一部に知識や情報を組み込む
　方法性刺激 prompting：正しい方向に誘導するためのヒントを与える

・文章生成AIの種類
　OpenAI：ChatGPT、ChatGPT Plus（GPT4ベースの対話側AI）
　Google：Bard(大規模言語モデルPaLM２が使われている）
　Meta：LLaMA、LLaMA2
1. 興味あること
  AWSリソース①コンピューティング
  ・EC2（Amazon Elastic Compute Cloud）：仮想サーバーサービス
  ・AMI（Amazonマシンイメージ）：OSやソフトウェアの設定が入ったテンプレート
  ・インスタンスタイプ：仮想サーバーの性能（CPUとかメモリとか）
  ・EBS：ストレージ容量
  ・AWS Systems Manager：EC2を管理するサービス
  ・セキュリティグループ
  ・Amazon EC2 Auto Scalling
  ・AWS lambda：サーバーレスコンピューティングサービス
  　※EC2との違い：実行環境（ソフトウェア設定や拡張性・可用性管理・OS設定）をAWSが管理してくれる
  　EC2のよいところ：インスタンスタイプやOS、ネットワークなどを自由に設定できる柔軟性、大量のトラフィックやアクセスを常時処理する場合、時間課金のEC2のほうが安くなる、サーバーにプログラムをデプロイするという従来の開発方式
  　※lambdaでは関数という単位でプログラムコードを管理し、処理も関数単位で実行
  　※他のサービスと組み合わせて利用する
  　　Amazon API Gateway：lambdaと組み合わせることでユーザのHTTPリクエストをトリガーとして関数を実行できる
  　　Amazon S3：S3バケットにデータが格納されたら、格納されたデータに対してlambdaで自動処理を行うことができる。
  　　Amazon Event Bridge：Event Bridgeにルール（日次実行の定義等）を設定しておくと、ターゲットに関数実行が可能。
  　定時のEC2の停止や起動も上記の手法で可能。
  　※lambdaで追加設定できること：メモリ容量、タイムアウト時間、環境変数
  　※lambdaからほかのAWSリソース操作をするには権限設定が必要
  　（EC2の起動/停止などはIAMロールでlambda関数に権限設定しないと実行できない）
  　※lambdaの実行回数や時間、エラー数などは自動的にCloudWatchに送信されている

6/6（木）の活動

リテラシーレベルをあげること
G検定：4章『ディープラーニング』つづき
Pix2Pix、CycleGAN、DALL・E2、CLIP、誘導拡散（GuidedDiffusion）、GLIDE、パルス符号変調（PCM）、高速フーリエ変換（FFT）、スペクトル包絡、メル周波数ケプストラム係数（MFCC)、フォルマント周波数、WaveNet、方策ベース、価値ベース、Actor-Critic、A3C（Asynchronous Advantage Actor-Critic）、DomainRandamization、オンライン強化学習⇔オフライン強化学習、マルコフ性、マルコフ決定過程、マルチモーダル技術、ニューラル画像脚注付け、LIME (local interpretable model-agnostic explanations)、SHAP（SHapley Additive exPlanations）、Grad-CAM
興味あること
AWSリソース①コンピューティング
コンテナ：1サーバー上に複数コンテナ稼働ができる
　ハード＞OS＞コンテナランタイム＞コンテナ
（仮想サーバと違い、仮想サーバーごとのハード・OS・ミドルが不要）
　ハード＞OS＞ハイパーバイザー＞（仮想サーバー：仮想ハード＞OS＞ミドル＞プロセス）
＝＝
■コンテナオーケストレーションサービス
Amazon ECS（Amazon Elastic Container Service）
Amazon EKS（Amazon Elastic Kubernetes Service）
※ECSとEKSの違いはコンテナオーケストレーション機能をAWSが担うかKubernetesが担うか。
・レポジトリ：コンテナイメージの管理単位
・レジストリ：イメージ管理ツール
Amazon ECR（Amazon Elastic Container Registry）：カスタマイズしたコンテナイメージをAWS上で管理することができる
※ECSを利用してコンテナ起動をする場合にどのプラットフォームで起動するかを2種類から選択することができる　EC2かAWS Fargate
　EC2インスタンス内でコンテナランタイムを起動する場合、EC2インスタンスの管理をユーザー側で行う必要がある。
　FargateはAWSが管理するサーバー上でコンテナを起動することになるのでコンテナランタイム・OSの部分も含めてサーバー管理はＡＷＳ側にまかせられる

6/7（金）の活動

リテラシーレベルをあげること
G検定：5章『AI活用』
BRP（Business Process Re-engineering）、UI、UX、エッジAI、エッジコンピューティング、オープンイノベーション、MLOps（Machine Learning Operations）、CRISP-DM (Cross-Industry Standard Process for Data Mining)、Numpy：多次元配列データを高速に演算、Pandas：表形式データの処理、クローリング、スクレイピング、ELSI（ethical, legal and social issues）、個人識別符号、要配慮個人情報、機微情報、個人情報保護法、匿名加工情報：特定の個人を識別できないかつ復元できない、仮名加工情報：個人を特定できる情報を削除し、単体では個人を特定できないが、ほかの情報を照らし合わせると個人を特定できる可能性が残る、オプトアウト制度、改正個人情報保護法、GDPR（General Data Protection Regulation）
興味あること
AWSリソース①コンピューティング
AWS Lightsail：一般的によく利用される構成の仮想サーバーを簡単に素早く構築するためのサービス
AWS Elastic Beanstalk：Java PHP Python Node.js Ruby .NET Docker Goなどの主要な言語、環境で開発されるアプリケーションをデプロイするための環境一式を自動的に作成するサービス。
AWS App Runner：コンテナ化されたアプリケーションを簡単にデプロイするサービス
AWS Batch：指定したプログラムをEC2やFargateで動作させるサービス
AWS Outposts：AWSが物理サーバーを貸し出すサービス

6/8（土）の活動

リテラシーレベルをあげること
G検定：5章『AI活用』つづき
知的財産権
→知的創造物
　・特許権　・実用新案権　・意匠権　・著作権　
　・回路配置利用権　・育成者権　・営業秘密
→営業上の標識
　・商標権　・商号　・地理的表示（GI）
FAT（公平性・説明責任・透明性）、XAI（ExplainableAI）、人間中心のAI社会原則、フィルターバブル、エコーチェンバー、パラレル・アルゴリズム、シグナリングアルゴリズム、自己学習アルゴリズム、LAWS（Lethal autonomous weapons systems）
1. 興味あること
  AWSリソース②ストレージ
  Amazon S3（Amazon Simple Storage Service）：オブジェクトストレージサービス
  ※VPCやCloudFrontのログ、EBSのスナップショット保存など、ほかのAWSサービスからも多く利用される
  ※S3のWebサイトホスティング機能を有効にするとS3バケットに格納したHTMLファイルやCSS、JavaScriptなどのコンテンツファイルをWebサイトとして公開できる
  ※保存されるデータの暗号化：バケットのデフォルトの暗号機能を有効にするとオブジェクト格納時にAWS側で自動的に暗号化が行われる。
  暗号化用のキーは、AWSが提供するキー管理機能（AWS Key Management Service：KMS）で作成したキーや、利用者が管理しているキーなどから選択できる⇔S3に送信するときにアプリケーション側であらかじめデータを暗号化して転送する（クライアントサイド暗号化）方法もある。
  Amazon EBS（Amazon Elastic Block Store）：EC2とセットで利用するストレージサービス。EC2上で稼働するアプリケーションのデータやログ、設定情報を保存する目的で資料する
  ※バックアップのため、スナップショットという機能がある
  復旧する場合はEBSボリュームとして復旧し、EC2に再びアタッチする。
  スナップショットといくつかの設定情報を組み合わせてAMIを作成することも可能

6/9（日）の活動

リテラシーレベルをあげること
G検定：統計学・計算問題
興味あること
AWSリソース②ストレージ
Amazon EFS（Amazon Elastic File System）：NFSというプロトコルを用いた複数のEC2インスタンスから同時利用が可能なストレージ。Linuxサーバーからも利用可能。
Amazon FSx：主にWindowsで利用されるファイル共有プロトコルであるSMBを利用するAmazon FSx for Windows File Serverと、大規模なクラスターコンピューティング・スーパーコンピュータなどで使われるLustre（高性能なファイルシステム）を利用するAmazon FSx for Lustreが提供されている。SMBに対応していれば使えるのでWindows以外でも選択肢となり得る。
AWS Storage Gateway：オンプレミス上にサーバー機器もしくは仮想サーバーを設置することでオンプレミスの機器から受け取ったデータをAWS上のS3、FSx、EBSとやり取りするサービス。直接AWSサービスとデータをやり取りするよりも高速に処理が行える。
AWS Transfer Family ：SFTP、FTPS、FTP、AS2 プロトコルを使用してAmazon S3 や Amazon EFSにファイル転送するためのプロトコル。
FTP系のプロトコルで通信したいアプリをそのままクラウド移行するときに利用する。

今週の振り返り

どこまでやり遂げたか、あとどれくらいか
【リテラシーレベル】
　・G検定テキスト　450/450ページ（テキスト進捗度：完了）
　　次週からは問題演習に入る。
【興味あること】
　・ネットワーク/コンテンツ配信、データベース、セキュリティ・アイデンティティ、その他の順に学習する