snsk

ソフトウェア/ゲーム の QA/テスト/PdM界隈に浮かぶアヒル。ウェブとちっさいパソ…

snsk

ソフトウェア/ゲーム の QA/テスト/PdM界隈に浮かぶアヒル。ウェブとちっさいパソコンとゲームが好きです。たくさん間違えます。

LLMアシストデータ駆動型のE2E自動テスト

ソフトウェアのプログラム中にLLMのAPI呼び出しを埋め込んで、返ってきたデータをプログラムの中で動的に利用するという手法があります。 これをテスト自動化に応用したものを考えてみました。LLMで動的にテストデータを生成させて、データ駆動で自動テストに適用する、というものです。 まずは結果からテスト自動化の練習のためのホテル予約サイト（https://hotel.testplanisphere.dev/ja/）のログイン画面を題材に、入力されたメールアドレスのフォーマット検

snsk

    • チームのテスト自動化がテストピラミッドに沿えているかをどうやって計測するのか

      ソフトウェア開発におけるテストの自動化はすべてのテストレベルで実現することが可能です。JSTQBのテストレベルの定義に従うと、コンポーネントテストレベルでのユニットテストランナーを利用したユニットテスト、テストダブル等を利用したコンポーネント結合テスト、OSSや市販のテスト自動化ツールが主には利用させるシステムテスト、前述のテスト自動化ツールやAPIテスト自動化ツールが活用される、システム統合テスト、受け入れテストなど、テスト自動化にもさまざまなレベル、アプローチが存在します

      snsk

      • Unityで一通りのゲームループを作るのに学んだことメモ

        Unityですごく簡易な3Dシューティングを作ってみました。以下のような要素を持っています。 タイトル画面、ゲーム画面（インゲーム）、ゲームオーバー（クリア）画面がある プレーヤーはX軸移動と、スペースキーでショットが打てる 画面にはボスキャラと隕石があり、ボスキャラは自機にランダム周期で攻撃してくる 画面内のすべてのオブジェクトを倒すとクリア スコアシステムがある ゲームオーバー（クリア）画面ではスコアが表示され、再挑戦か、終了がキーで選べる Unityにほぼ

        snsk

        • 「lsコマンド」をテストする

          みんな大好き ls (list segments) に対してテストを考えてみました。例えばこういうアプローチがあるよね、ということで、テスト開発プロセスを一定カバーする形になっています。 概要はこちら： https://github.com/snsk/ls_testing テスト開発プロセスの概要はこちら： https://github.com/snsk/ls_testing/wiki/test_development 本稿は上記*1の解説記事です。 なお、すべてのテス

          snsk

        LLMアシストデータ駆動型のE2E自動テスト

        snsk

        • チームのテスト自動化がテストピラミッドに沿えているかをどうやって計測するのか

          snsk

        • Unityで一通りのゲームループを作るのに学んだことメモ

          snsk

        • 「lsコマンド」をテストする

          snsk

          テスト設計に連動してテストコードを動的に変更する

          テスト設計の変更に従ってテストコードが自動で変更されて、勝手にテストを実行してくれると嬉しいですよね。その一部として、GIHOZのAPIを使って、期待動作の変更によってテストコードのふるまいを変えるデモを実演してみます。 まずふるまいから 題材のfizzbuzz関数に対して、デシジョンテーブルでド正常系のテストケースを4つ定義します。 テストを走らせると全てPASSします。 なんらかの仕様変更で、現在fizzと表示すべき振る舞いがbuzzに変更されたとして、デシジョン

          snsk

          テスト設計に連動してテストコードを動的に変更する

          snsk

          書籍「AIソフトウェアのテスト」 メモ

          AIソフトウェアに対する4つのテストのアプローチを具体的なモデル（MINSTの数字認識、HouseSaleデータセット）を用いてチュートリアル付きで解説してくれる稀有な書籍。を通して読んで（やって）みたのでメモ。 1.メタモルフィックテスティングメタモルフィックテスティングでは、仕様に基づく入出力の突合せ、入出力の関係性の変化に着目する。 テストオラクルを得にくい状況で活用できる。 テストデータxとxを加工したテストデータx'を入力したとき得られるy, y'の間に関係式が成

          snsk

          書籍「AIソフトウェアのテスト」 メモ

          snsk

          「現代品質管理総論」メモ

          現代品質管理総論 (シリーズ 現代の品質管理) 作者: 飯塚悦功 出版社/メーカー: 朝倉書店 発売日: 2009/12/01 メディア: 単行本 この商品を含むブログを見る いかにも大学の講義で使いそうな装丁ですが、飯塚先生の軽妙かつちょっとだけシニカルな語り口のおかげで案外読みやすいです。読みやすい、だけで内容は濃すぎるので、しっかり時間を確保して読まれることをお勧めします。 「品質確保のための要件」 品質技術者として製品、チーム、部門の品質向上を推進する

          snsk

          「現代品質管理総論」メモ

          snsk

          品質系社員の現場からのビジビリティー、存在感向上＝成果の見える化のアプローチ

          僕がある独立系ベンダーでテスターとしてブイブイ言わせてた頃にお世話になった先輩から、面白いご相談を頂いたので、30分ぐらいで書きなぐった回答（特定可能な部分は改変）。 1. 品質コストから考える 要するに：ビジネスにばっちり貢献してるんですよ まず実際にバグが出せているか？出せているなら、そのバグがもし市場にそのまま出ていたら、どれぐらいの損失（クレームに対して全社が動くコスト＋ブランド失墜の回復コスト）が発生していたかを推定してみる。それはおそらく利益を簡単に食いつぶし

          snsk

          品質系社員の現場からのビジビリティー、存在感向上＝成果の見える化のアプローチ

          snsk

          技術の進歩は「螺旋」である。 @t_wada さん社内講演

          先週、新卒技術研修の一環として @t_wadaさん にご講演を頂きました。 題して「この先生きのこるためには」*1。 第一線のエンジニアとして素晴らしい薫陶の数々を授けて下さいましたので、渋谷や六本木の会社さんもオファーしてみたほうがいいですよ。ホント。 エンジニアはアーティストとしての側面も持つので、ファーストクラスの方の考え方に早いうちから触れておくことは、数年先の彼らの在り方に少なからず良い影響を与えるはずだ、という考え*2に基づくおふたりめの社外講師です。おひとり

          snsk

          技術の進歩は「螺旋」である。 @t_wada さん社内講演

          snsk

          特定のプログラムが触っているファイルを調べる（Windows）

          特定のプログラムが触っているファイルの名前を調べるとき、 C:\>openfiles とかやるのですが、この中から更に*.dllだけ、とかいうときわざわざWin32のgrep探してこなくてもいける事が最近判明。 C:\>openfiles | find ".dll" 案外できるもんだWindows。ちなみにopenfilesはデフォルトでネットワークから参照されているファイルを表示してくれますが、/Local ON ってやってシステム再起動すると、ローカルコンピュータ

          snsk

          特定のプログラムが触っているファイルを調べる（Windows）

          snsk

          SunSpider JavaScript Benchmark はそれぞれ何を測っているのか？

          アーカイブ開いてREADME的なもの探しても無いし、Webkitのサイトやその周りにも載って無いしでよくわからない、ので調べてみた。ウェブブラウザに搭載されているJavaScript処理系がどんだけやれんのか叩き出してくれるアレです。 http://www2.webkit.org/perf/sunspider-0.9/sunspider.html 3d-cube 元ネタはここ。 前版よりパフォーマンスが落ちるバグの確認の為のコンテンツだったらしい。回転する立方体の3Dレン

          snsk

          SunSpider JavaScript Benchmark はそれぞれ何を測っているのか？

          snsk

          僕がテレビゲームで学んだ3つの事

          主にアーケードゲームではあるが、ある学校の教師や地域が禁じたそのテレビゲームから、こんな事を学ぶ人間もいるという事例を示したく。 教訓1：自分より強い奴がいる これを十代のうちに学べたのは、僕にとっては非常に大きな収穫だった。自信のあるはずの格闘ゲームで、シューティングのハイスコアで、レースゲームのタイムで、必ず自分の上を行く奴が出てくる。勝ち負けが1点、1秒、1ラウンド単位で厳格にジャッジされる為、突きつけられる事実は重い。万能感の抜け切らない十代前半の事だから、 曰

          snsk

          僕がテレビゲームで学んだ3つの事

          snsk

          function文とfunction式とFunctionコンストラクタと。

          部屋とYシャツと私と俺とお前と大五郎。javascriptでおなじみの関数周りの仕様について、昔からMDCに詳しく載っていたのですが、ようやく実感できてきたので、自分用解釈メモ。 function 文 function multiply(x, y) { return x * y;} 同時にその関数名と同じ名前の変数を作成する 「関数名」と「その関数が代入された変数名」は違う(！) 定義されたスコープ内ではその名前でアクセス可能 宣言より前に使える(parseの

          snsk

          function文とfunction式とFunctionコンストラクタと。

          snsk

          映画 「バック トゥ ザ フューチャー 1」 で ドクが模型を使って作戦を説明するシーン脚本。

          「バック トゥ ザ フューチャー」の面白さは、ドクとマーティがたびたび起こる失敗に対して、なら次はこうだ、その次はこうだ、とまったくめげずにテンポよくリカバリーしていくところだ、という感想をどこかで読んだのですが、まさにその通りだと感じます。何度観ても飽きない、100年モノの名作ですね。 そんな「バック トゥ ザ フューチャー」の中で僕が一番好きなシーン、時計台への落雷を利用してマーティを1985年に返す算段を、ドクが町並みの模型を使って説明する場面の原文を見つけたので英語

          snsk

          映画 「バック トゥ ザ フューチャー 1」 で ドクが模型を使って作戦を説明するシーン脚本。

          snsk

          JSTQB カンファレンス in 2010 に行ってきた

          10/14(木) 東京ステーションコンファレンス サピアタワー5F にて開催された、JSTQB カンファレンス in 2010「ISTQB world trend reports」に行ってきました。 JSTQBは日本で受けられる数少ないソフトウェアテスト技術者の資格認定制度で、ベンダーフリーかつ国際資格であるISTQBとの互換性を有する唯一の資格です。現在日本では Foundation Level と Advanced Level (一部) が実施されており、私も先日 Ad

          snsk

          JSTQB カンファレンス in 2010 に行ってきた

          snsk

          ソフトウェアテスト技法ドリル勉強会で出題してきた。

          昨日、Niftyさんで行われた「ソフトウェアテスト技法ドリル勉強会」にて、1章の課題出題、解答と解説を担当させて頂きました。企画、幹事、スタッフのみなさまには貴重な機会を頂き、ありがとうございました。 まずもってNiftyさん至れりつくせりすぎ。 今回の勉強会はNiftyさんの「@Nifty エンジニアサポート」というサービス？を利用して開催されたのですが、およそ50名はゆうに入れる(しかもスクール席)であろうフロアをはじめ、演台、フロアの前面と中程に配置されたプロジェク

          snsk

          ソフトウェアテスト技法ドリル勉強会で出題してきた。

          snsk