AIが書いたテストが全て通っても信頼しにくいとき、コードをわざと壊してテストの強さを測るStryker(qiita.com)

- テストが全て通っても、そのテストが実際に誤りを検出できるかは分からない。ミューテーションテストは、コードをわざと少しずつ壊してからテストが失敗するかを確認する。失敗すれば検出、通れば見逃しである。Strykerはこの過程を自動で行うツールだ。 - 著者のチームは、会社ごとにデータを自動で絞り込むPrismaクライアント(モデル131個)に適用した。モデルごとの条件を記した定義表は最初から100%で、手書きのクライアントテストは89.74%で補強した後に100%になった。 - 見逃した例の中には、他社の行を削除する試みが、会社ごとのフィルターではなく外部キー制約のために失敗していたテストがあった。レビューの指摘を受けてAIが追加したbind呼び出しは、削除しても動作が同じで不要なコードだと分かった。 - 著者の環境では、ミュータント407個に3分30秒かかり、規模が1,326個に拡大すると24分かかった。関係のないテストまで実行されないよう、実DBのテストだけを指定する必要があり、著者はPRの前に一度実行する方式を考えている。