Shortest: una herramienta de pruebas automatizadas con IA que utiliza el lenguaje natural para realizar pruebas de principio a fin

Introducción general

Shortest es un marco de pruebas de extremo a extremo en lenguaje natural basado en IA desarrollado por el equipo de Anti-Work. Está basado en Playwright y admite la integración con GitHub y la autenticación de dos factores (2FA). Claude API para la ejecución de pruebas basadas en IA. El marco está diseñado para agilizar el proceso de pruebas, mejorar su eficacia y permitir a los desarrolladores escribir y mantener casos de prueba con mayor facilidad.

Lista de funciones

• Redacción de pruebas en lenguaje natural: Escribir casos de prueba en lenguaje natural reduce el umbral para escribir pruebas.
• Ejecución de pruebas basada en IA: Ejecución de pruebas basadas en IA con un alto grado de automatización mediante la API Anthropic Claude.
• Basado en el dramaturgo: Construido sobre Playwright para proporcionar una potente automatización del navegador.
• Integración en GitHubIntegración perfecta con GitHub, incluida la autenticación de dos factores (2FA).
• verificación de correo electrónico: La validación del correo electrónico mediante Mailosaur garantiza una comprobación exhaustiva.
• función callback: Soporte para añadir aserciones adicionales y lógica usando funciones callback.
• gancho del ciclo de vidaPermite la ejecución de lógica personalizada antes y después de la ejecución de la prueba.

Utilizar la ayuda

Proceso de instalación

1. Instale Shortest usando npm, pnpm o yarn:

   npm install -D @antiwork/shortest
# 或者
pnpm add -D @antiwork/shortest

2. comandante en jefe (militar).shortest/añadir a.gitignorepara almacenar capturas de pantalla y cachés de cada prueba realizada:

   echo ".shortest/" >> .gitignore

3. Identifique el portal de pruebas y añada la clave API de Anthropic al archivo de configuración:

   // shortest.config.ts
import type { ShortestConfig } from "@antiwork/shortest";
export default {
headless: false,
baseUrl: "http://localhost:3000",
testPattern: "**/*.test.ts",
anthropicKey: process.env.ANTHROPIC_API_KEY,
} satisfies ShortestConfig;

Proceso de utilización

1. Escribir casos de prueba:

   // app/__tests__/login.test.ts
import { shortest } from "@antiwork/shortest";
shortest("Login to the app using email and password", {
username: process.env.GITHUB_USERNAME,
password: process.env.GITHUB_PASSWORD,
});

2. Utilice funciones de devolución de llamada para añadir aserciones y lógica adicionales:

   import { shortest } from "@antiwork/shortest";
import { db } from "@/lib/db/drizzle";
import { users } from "@/lib/db/schema";
import { eq } from "drizzle-orm";
shortest("Login to the app using username and password", {
username: process.env.USERNAME,
password: process.env.PASSWORD,
}).after(async ({ page }) => {
const clerkId = await page.evaluate(() => {
return window.localStorage.getItem("clerk-user");
});
if (!clerkId) {
throw new Error("User not found in database");
}
const [user] = await db
.select()
.from(users)
.where(eq(users.clerkId, clerkId))
.limit(1);
expect(user).toBeDefined();
});

prueba de funcionamiento

1. Ejecute pruebas utilizando npx, pnpm o yarn:

   npx shortest
# 或者
pnpm shortest
# 或者
yarn shortest

Funciones detalladas

• Redacción de pruebas en lenguaje naturalShortest permite a los usuarios escribir casos de prueba utilizando lenguaje natural, como "inicie sesión en la aplicación y utilice su correo electrónico y contraseña". Este enfoque reduce la barrera técnica a la hora de escribir pruebas y permite que personas sin conocimientos técnicos participen en su redacción.
• Ejecución de pruebas basada en IAShortest aprovecha la API de Anthropic Claude para la ejecución de pruebas basadas en inteligencia artificial que comprenden y ejecutan de forma inteligente los casos de prueba para mejorar la automatización y la precisión de las pruebas.
• Basado en el dramaturgo: Shortest se basa en Playwright y ofrece una potente automatización de navegadores con soporte para pruebas en múltiples navegadores y dispositivos.
• Integración en GitHubShortest admite una integración perfecta con GitHub, incluida la autenticación de dos factores (2FA), lo que garantiza la seguridad y la fiabilidad del proceso de pruebas.
• verificación de correo electrónicoLa validación del correo electrónico mediante Mailosaur garantiza una comprobación exhaustiva y precisa.
• función callbackShortest admite el uso de funciones de devolución de llamada para añadir aserciones y lógica adicionales, lo que permite a los usuarios realizar validaciones y manipulaciones adicionales después de la ejecución de la prueba.
• gancho del ciclo de vidaShortest proporciona ganchos de ciclo de vida que permiten a los usuarios ejecutar lógica personalizada antes y después de la ejecución de la prueba, como la configuración del entorno de prueba antes de la prueba y la limpieza de los datos de prueba después de la prueba.