AI QA ENGINEER
Banco de Crédito BCP
Sobre la empresa
Somos el banco peruano que desde hace más de 130 años viene liderando el sistema financiero a nivel nacional. A lo largo de todo este tiempo hemos contribuido con el desarrollo económico de nuestro país, transformando planes en realidad. Todo esto es posible gracias al equipo de profesionales de primer nivel que forman parte de nuestro equipo y que se caracterizan por su pasión por metas y resultados y capacidad de innovar y buscar siempre ser los mejores. Nuestra diversidad de negocios y áreas nos permite ofrecer múltiples experiencias de trabajo, en muchas especialidades que requieren diferentes competencias y habilidades. Por ello, estamos en permanente búsqueda de profesionales talentosos y dispuestos a afrontar nuevos retos, con capacidad para innovar y con ganas de desafiarse en grande para impactar en grande. ¡Únete al Equipo BCP!
Descripción del puesto
¡Únete al Equipo BCP! Sé parte de una comunidad que no conoce fronteras, con un propósito en común que nos motiva e inspira para impactar en los planes de millones de peruanos, transformándolos en realidad. ¿Quieres pertenecer a algo grande? ¡Aquí Es! ¿Qué esperamos de ti? - Construir y mantener los golden sets y datasets de evaluación de cada componente (Creación, versionado y expansión periódica) e implementar las métricas por tipo de componente: RAG (groundedness, context relevance), agentes (task completion, tool-use accuracy) y memoria (retrieval precision). - Automatizar las evals dentroo del pipeline de CI/CD para que operen como release gate y no como control posterior, operando las herramientas de evaluación del área (Azure AI Evaluation SDK, Promptflow Evaluators, LangSmith, Ragas o equivalentes). - Implementar guardrails de entrada y salida (filtros de contenido, detección de PII, validación de formayo) y ejecutar pruebas adversariales, de robustez y red-teaming estructurado (prompt injection, jailbreaking, boundary conditions, inputs inesperados) verificando el cumplimiento de las políticas de seguridad, privacidad y gobierno de IA del banco antes de cada release. - Ejecutar el ciclo de no-regresión y bloquear el release cuando el componente degrade su comportamiento; monitorear la calidad en producción (drift, degradación de evals, alertas), mantener dashboards e historial accesibles a los equipos consumidores y gestionar los incidentes de calidad hasta su remedación documentada. ¿Qué buscamos? - Bachiller o titulado de las carreras de Ingeniería de Sistemas, Software, Ciencias de la Computación, Informática o carreras afines. - Experiencia de 3 o más años en QA de software, ingeniería de calidad o SDET en entornos productivos. - Experiencia de 2 o más años en calidad de sistemas de IA/ML o LLMs. - Nivel avanzado de Python para scripting de evals y automatización; métricas de evaluación de LLMs; construcción, versionado y mantenimiento de golden sets y datasets de evaluación; testing automatizado unitario, de integración, de contrato y de regresión. - Inglés intermedio para lectura y comprensión de documentación técnica especializada y papers de investigación. - Deseable: Certificación en ISTQB Advanced, Azure AI Engineer Associate o equivalente. - Deseable: Especialización en evaluación de sistemas de IA, testing de LLMs o AI Safety. ¿Qué Ofrecemos? - Ambiente empoderador: Únete a un entorno de trabajo donde tu voz importa y tus ideas impulsan el cambio. - Crecimiento profesional: Disfruta de oportunidades de desarrollo continúo, respaldadas por un equipo comprometido con tu éxito. - Compensación competitiva: Recibe una compensación atractiva y beneficios flexibles diseñados para adaptarse a tu estilo de vida y metas personales. ¿Qué beneficios disfrutarás? - Ingreso a Planilla. - Pago de Bonos por Desempeño. - Pago de Utilidades. - Oportunidades de desarrollo Si estás listo para unirte al equipo que innova y crea soluciones, ¡postula con nosotros! “Somos una organización comprometida con la igualdad de derechos y oportunidades. Nuestros procesos de selección se rigen bajo una política donde nuestras/os postulantes son consideradas/os sin importar su origen, género, raza o cualquier otra característica, condición o preferencia, promoviendo así una cultura de respeto mutuo”