Logo for Cashea

LLM Ops Engineer

Role overview

Qualifications

  • Solid experience in Python (or similar backend language) building services/APIs in production.
  • Experience designing and operating API gateways, proxies, or middleware layers at scale.
  • Experience with containers and orchestration: Docker and Kubernetes.
  • Experience with at least one cloud (AWS, GCP, or Azure).

Responsibilities

  • Design, build, and operate an LLMs gateway that offers a unified interface over multiple providers.
  • Implement model routing, fallbacks, retries, balancing, and dynamic provider/model selection by use case.
  • Manage provider credentials and keys securely (rotation, secrets management).
  • Implement caching (including semantic caching) to reduce costs and latency.

About the company

Cashea logo

Cashea

Company details

Your match analysis

See how your profile stacks up against this role.

We compared the job requirements to your profile to show where you're strong and where you fall short.

Job description

¡Hola! Somos Cashea 👋 y nuestra misión es devolverle a los venezolanos la oportunidad de acceder al crédito a través de un modelo de negocio BNPL (buy now, pay later).

Desde nuestro lanzamiento en 2022, nos hemos dedicado a promover la inclusión financiera. Hoy contamos con más de 9 millones de usuarios activos, tanto consumidores como comercios, y nos hemos convertido en una marca de confianza en Venezuela, ganándonos el corazón y la mente de las personas.

Resumen del rol

Buscamos un/a LLM Ops Engineer que construya y opere la capa de plataforma de IA de la empresa: una gateway de LLMs y una gateway de MCP que se sitúan entre nuestras aplicaciones y los proveedores externos de modelos (OpenAI, Anthropic, Google, etc.) y las herramientas/servidores MCP.

No buscamos hostear ni entrenar modelos propios. El foco es integrar proveedores externos y gobernarlos: enrutamiento, control de costos, límites de uso, seguridad, cumplimiento, trazabilidad y confiabilidad. Eres la persona que hace que el resto de los equipos consuman IA de forma segura, observable y rentable, a través de una interfaz unificada y gobernada.

Trabajarás en la intersección entre ingeniería de plataforma, seguridad y FinOps aplicado a IA.

Responsabilidades

LLM Gateway
  • Diseñar, construir y operar una gateway de LLMs que ofrezca una interfaz unificada sobre múltiples proveedores.

  • Implementar enrutamiento de modelos, fallbacks, reintentos, balanceo y selección dinámica de proveedor/modelo por caso de uso.

  • Gestionar credenciales y claves de proveedores de forma segura (rotación, secrets management).

  • Implementar caching (incluido semantic caching) para reducir costos y latencia.

MCP Gateway
  • Construir y operar una gateway de MCP para exponer, descubrir y gobernar el acceso a servidores y herramientas MCP.

  • Definir controles de acceso por herramienta/servidor (qué app o equipo puede invocar qué).

  • Auditar y registrar el uso de herramientas MCP, con trazabilidad de extremo a extremo.

Gobernanza, seguridad y cumplimiento
  • Implementar guardrails, filtrado de contenido y defensas contra prompt injection y fuga de datos.

  • Implementar redacción/enmascaramiento de datos sensibles (PII) en prompts, respuestas y logs.

  • Definir y aplicar políticas de acceso (RBAC), cuotas y límites de uso por equipo, app o usuario.

  • Mantener registros de auditoría y apoyar requisitos de cumplimiento y privacidad.

Costos y observabilidad (FinOps de IA)
  • Implementar atribución de costos por equipo/app/feature y presupuestos con alertas.

  • Construir observabilidad para IA: tracing, métricas de latencia, costo, uso y calidad.

  • Establecer dashboards y alertas sobre consumo, errores y degradación de proveedores.

Confiabilidad
  • Definir SLAs/SLOs para la plataforma de IA y planes de respuesta ante incidentes (incluida la caída de un proveedor).

  • Apoyar a los equipos de producto e ingeniería en la integración con la gateway.

Requisitos

  • Experiencia sólida en Python (o lenguaje similar de backend) construyendo servicios/APIs en producción.

  • Experiencia diseñando y operando API gateways, proxies o capas de middleware a escala.

  • Experiencia con contenedores y orquestación: Docker y Kubernetes.

  • Experiencia con al menos una nube (AWS, GCP o Azure).

  • Experiencia integrando APIs de proveedores de LLMs (OpenAI, Anthropic u otros).

  • Sólidos fundamentos de seguridad: gestión de secretos, autenticación/autorización (RBAC, OAuth), manejo de datos sensibles (PII).

  • Mentalidad de plataforma: construir abstracciones que otros equipos consumen de forma confiable.

  • Comprensión de los retos propios de los LLMs: latencia, costos variables, no-determinismo y necesidad de observabilidad.

Nice to have

  • Experiencia con gateways de LLM existentes: LiteLLM, Portkey, Kong AI Gateway, Cloudflare AI Gateway, OpenRouter o similares.

  • Conocimiento del Model Context Protocol (MCP) y experiencia integrando o gobernando servidores MCP.

  • Experiencia con herramientas de observabilidad para IA: Langfuse, Helicone, LangSmith, Arize Phoenix.

  • Experiencia con guardrails y seguridad de IA (p. ej. defensa contra prompt injection, content moderation, DLP).

  • Experiencia en FinOps o gestión/atribución de costos en la nube.

  • Experiencia previa en entornos regulados (fintech, salud, etc.) con requisitos de cumplimiento y privacidad.

  • Experiencia con infraestructura como código (Terraform) y CI/CD.

Por qué te encantará trabajar en Cashea

En Cashea tenemos una cultura de trabajo basada en la confianza y el propósito. Si quieres saber por qué somos el lugar ideal para ti, estos son nuestros valores fundamentales:

  • No trabajamos en piloto automático. Todo lo que hacemos y compartimos —dentro y fuera— es intencional. Nos apasiona crear ideas siendo plenamente conscientes del impacto que tienen en nuestros usuarios.

  • Tu creatividad y curiosidad son tus activos más importantes.

  • Tu voz importa. Escuchamos y abrimos espacio para las ideas y el feedback. Aquí todos pertenecen; lo que es importante para ti, lo es para nosotros.

  • Valoramos la transparencia. La claridad nos mantiene conectados y con los pies en la tierra.

  • Por último, pero no menos importante, nos enfocamos en el impacto real. Todo lo que hacemos está destinado a marcar la diferencia.

¿Te identificas? ¡Postúlate ahora, nos encantaría conocerte!

Apply once. Then go straight to the hiring manager.

After you apply, unlock the direct contact details of the people who actually make the call. A quick follow-up makes you 5x more likely to land an interview.

MR

Marcus Rivera

Chief Revenue Officer

m.rivera@company.com
linkedin.com/in/marcusrivera
Unlocked after you apply
·

ML Ops Engineer Related jobs

Premium

Reach out to the hiring manager directly.

Gain access to the contact details of the hiring managers who actually decide, and reach out to network with them directly. That, plus more when you upgrade:

  • Full match report with fit score and gaps
  • Career diagnostics on how recruiters read you
  • Curated company matches and warm intros
  • 48h early access to new roles

Cancel anytime.