ollos-mcp

Olhos e ouvidos para agentes, rodando inteiro na sua máquina.

Papel: Autor e mantenedor
Status: Open source · npm
Stack: Node.js · ONNX Runtime · Whisper · OCR
Link: github.com/kelvinbiffi/ollos-mcp ↗

01O problema

Agente não consegue assistir um vídeo nem ouvir uma call, e mandar mídia privada para uma API na nuvem só para o modelo ler muitas vezes não é permitido.

02O que eu construí

Transcrição Whisper, segmentação de falante, keyframe por hash perceptual e OCR, tudo rodando local em Node via ONNX Runtime. Sem Python, sem nuvem, sem chave de API, então o arquivo nunca sai da máquina. O mesmo core sai como servidor MCP, CLI e biblioteca Node.

03A decisão que importou

Ele reporta confiança por bloco e por segmento, e filtra as linhas que o Whisper inventa sobre silêncio. Uma transcrição que não diz onde está insegura é pior do que uma visivelmente errada.

04Provas

No npm como ollos-mcp
Transcrever, separar falantes, keyframes, OCR, busca e revisão
Confiança reportada por segmento, silêncio alucinado filtrado

05MCP

Transcrever, separar falantes, escolher keyframes e ler texto na tela de mídia local, com confiança por segmento. · Local · sem chave

ollos_probe
ollos_transcribe
ollos_diarize
ollos_keyframes
ollos_frames
ollos_read_screen
ollos_search
ollos_review
ollos_job
ollos_cancel

06Stack

Node.js
ONNX Runtime
Whisper
OCR
MCP

Visitar github.com/kelvinbiffi/ollos-mcp

Próximo case MentalKare Um hub de saúde mental acessível e multilíngue que conecta profissionais e pacientes.