Screenpipe (20K★, YC S26): Biến mọi thao tác trên máy tính thành bộ nhớ cho AI agent
Hướng dẫn cài đặt Screenpipe — công cụ ghi màn hình 24/7 chạy local, tích hợp Hermes Agent & Claude Code. Kèm benchmark PII thực tế: mô hình local đánh bại GPT-5.5 và Gemini về phát hiện dữ liệu nhạy cảm.
Tuần này Screenpipe chính thức công bố tham gia Y Combinator S26. Đây là công cụ ghi lại mọi thứ bạn thấy, nghe, và làm trên máy tính — chạy hoàn toàn local, không gửi dữ liệu lên cloud — rồi biến chúng thành bộ nhớ tìm kiếm được cho AI agent.
Screenpipe là gì?
┌─────────────────────────────────────────┐
│ màn hình + âm thanh → lưu local → AI │
└─────────────────────────────────────────┘Nói đơn giản: Screenpipe là “Rewind.ai mã nguồn mở”. Nó capture màn hình và âm thanh máy tính của bạn 24/7, lưu mọi thứ trên ổ cứng local, rồi cho phép bạn:
- Tìm kiếm bằng ngôn ngữ tự nhiên: “Hôm qua lúc 3h chiều tôi đọc bài báo nào về Kubernetes?”
- Cho AI agent context về công việc của bạn: Agent biết bạn đang làm gì, đã làm gì để tự động hóa
- Tự động tạo SOP: Quan sát bạn làm việc → tạo quy trình chuẩn
Quan trọng nhất: tất cả chạy local. Dữ liệu không rời khỏi máy bạn.
Thông số kỹ thuật thực tế
| Thông số | Giá trị |
|---|---|
| CPU | 5-10% (event-driven, không record liên tục) |
| RAM | 0.5 - 3 GB |
| Ổ cứng | ~20 GB/tháng |
| Nền tảng | macOS (AS + Intel), Windows, Linux |
| GitHub | 20,418 ★ — 2,017 forks |
| License | Source-available, miễn phí cá nhân |
Cách nó capture thông minh: thay vì quay video 60fps liên tục, Screenpipe chỉ chụp khi có sự kiện thực sự — đổi app, click chuột, gõ phím, cuộn trang. Mỗi lần chụp nó lấy cả accessibility tree (cấu trúc text mà OS đã biết) + screenshot. Nếu accessibility tree không có (VD: remote desktop, game), nó fallback sang OCR.
Cài đặt trong 2 phút
# Cài & chạy record
npx screenpipe record
# Setup (cấu hình ổ đĩa, chọn model, quyền truy cập)
npx screenpipe setupTích hợp với Claude Code / Cursor
# Thêm Screenpipe làm MCP server cho Claude
claude mcp add screenpipe -- npx -y screenpipe-mcp@latestSau đó hỏi Claude: “What did I see in the last 5 minutes?” hoặc “Summarize today’s conversations.”
Tích hợp với Hermes Agent
Screenpipe hỗ trợ sẵn Hermes Agent trong danh sách 100+ tích hợp. Hermes có thể dùng Screenpipe để:
- Tra cứu context công việc của bạn trước khi trả lời
- Tự động ghi nhận task bạn đang làm vào Linear / Notion
- Tạo pipe (agent trigger) từ hoạt động thực tế
Benchmark PII: Local model đánh bại GPT-5.5
Đây là phần đáng chú ý nhất. Nhóm Screenpipe công bố benchmark ScreenLeak — đo khả năng phát hiện và xóa dữ liệu nhạy cảm (PII) từ screen recording. Tất cả benchmark chạy trên browser, code public.
Text PII (API key, password, email, connection string…)
| Model | Tỉ lệ phát hiện |
|---|---|
| Gemini 3.1 Pro | 91.0% |
| GPT-5.5 | 90.7% |
| Claude Opus 4.7 | 87.8% |
| Screenpipe local | 86.7% |
| Google Cloud DLP | 37.7% |
| Microsoft Presidio | 35.4% |
Image PII (tên, địa chỉ, CCCD trong ảnh chụp màn hình)
| Model | Tỉ lệ phát hiện (IoU ≥ 0.30) |
|---|---|
| Screenpipe local | 98.9% |
| Gemini 3.1 Pro | 4.2% |
| GPT-5.5 | 3.2% |
| Google Cloud DLP | 2.6% |
| Claude Opus 4.7 | 2.1% |
| Microsoft Presidio | 0.5% |
Điểm đáng chú ý: model local 278MB chạy ở ~10ms cho text, ~120ms cho image — nhanh hơn nhiều so với gọi API cloud. Và với image PII, tỉ lệ 98.9% vs 4.2% của Gemini là khoảng cách khổng lồ.
Lý do: model của Screenpipe được huấn luyện riêng cho screen telemetry data, trong khi GPT/Gemini được huấn luyện tổng quát. Bài toán càng chuyên biệt, model nhỏ chuyên dụng càng có lợi thế.
5 use case thực tế
1. Developer dùng AI coding agent
Bạn đang dùng Claude Code hoặc Cursor. Thay vì copy-paste context mỗi lần, agent tự biết bạn đang mở file nào, terminal nào, đọc tài liệu gì trong 30 phút qua.
2. Tự động điền timesheet / Linear
Screenpipe biết bạn vừa dành 2 giờ sửa bug #342. Tạo một “pipe” (agent trigger) để tự động log vào Linear: “Louis spent 2h on #342 — fixed null pointer in auth flow.”
3. Họp hành không cần note
Microphone capture + Whisper local (Large-V3-Turbo) transcribe real-time. Speaker diarization phân biệt được ai đang nói. Sau họp: “Tóm tắt quyết định trong meeting 10h sáng nay.”
4. Bảo mật dữ liệu nhạy cảm
Screen sharing trong meeting? Screenpipe tự động detect và redact PII trước khi nó xuất hiện trên màn hình. Model local vừa nhanh vừa không gửi dữ liệu ra ngoài.
5. Người bị ADHD / hay quên
“Tôi vừa đọc bài báo đó ở đâu nhỉ?” → “search: article about Kubernetes pod security 3pm yesterday” → tìm ra ngay.
AIFirst Take
✅ Nên dùng nếu:
- Bạn đã dùng AI agent hàng ngày (Claude Code, Cursor, Hermes) — context tự động là game changer
- Bạn làm việc với dữ liệu nhạy cảm cần PII redaction local
- Bạn muốn có “bộ nhớ thứ hai” có thể tìm kiếm được
- Bạn họp hành nhiều, cần transcribe + tóm tắt tự động
- Bạn sẵn sàng hy sinh ~20GB ổ cứng/tháng
❌ Chưa nên nếu:
- Máy bạn dưới 8GB RAM — screen recording + Whisper transcription cần tài nguyên
- Bạn lo ngại về privacy dù là local — screen recording 24/7 là quyết định lớn về mặt tâm lý
- Bạn dùng Linux (chưa có binary chính thức, phải build từ source)
- Bạn cần dùng cho team/enterprise — license thương mại bắt buộc sau 7 ngày eval
Chi phí
Cá nhân: Miễn phí vĩnh viễn. Source-available, có thể audit code.
Doanh nghiệp: Miễn phí 7 ngày đánh giá → cần mua license thương mại (chưa công bố giá công khai, liên hệ qua screenpi.pe/team).
Phần cứng khuyến nghị: MacBook M1 16GB trở lên, hoặc PC Windows/Linux 16GB+ RAM. Ổ cứng trống ~20GB/tháng.
Nguồn:
- Screenpipe GitHub — 20,418★, YC S26
- ScreenLeak PII Benchmark — benchmark methodology & leaderboard
- Screenpipe Docs — hướng dẫn cài đặt & API reference
- HN: Launch HN: Screenpipe (YC S26) — 32 points