최종 업데이트: 2026-11-03
ReasonBlocks는 Y Combinator 2026년 봄 배치 출신 스타트업으로, AI 평가의 문항과 정답, 채점 방식을 검토합니다. AI 심사자와 사람 검토자의 판정을 비교하고, 수집한 에이전트 트래픽으로 후보 모델도 학습합니다. 2026년 10월 BFCL 연구는 306개 과제를 과제당 4회 실행했습니다.
ReasonBlocks 소개
Sajeev Magesh(스탠퍼드 컴퓨터공학)와 Rohan Vij(CMU)가 2026년에 설립한 ReasonBlocks는 Y Combinator 2026년 봄 배치를 거쳤습니다. 제3자 기업 정보 트래커는 YC 스탠다드 딜 $500K를 보고하지만, 회사는 자체 사이트에 투자 금액을 밝히지 않습니다.
처음에는 프로덕션 에이전트의 루프와 토큰 낭비를 막는 런타임 레이어였습니다. 9월에는 "Frontier accuracy. 3x Cheaper."라는 증류 모델 메시지로 옮겼습니다. 2026년 11월 현재 홈페이지는 세 번째 틀을 앞세웁니다. AI 평가를 언제 믿어도 되는지 알려 주겠다는 것입니다.
시작 경로는 두 가지입니다. 기존 평가 스위트가 있으면 ReasonBlocks가 문항과 정답 키, 채점 방식을 검토합니다. 에이전트 트레이스를 공유하면 실제 과제와 실패 사례를 바탕으로 평가 초안을 만들고, 팀이 그 초안을 검토합니다.
홈페이지는 네 가지 점검을 차례로 보여 줍니다. AI 심사자가 블라인드 사람 검토자와 일치하는지, 테스트 세트가 알려진 실패 유형을 덮는지 확인합니다. 버전 비교는 팀이 승인한 목표(품질, 비용, 지연 시간)에 맞춘 같은 사례로 합니다. 마지막은 서명이 붙는 한 페이지짜리 출시 메모이며, 모델이 바뀌면 재테스트합니다.
홈페이지의 심사자 대 사람 데모에서 분쟁 그룹 통과율은 심사자 80%, 사람 54%입니다. 이 수치는 고객 결과가 아니라 예시로 표시되어 있습니다.
내부 구조는 신뢰 페이지에 나와 있습니다. 캡처 게이트웨이가 지원되는 트래픽을 사용자의 제공사 키로 OpenAI나 Anthropic에 전달합니다. 수집된 데이터로는 Thinking Machines Lab의 Tinker를 써서 후보 모델을 학습하고 평가합니다.
리서치 페이지에는 자체 연구가 올라와 있습니다. 2026년 9월 WorkBench 글은 250개 과제를 과제당 4회, 10월 BFCL 글은 306개 과제를 과제당 4회 실행했습니다.
비교 대상은 Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5, GPT 6.1 Sol, GLM 5.3, Kimi K3입니다. 모두 회사가 직접 돌린 벤치마크이며, 비용 수치는 모델 용량을 최대로 쓴다고 가정한 값입니다.
아쉬운 점도 있습니다. 추적과 대시보드만 원하는 팀은 원하지 않던 상담 중심 서비스를 받게 되고, 후보 모델은 검증하고 유지할 두 번째 산출물이 됩니다. 신뢰 페이지에 따르면 평가 점검은 테스트한 요청에 대한 근거만 줍니다. 온프레미스나 고객 GPU 배포는 없고, 데이터 상주 보장도 없습니다.
관측이 주목적이면 Crukx와 Codag를 비교해 보십시오. 셀프서브 평가 제품을 찾는다면 Openlayer나 Confident AI가 있고, AI 에이전트 관측 카테고리에서 더 볼 수 있습니다. 관측이 실제로 맡는 세 가지 일은 에이전트 관측 가이드에 정리했고, Smart Match는 내 스택에 맞는 도구를 추려 줍니다.
가격
ReasonBlocks는 2026년 11월 3일 기준 가격을 공개하지 않습니다. 접근은 "Book a conversation" 상담으로 이뤄집니다. 신뢰 페이지에 따르면 유료 작업은 Stripe로 구매한 조직 크레딧에서 차감되고, 유료 기준선과 학습, 평가 실행 전에 승인 단계가 있습니다.
OpenAI나 Anthropic으로 전달된 트래픽은 사용자의 제공사 계정에서 따로 청구됩니다. 요금제가 공개된 평가 도구는 Confident AI와 Openlayer를 참고하십시오.
주요 기능
- 평가 스위트 검토: 기존 평가 스위트의 문항과 정답 키, 채점 방식을 읽고 의심스러운 정답과 테스트 세트 유출 가능성을 짚어 줍니다.
- 트레이스에서 평가 생성: 공유한 에이전트 트레이스를 실제 과제와 실패 사례 기반의 평가 초안으로 바꿉니다. 팀이 승인하기 전에는 아무것도 신뢰하지 않습니다.
- 심사자 대 사람 점검: AI 심사자 점수를 블라인드 사람 검토와 그룹별로 비교합니다. 전체 통과율이 높아도 특정 구간의 큰 격차가 가려지지 않습니다.
- 같은 사례로 버전 비교: 팀이 승인한 목표에 맞춰 같은 사례로 버전을 비교합니다. 품질과 비용, 지연 시간을 모두 봅니다.
- 출시 메모와 재테스트: 봉인된 샘플로 한 페이지짜리 메모를 만들고 서명을 기록합니다. 기반 모델이 바뀌면 다시 테스트합니다.
- 후보 모델 학습: 수집한 트래픽이나 업로드한 데이터셋으로 후보 모델을 학습하고 평가합니다. 비공개 테스트 엔드포인트와 선택형 제한 트래픽 카나리가 붙습니다.
장점
- 평가 자체를 감사 대상으로 봅니다. 심사자 점수는 좋은데 실제 사용자는 동의하지 않는 팀에 맞습니다.
- 시작점이 둘입니다. 기존 평가나 원본 트레이스 중 하나로 시작하므로, 평가 스위트가 아직 없는 팀도 배제되지 않습니다.
- 유료 학습과 평가 작업은 기준과 승인을 거치기 위해 멈추고, 실행 예산과 크레딧 예약이 지출 상한을 정합니다.
- 자체 벤치마크 글에 과제 수와 시도 횟수를 밝혀 두어, 주장을 직접 따져 볼 수 있습니다.
단점
- 2026년 11월 3일 기준 공개 가격이 없고 접근은 예약 상담이라, 비용을 먼저 스스로 가늠할 수 없습니다.
- 2026년에 설립된 2인 팀이라 공식 SLA와 장기 로드맵 공약은 공개되어 있지 않습니다.
- 벤치마크와 비용 수치는 회사가 직접 돌린 것이며, 독립적인 재현 결과는 아직 없습니다.
- 1년 안에 메시지가 세 번 바뀌었습니다(런타임 교정, 증류 모델, 평가 검토). 인용된 수치가 어느 제품을 가리키는지 확인해야 합니다.
- 호스팅 전용입니다. 신뢰 페이지에는 온프레미스나 고객 GPU 배포, 데이터 상주 보장이 없습니다.
제품 정보
- 클라우드
- 예
- 자체 호스팅
- 아니요
- 온프레미스
- 아니요
- 지원 언어
- English
- 학습
- 문서, 얼리 액세스 온보딩
데이터 처리
- 학습 데이터 정책
- 벤더 신뢰 페이지에 따르면 캡처하거나 업로드한 콘텐츠는 후보 모델을 준비, 학습, 평가, 서비스하는 데 쓰입니다. 승인된 유료 작업은 원격 학습과 추론을 위해 모델 입력을 Tinker로 보냅니다. 보관 기간은 명시되어 있지 않습니다.
자주 묻는 질문
ReasonBlocks는 2026년에 가격을 공개하나요?
아닙니다. 2026년 11월 3일 기준 사이트에 가격이 없고, 접근 경로는 "Book a conversation" 상담 하나뿐입니다. 신뢰 페이지에 따르면 유료 작업은 Stripe로 구매하는 조직 크레딧을 쓰며, 전달되는 모델 호출은 사용 중인 제공사가 따로 청구합니다.
ReasonBlocks를 무료로 써 볼 수 있나요?
사이트에는 무료 플랜도 체험판도 오픈소스 버전도 없습니다. 접근이 상담에서 시작되므로, 기존 평가 스위트 하나나 소량의 트레이스를 들고 가서 맞는지 확인하는 방법이 현실적입니다.
ReasonBlocks는 Crukx, Codag, Openlayer와 어떻게 다른가요?
Crukx와 Codag는 관측 쪽입니다. Crukx는 에이전트가 한 일을 보고하고, Codag는 에이전트 로그를 압축합니다. Openlayer는 평가와 규정 준수 매핑 때문에 ReasonBlocks와 가장 가깝지만, 팀이 직접 운영하는 제품입니다. ReasonBlocks는 정답 키까지 내려가 평가 스위트를 대신 검토합니다.
ReasonBlocks는 LangSmith나 Confident AI의 대안인가요?
일부만 그렇습니다. LangSmith와 Confident AI는 팀이 직접 LLM 출력을 추적하고 채점하는 도구입니다. ReasonBlocks는 그 채점을 믿어도 되는지 점검하고 트레이스에서 평가를 만들어 주므로, 둘 중 하나를 함께 쓰는 팀이 많습니다.
ReasonBlocks는 어떤 데이터를 보고, 그 데이터는 어디로 가나요?
캡처 게이트웨이를 거쳐 요청 본문과 사용자의 제공사 키를 받고, 지원되는 트래픽을 OpenAI나 Anthropic으로 전달합니다. 산출물은 Render에서 호스팅되는 서비스의 Supabase에 저장됩니다. 승인된 학습 작업은 입력을 Tinker로 보냅니다. 온프레미스 옵션과 데이터 상주 보장은 없습니다.