OpenAI BioBasicsBench에서 GPT-6 Astra는 실험실 원자료 100문항 평균 66.7%를 받았고 틀리는 사례도 함께 공개됐습니다 | DAKER 커뮤니티

OpenAI가 11월 6일 BioBasicsBench를 공개했습니다. 실험실에서 매일 하는 일상적인 분석을 AI 에이전트가 얼마나 믿을 만하게 해내는지 재는 100문항짜리 평가입니다. 가장 높은 설정에서 GPT-6 Astra는 받을 수 있는 점수의 평균 66.7%를 얻었고 GPT-5.6 Sol은 43.8%였습니다. 숫자보다 눈에 띄는 대목은 따로 있습니다. OpenAI는 점수가 오른 사례만이 아니라 Astra가 여전히 틀리는 사례도 같은 분량으로 공개했습니다.

현미경과 젤, 배양 접시를 오려 붙인 신문 콜라주 실험대 모션 미리보기 — 설명을 돕기 위해 만든 생성 이미지입니다.

현미경과 젤, 배양 접시를 오려 붙인 신문 콜라주 실험대 — 설명을 돕기 위해 만든 생성 이미지입니다.

무엇을 재는 평가인가

BioBasicsBench는 바이오 기업 Ligo와 함께 만들었고, 단백질 방법, 이미징과 세포 계수, 정량과 분석, 핵산 방법, 분자 클로닝 다섯 영역에서 일상적인 습식 실험 작업 100개를 담았습니다. 입력은 논문용으로 다듬은 그림이 아니라 실험자가 직접 얻은 원자료입니다. 젤과 블롯 이미지 31개 과제, 프로토콜과 노트 27개, 표와 기기 내보내기 파일 20개, 현미경 이미지 14개, 시퀀싱 파일 12개, 시연 영상 7개처럼 여러 형태가 섞여 있습니다.

과제는 연구자들이 자기 실험 데이터로 만들고 전문가가 쓴 채점 기준을 붙였습니다. Ligo 과학자의 내부 검토, 습식 실험을 하는 박사급 외부 과학자의 검토, 마지막 내부 검토를 모두 거쳤습니다. 점수는 정답 여부만 보지 않고 기준 항목별로 부분 점수를 줍니다. 그래서 결론은 맞지만 분석이 부분적으로만 맞은 경우와 결론 자체가 틀린 경우를 구분할 수 있습니다.

점수는 어떻게 나왔나

OpenAI는 GPT-5.2부터 GPT-6 Astra까지 일곱 모델을 평가했고, 모델과 추론 강도 조합 37개에 과제당 다섯 번씩 시도해 총 18,500개 결과를 냈습니다. 가장 높은 xhigh 설정의 평균 보상은 다음과 같습니다.

GPT-6 Astra 66.7%, 출력 토큰은 과제당 4,704개
GPT-6.1 Sol 62.0%, 5,238개
GPT-5.6 Sol 43.8%, 9,099개
GPT-6 Luna 38.3%, GPT-5.5 35.4%, GPT-5.4 33.2%, GPT-5.2 31.2%

Astra는 낮은 추론 강도에서도 GPT-5.6 Sol보다 크게 앞섰고, xhigh 기준 과제당 출력 토큰은 Sol의 절반 수준이었습니다. OpenAI는 이 격차의 이유로 더 강한 네이티브 멀티모달 능력을 꼽습니다.

Astra가 달라진 사례

한 과제에서는 죽은 세포를 알려 주는 염료 신호만 보고 세포가 죽었다고 판단한 GPT-5.6 Sol과 달리, Astra는 다른 염료의 빛도 같은 검출 창에 들어올 수 있어 밝기만으로는 결론을 낼 수 없다고 보고 더 나은 대조군을 요구했습니다. 클로닝 실험 과제에서는 음성 대조군 플레이트에 균이 없다는 점만 본 Sol과 달리, Astra는 플레이트 테두리 라벨이 실험에 쓴 암피실린이 아니라 카나마이신을 가리킨다는 것을 알아채고 그 플레이트를 믿을 수 있는 대조군으로 쓰지 않았습니다. 현미경 영상에서 세포가 나타났다 사라지는 장면은 생물학적 설명을 찾던 Sol과 달리 깊이를 바꾸며 찍은 z-스택으로 읽었습니다.

여전히 틀리는 지점

공개된 실패 사례도 구체적입니다. Astra는 PCR 산물이 큰 쪽이 성공한 클로닝일 것이라는 익숙한 가정을 대조군보다 앞세워 4, 6, 7, 8번 레인을 골랐지만, 기준 답은 5, 9, 10번이었습니다. 액포가 대체로 더 어둡다고 일반화하면서 같은 이미지의 밝은 액포는 결론에서 빼 버렸고, 균락을 세다가 가까이 붙은 것을 구분하지 못하고 보이는 것을 놓치며 빈 한천을 하나로 세어 약 12% 과대 계수했습니다. 과대 계수는 DNA 도입 효율 추정치를 같은 비율로 부풀립니다.

점수가 올라도 실험실에서 믿고 맡길 수 있다는 뜻은 아니라고 OpenAI는 스스로 선을 긋습니다. 가정, 기대한 답, 붙어 있는 라벨이 증거를 이길 수 있기 때문입니다.

한국 참가자와 실무자에게 주는 의미

이 평가는 바이오 영역이지만, 에이전트 평가를 설계하는 팀에게도 참고가 됩니다. 정답 하나가 아니라 기준 항목별 채점을 쓴 점, 시도를 다섯 번씩 반복해 신뢰구간을 낸 점, 실패 사례를 함께 공개한 점은 어떤 도메인에서든 평가 보고서의 좋은 형식입니다. 실험 사진, 표, 영상을 함께 다루는 데이터 과제를 푸는 참가자라면, 모델이 입력의 라벨과 대조군을 실제로 확인하는지 직접 점검하는 습관이 필요합니다.

원문은 OpenAI의 BioBasicsBench 소개 글에서 확인할 수 있습니다. 여러분이 만드는 에이전트는 입력에 붙은 라벨이 틀렸을 때 그것을 알아챌 수 있습니까?