앤스로픽이 웰빙 평가에 500만 달러를 내놓습니다 | DAKER 커뮤니티
앤스로픽이 8월 25일 공지 하나를 올렸습니다. AI가 사용자의 웰빙에 어떤 영향을 주는지 독립적으로 측정할 평가를 만들라며 500만 달러를 내놓고, 결과물은 전부 오픈소스로 공개하게 하는 보조금 프로그램입니다.
나온 것
1. 500만 달러 보조금 프로그램입니다. Funding better evaluations of AI's impact on wellbeing은 앤스로픽 뉴스룸의 Announcements 항목으로 2026년 8월 25일에 올라왔습니다. 규모는 500만 달러이고, 대상은 AI가 사용자의 웰빙에 미치는 영향을 연구하는 독립 연구자입니다. 앤스로픽은 자금만 주는 것이 아니라 자사 모델 접근권과 기술 지원까지 함께 제공한다고 적었습니다.
2. 결과물은 오픈소스로 공개됩니다. 공지에서 가장 분명한 조건이 여기입니다. 수혜자는 완전히 독립적으로 연구를 진행하고, 만든 평가를 오픈소스 프로젝트로 공개해야 합니다. 앤스로픽은 그 결과물을 어떤 개발자든 가져다 쓸 수 있게 하는 것이 목표라고 밝혔습니다. 사내 벤치마크를 늘리는 사업이 아니라 업계 전체가 쓸 측정 도구를 밖에서 만들게 하는 사업입니다.
3. 왜 어려운 일인지도 같이 설명했습니다. 앤스로픽은 대부분의 모델 행동에 대해서는 답 하나를 보고 정확한지 적절한지 판단할 수 있다고 적었습니다. 그런데 웰빙은 훨씬 많은 맥락이 필요합니다. 공지에 실린 예시가 이 차이를 정확히 보여 줍니다. 괴로운 상태의 사용자가 자해에 관한 생각을 처음부터 말하지 않을 수 있고, 더 조심스러운 답이 필요하다는 사실이 긴 대화가 이어진 뒤에야 드러날 수 있다는 이야기입니다.
4. 같은 답이 맥락에 따라 해로워질 수 있다는 예시도 들었습니다. 체중 감량에 관해 묻는 사용자에게 균형 잡힌 식단과 운동 루틴을 안내하는 답변은 보통 문제가 없습니다. 그런데 그 사용자가 대화 중 섭식 장애 이력을 드러냈다면, 같은 답변이 부적절해지고 실제로 해로울 수도 있다고 공지는 적었습니다. 한 문장만 떼어 놓고 채점하는 방식으로는 이런 차이를 잡지 못한다는 뜻입니다.
5. 좋은 평가의 조건 다섯 가지를 공개했습니다. 앤스로픽 Safeguards 팀이 정리한 기준이 공지 본문에 그대로 실려 있습니다. 첫째, 무엇을 측정하는지 분명히 밝혀야 합니다. 무엇이 통과이고 무엇이 실패인지, 그리고 그것이 왜 중요한지까지 적어야 합니다. 둘째, 설계와 검증 단계에 임상 전문가와 해당 주제 전문가가 참여해야 합니다. 셋째, 예방책과 피해를 함께 시험해야 합니다. 지나치게 순응하는 위험과 지나치게 거부하는 위험을 양쪽 모두 재라는 뜻입니다. 넷째, 사용자가 실제로 AI를 쓰는 방식을 반영해야 합니다. 위험이 점점 커지고 맥락이 중간에 바뀌는 여러 차례 주고받는 대화 시나리오를 구성하는 경우가 많다고 적혀 있습니다. 다섯째, 채점자를 실제 주제 전문가와 대조해 검증해야 합니다.
6. 부르는 사람의 직군을 구체적으로 밝혔습니다. 앤스로픽은 임상의와 심리학자, 방법론 연구자를 비롯한 더 많은 사람이 이 분야에 전문성을 보태 주기를 바란다고 적었습니다. 모델을 만드는 사람만으로는 기준을 세울 수 없다는 판단이 이 문장에 들어 있습니다.
7. 일정이 짧습니다. 신청 마감은 9월 21일입니다. 전체 제안서를 제출할 대상으로 선정된 신청자는 10월 5일까지 통보를 받습니다. 공지가 8월 25일에 나왔으므로 첫 관문까지 한 달이 채 남지 않았습니다. 페이지에는 신청 양식 링크와, 좋은 웰빙 평가를 만드는 방법을 담은 가이던스 링크가 함께 걸려 있습니다.
8. 문제 인식의 출발점도 적어 두었습니다. 공지는 AI 시스템이 많은 사람의 일과 학습, 문제 해결에서 중심으로 들어왔고 동시에 대화 상대이자 힘든 시기의 정서적 지지원이 되기도 한다고 밝혔습니다. 그러면서 업계로서 아직 이런 대화에서 모델이 어떻게 행동해야 하는지에 대한 분명한 기준을 만들어 가는 중이라고 인정했습니다. 사용자가 모델에게 동반자 관계를 찾기 시작하는 경우, 그리고 정신 건강 위기를 헤쳐 나가려고 AI를 쓰는 경우를 예로 들었습니다.
9. 흔한 함정도 함께 공개했습니다. 앤스로픽은 무엇이 좋은 평가인지만 적은 것이 아닙니다. 공지에는 Safeguards 팀이 정리한 가이던스를 함께 공개하며, 어떤 평가가 쌓아 올릴 만큼 엄격한지와 함께 평가의 유용성을 떨어뜨리는 흔한 문제까지 담았다고 적혀 있습니다. 만들기 전에 읽어야 하는 문서가 조건표 하나가 아니라 두 개라는 뜻입니다.
10. 기준이 고정값이 아니라고 못 박았습니다. 공지 본문은 이 판단들이 미묘하고 걸린 것이 크다고 적은 다음, 올바른 접근 방식은 모델과 그 사용 방식이 변하는 흐름에 맞춰 함께 바뀌어 가야 한다고 밝혔습니다. 지금 만든 평가가 오래 통하는 정답이 되기를 기대하는 문서가 아닙니다. 계속 고쳐 쓸 도구를 만들라는 요청으로 읽는 편이 맞습니다.
11. 앤스로픽이 얻는 것도 분명합니다. 자기 모델을 재는 자를 밖에서 만들게 하고 그 자를 오픈소스로 풀면, 같은 자로 다른 회사 모델도 재게 됩니다. 앤스로픽은 이 분야를 새로 생겨나는 중요한 영역이라고 표현하면서 더 많은 사람이 전문성을 보태 주기를 바란다고 적었습니다. 평가 기준을 먼저 세우는 쪽이 논의의 틀을 잡는다는 점은 굳이 적어 두지 않았습니다.
12. 자금과 접근권과 지원이 한 묶음입니다. 이 프로그램이 보조금만 주는 형태가 아니라는 점도 챙겨 볼 대목입니다. 공지는 직접 자금과 모델 접근권, 기술 지원 세 가지를 함께 준다고 적었습니다. 웰빙 평가는 여러 차례 주고받는 대화를 대량으로 굴려야 하는 작업이라 모델 호출 비용이 곧 연구 비용입니다. 접근권을 함께 주는 구조가 없으면 자금의 상당 부분이 호출료로 빠져나갑니다.
아닌 것
모델 출시 소식이 아닙니다. 새 모델이나 새 기능이 나온 공지가 아닙니다. 평가와 벤치마크를 만드는 연구에 돈과 접근권을 붙이는 이야기입니다.
앤스로픽이 평가를 직접 만드는 프로그램이 아닙니다. 공지는 수혜자가 완전히 독립적으로 작업한다고 명시했습니다. 앤스로픽이 기준을 제시하기는 하지만 연구 수행과 공개는 밖에서 이루어집니다.
비공개 사내 벤치마크가 아닙니다. 결과물은 오픈소스 프로젝트로 공개됩니다. 앤스로픽 한 회사만 쓰는 도구를 만드는 사업이 아니라는 뜻입니다.
상금이 걸린 대회가 아닙니다. 순위를 매기고 상을 주는 형식이 아니라 연구 보조금입니다. 마감과 통보 일정, 전체 제안서 단계가 있는 심사 절차로 진행됩니다.
기존 안전장치를 대체하는 조치도 아닙니다. 앤스로픽은 이런 대화를 식별하고 클로드가 적절히 답하도록 돕는 안전장치를 계속 개발하고 있으며, 사람들이 클로드와 나누는 대화 유형에 관한 연구도 계속 공개한다고 적었습니다. 이번 프로그램은 그 위에 외부 측정 도구를 얹는 시도입니다.
8월 14일 공지와도 별개 사안입니다. 같은 달에 올라온 How Claude's text watermark works는 출력물 표시에 관한 글입니다. 이번 공지는 대화 품질과 사용자 안전을 재는 평가에 관한 글입니다. 두 글을 하나의 흐름으로 묶어 읽으면 각각의 조건을 놓치게 됩니다.
웰빙을 재는 정답표가 나온 것도 아닙니다. 공지는 업계로서 아직 이런 대화에서 모델이 어떻게 행동해야 하는지에 대한 분명한 기준을 만들어 가는 중이라고 적었습니다. 다섯 가지 조건은 평가를 심사하는 관문이지, 모델의 정답 행동을 정의한 표가 아닙니다.
오늘 할 일
첫째, 다섯 가지 조건을 자기 평가 코드에 대 보십시오. 이 프로그램에 신청하지 않더라도 조건 자체가 쓸 만한 점검표입니다. 통과와 실패의 정의가 문서에 적혀 있는지, 전문가가 설계에 참여했는지, 과잉 거부까지 재고 있는지, 시나리오가 한 문장이 아니라 여러 차례 주고받는 흐름인지, 채점자를 사람과 대조해 봤는지 순서대로 확인하면 됩니다.
둘째, 과잉 거부를 별도 지표로 떼어 놓으십시오. 위험한 답을 막는 쪽만 재는 평가는 절반짜리라는 지적이 공지에 분명히 나와 있습니다. 막아야 할 것을 막았는지와 막지 말아야 할 것을 막지 않았는지를 두 줄로 나누어 기록해 두면 이후 비교가 쉬워집니다.
셋째, 여러 차례 주고받는 시나리오를 실제 로그에서 만드십시오. 위험이 점점 커지고 맥락이 중간에 바뀌는 대화는 합성 문장 한 줄로는 재현되지 않습니다. 팀이 가진 실제 대화 흐름에서 맥락이 뒤집히는 지점을 찾아 시나리오의 골격으로 쓰는 편이 현실에 가깝습니다. 개인 정보를 지우는 절차는 당연히 먼저 붙여야 합니다.
넷째, 마감 일정을 달력에 먼저 넣으십시오. 신청 마감은 9월 21일이고 전체 제안서 대상 통보는 10월 5일입니다. 임상 전문가를 설계에 참여시키라는 조건이 있으므로, 신청서를 쓰기 전에 함께할 전문가를 찾는 시간이 필요합니다.
다섯째, 만든 평가는 링크로 공개하십시오. DAKER에는 25만 빌더와 339+ 대회, 29억+ 규모의 기록이 쌓여 있습니다. 웰빙 평가처럼 기준이 아직 정해지지 않은 영역은 남이 재현할 수 있는 형태로 올려 두는 것 자체가 기여입니다. 올린 링크가 곧 제출입니다.
여섯째, 채점자를 사람과 맞춰 보는 절차를 빼지 마십시오. 다섯 가지 조건 가운데 실무에서 가장 자주 생략되는 항목이 마지막 줄입니다. 모델이 채점하게 만들어 놓고 그 채점이 전문가 판단과 얼마나 일치하는지 확인하지 않으면, 점수가 올라간 이유가 모델의 개선인지 채점자의 편향인지 구분할 방법이 없어집니다. 표본을 작게 잡아도 좋으니 사람 채점과 겹쳐 보는 줄을 남겨 두십시오.
일곱째, 지금 쓰는 서비스의 거부 로그를 한 번 훑으십시오. 사용자가 정서적 지지를 구하는 대화, 건강과 관련된 질문, 위기 상황으로 읽히는 문장에서 서비스가 어떻게 반응했는지 모아 보면 자기 제품의 과잉 순응과 과잉 거부가 어느 쪽으로 기울어 있는지 금방 드러납니다. 평가를 새로 만드는 일보다 이 점검이 먼저입니다.
출처: Anthropic — Funding better evaluations of AI's impact on wellbeing (2026-08-25) · Anthropic Newsroom · Anthropic — How Claude's text watermark works (2026-08-14)