AI가 멍청해진 게 아닙니다
반년 전에 쓴 지침이 발목을 잡는 겁니다

1) 지시 개수 자체가 준수율을 깎습니다

Distyl AI 연구진의 IFScale 벤치마크는 지시를 10개에서 500개까지 10개 단위로 늘려 가며 20개 모델을 측정했습니다 [3]. 500개 지시에서 가장 잘 지킨 모델이 68.9%, 그다음이 62.8%, 61.9%였어요. 가장 약한 모델은 6.7%까지 떨어졌습니다. 같은 모델이 250개에서는 84.8%를 지켰으니, 지시를 두 배로 늘리는 동안 준수율이 16%포인트 깎인 셈입니다 [3]. 덧붙이면, 지시를 잘 지키는지는 눈대중으로 잴 수 없어서 기계로 채점 가능한 지시 유형만 모아 평가하는 방식이 따로 만들어졌을 만큼, 이건 오래된 문제예요 [6].

2) 실패하는 방식이 더 문제입니다

같은 연구가 오류 종류를 나눠 보니, 지시가 많아질수록 모델은 잘못 수행하는 쪽이 아니라 아예 빠뜨리는 쪽으로 기울었습니다. 가장 극단적인 경우 누락 오류가 수정 오류보다 약 34.9배 많았어요 [3].

이게 실무에서 가장 위험한 대목입니다. 모델이 "지시가 너무 많아 다 못 지키겠습니다"라고 말해 주면 우리는 지침을 줄일 겁니다. 그런데 모델은 그렇게 말하지 않아요. 조용히 빼먹고, 나머지를 매끄럽게 완성해서 내놓습니다. 사용자는 무엇이 무시됐는지 알 방법이 없습니다.

3) 위치에 따라 지켜지는 정도가 다릅니다

같은 연구는 지시 밀도가 중간(150~200개) 구간일 때 앞쪽 지시를 더 잘 지키는 경향이 정점에 이르고, 밀도가 극단으로 가면 그마저 평평해진다고 보고합니다 [3]. 긴 입력에서 앞과 뒤는 살아남고 가운데가 묻히는 현상은 이미 여러 번 관찰됐어요. 리우 등은 관련 정보가 입력 한가운데 놓일 때 성능이 뚜렷하게 떨어진다는 것을 보였고, 이 U자 곡선은 긴 문맥용으로 설계된 모델에서도 사라지지 않았습니다 [4]. 홍 등의 Context Rot 보고서는 18개 최신 모델에서, 입력이 길어지기만 해도 성능이 균일하지 않게 무너진다는 것을 보였습니다. 문맥 창의 한계에 닿기 훨씬 전부터 시작되는 열화예요 [5].