보호되어 있는 글입니다.

2025년 6월 한 Hacker News 댓글에서 context가 커질수록 LLM이 덜 효과적으로 되는 현상을 가리켜 "Context Rot"이라는 표현을 처음 만들었고, 이후 Chroma가 7월에 널리 읽힌 Technical report를 발표했다. 에이전트나 LLM을 사용하다보면 많은 사람들이 느꼈을 것이다. "Context window를 많이 늘려 학습을 해서 millions token으로 커졌으니 long-context는 거의 해결됐다"는 당시 업계 인식이 있었고, 그 근거가 NIAH 같은 벤치마크에서의 near-perfect 점수였지만 본 report에서는 이 근거가 허술하다고 말한다. NIAH benchmark(뒤에 설명)는 단순 lexical retrieval(어휘매칭, semantic과 ..