loop engineering 혹은 /goal의 실험과 관찰 결과 대부분 실패는 llm as a judge를 확률 게이트로 쓰며 발산과 강한 수렴을 방지하지 못하기에 발생한다. 좋은 목적함수를 설계하지 않으면 실패는 당연한 결과이다.
발산과 동시에 local optima에 빠지는 경우도 종종 발생하는데, 동적으로 해당 결과물에서 다른 요소를 건드림으로 이를 빠져나올 방안을 구성에 넣어야 한다.
이 외에도 루프 엔지니어링은 하나의 추상화된 nn의 학습 프로세스와 비슷한 부분이 많다.
연장선으로 이 루프라 함은 단일 과정에서 추출 가능한 “단일 스킬”로 대체될 수 있다기 보단 잘 설계된 광범위한 월드 모델로 설계되어야 한다는 생각이 든다.