기존에 제가 하던 우회 크롤링 방식은 팔로우업할 트위터 계정 핸들을 직접 리스트업해서 넣어야 작동했습니다.
그런데 X API 키를 쓰면, 제가 기존에 괜찮다고 보고 리트윗했던 계정들의 글과 프로필을 한 번에 긁어올 수 있습니다.
보통 X API는 비싸다고 생각하는데, 500개 계정 정도 수집하는 데 15불도 안 듭니다.
필요한 만큼만 충전해서 한 번 긁어오고, 이후에는 알고리즘 추론으로 비슷한 계정을 자동 추가합니다.
그다음은 기존처럼 우회 루트로 자료를 수집하고, RAG에 넣은 뒤 실제 인프라에 적용할 만한 게 있는지 판단하는 식으로 쓰면 됩니다.