25년 간 출간한 책이 40권이 되었습니다.
집필, 번역, 일러스트 등 다양하게 참여했지요.
그간의 작업을 AI를 이용해 정리하고 싶었습니다.
야무진 꿈
처음에는 쉽게 생각했습니다.
대충 정리된 목록을 주고 한방에 끝내면 좋겠다는 생각에
다음과 같이 요청합니다.
첨부된 파일을 참고해서 도서 정보를 완벽하게 정리해줘
엉터리 결과
AI는 당당하게 작업을 완료했다고 이야기 합니다.
그러나 실제 파일을 열어보면 환각이 생겨 완전 엉망입니다.
고집 불통 거짓말쟁이
다시 지시해도 계속 엉터리 작업을 하며 당당하게 거짓말을 합니다.
몇 차례 더 지시했지만 결과는 달라지지 않았습니다.
혹시나 해서 다른 서비스로 테스트를 하니
대부분의 AI가 비슷한 수준의 엉터리 결과를 보여 주었습니다
원인 파악
이유를 알았습니다.
대부분의 인터넷 서점이 도서정보 크롤링을 막기 위해
다양한 장애물을 만들어 놓았고 이것을 넘지 못한 것입니다.
결국 이 장애물을 하나씩 넘는 코드가 필요합니다.
해결방법: 모듈화된 접근
요즘 애용하는 IDE Kiro를 이용합니다.
처음에는 간단하게 생각했지만 최종 결과물은….
각각의 요청을 처리하는 독립된 15개의 스크립트가 만들어졌습니다.
update_isbn.py: ISBN 정보 수집
update_book_info.py: 도서 상세 정보 수집
update_kyobo_url.py: 교보문고 URL 수집
update_aladin_url.py: 알라딘 URL 수집
update_book_features.py: 도서 특징 수집
update_missing_ratings.py: 평점 정보 보완
update_work_classification.py: 작업 구분
sort_by_date.py: 출간일 순 정렬
app.py: Flask 웹 서버
templates/index.html: 웹 인터페이스
test_isbn.py: ISBN 추출 테스트
test_publisher.py: 출판사 정보 테스트
test_kyobo.py: 교보문고 검색 테스트
test_aladin.py: 알라딘 검색 테스트
test_features.py: 특징 추출 테스트
완벽한 결과물
15개의 스크립트를 이용해서 도서 목록이
CSV 파일로 완벽하게 정리되었습니다.
너무 훌륭해서 스스로 감동했습니다. ㅠㅠ;
다이나믹 HTML 페이지 만들기
완벽하게 정리된 CSV 파일이 있으니
멋지게 보여주는 것은 쉽죠.
아래와 같이 요구합니다.
40권의 도서 포트폴리오를 다이나믹 HTML로 만들어줘
출간 통계, 연도별 출간 현황, 작업 구분별 분포, 출판사별 출간 현황
도서 정보 (카드 형식 레이아웃) : 1줄에 4개씩 도서 표시
테마 전환(라이트/다크모드) 추가
4시간 노력의 결과는 완벽한 정리된 25년 간의 포트폴리오.
[교훈] AI에게 작업을 시키는 방법
만일 첫번째 시도에서 엉터리 결과물에 실망하고
’AI는 일을 못해‘ 라고 생각하고 포기할 수도 있습니다.
중요한 것은 왜 이 간단한 작업을 못하는 것인지 이유를 찾는 것입니다.
이유를 찾으면 해결 방법을 만들 수 있습니다.
분명 전세계 누군가는 저와 비슷한 생각을 했을 것이고
필요한 스크립트를 만들었을 것입니다.
원하는 것이 명확하면 해결 방법은 분명히 있을 것이고
이것을 단계별로 이야기 해주는 것이
AI에게 작업을 똑바로 시키는 방법 입니다.
완성된 포트폴리오 사이트는 댓글에.
[정진호 작가 포트폴리오]
https://ai.jvisualschool.com/Jinho_Book/