주요 업무 및 성과

1. 웹 크롤러 개발 및 유지보수

• Jsoup, Selenium을 활용한 정적/동적 웹 페이지 데이터 수집 자동화
• ffmpeg으로 .m3u8, .mp4 영상 스트리밍 및 다운로드 처리 로직 구현
• 페이지 자동 캡처 기능 구현 (정기 리포트용 이미지화)
• 다양한 구조의 사이트별 크롤링 로직 커스터마이징 및 예외 처리

2. 서버 및 인프라 관리

• Docker를 통한 개발 및 배포 환경 컨테이너화
• 크롤링 서버 자원 모니터링, 장애 대응 자동화 Shell Script 작성

3. 품질 인증 획득

• 자사 크롤링 소프트웨어 GS(Good Software) 인증 획득
• 인증기관: (재)한국화학융합시험연구원
• 기능 안정성, 성능, 사용성 등 품질 보증 요건 충족

사용 기술 및 환경