웹사이트 스캔하는 유틸리티를 찾습니다.
2010.10.27 12:41
안녕하세요.
웹사이트를 스캔하는 유틸리티를 찾고 있습니다.
예를 들면
www.aaa.com
을 입력하면
여기에 링크되어 있는 페이지들을 재귀호출하면서 페이지들 리스트들을 뽑아주는 유틸리티요.
www.aaa.com/1.htm
www.aaa.com/2.htm
www.aaa.com/abc/1.htm
이런 결과들을 뽑아주는 툴이 필요한데 어떤게 있는지 궁금하네요.
능력자분들의 답변 부탁드립니다.
댓글 7
-
Shadow
2010.10.27 17:03
-
wowjam
2010.10.28 08:15
Shadow님 감사합니다.
그런데 제가 원하는건 파일들을 다운로드하는게 아니라, 해당 페이지의 링크들을 추출해서 사이트의 맵을 만들려고 한거거든요.
오픈소스 검색로봇들을 뒤져봐야겠네요.
좋은 하루 되세요~
-
무명들꽃
2010.10.28 12:56
href 태그와 정규식을 이용해서 직접 만들면 되지 않나?....라고 생각했다가
게시물(메인 페이지에 게시물 썸머리들이 많죠 -_-;)과 onclick과 각종 이벤트(포커싱,js에 의한 링크 생성등) 에 의한 페이지 이동등등을
생각하니 급 귀차니즘이 ㅡㅡ;
만약 위에서 이런거 만들라고하면 요즘 같아선 배째라고 할듯 싶네요. ㅋ
좋은 툴 찾으시길 ^^;;
아.. 요즘은 jQuery 이용한 사이트들이 많던데.. 그런건 요즘 봇들이 어케 처리하는지 궁금해지네욤 움 -0-
-
wowjam
2010.10.28 19:58
무명들꽃님 제가 지금 그런 상황이에요. 배째라고 하고 싶어요. -_-
저희회사의 중국 사이트의 모든 페이지를 알아내라는 프로젝트가 저한테 떨어져서...
서버도 무지 많고 링크도 한도 끝도 없어보입니다.
이거 끝나면 대만/홍콩일이 기다리고 있군요.
호주 뉴질랜드 일도 제가 하다가 휴가가는 바람에 팀의 다른 동료가 이어서 끝을 내긴 했는데...
매뉴얼로 작업한 내용이 많은것 같던데요. 흠...
중국 사이트에 페이지가 몇만개나 될지 기대가 되네요. ㅋㅋ
DB 도 쓰지 않는 페이지에서 페이지 갯수가 몇만개라니... -_- 정말 인간의 노동력은 무한했던겁니다.
-
무명들꽃
2010.10.29 09:49
커헉 테마가 무엇이길래 그리도 많은 페이지가...^^;;
내용을 보니 제 옆에 있는 양반의 소시적 얘기가 떠오르네요.
처음 1년정도(10년 좀 넘은듯)는 디자이너로 일했던 양반인데
그 당시 게시판 포함(ㅡ_ㅡ) 200여개 페이지를 몽땅 디자인과 HTML만으로 구성해버렸다는 ...ㅎㅎ
그 일하고는 때려쳤었다고 하더군요.
-
wowjam
2010.11.01 08:26
전 IBM Australia 에서 Web developer 로 근무하고 있구요.
여기에서 아시아 지역의 모든 ibm.com 웹사이트를 개발/관리 하고 있어요.
(일본만제외한 아시아퍼시픽의 모든 나라들이요, 호주, 뉴질랜드, 한국,중국,대만,홍콩,인도,인도네시아,싱가폴,말레이시아 기타 몇나라)
단순 웹페이지들을 빌드하는 센터는 중국에 있구요(가격문제 때문에 -_-)
헤드쿼터가 여기에 있어서 이런 귀찮은 일들이 저한테 넘어오네요.
심각하게 이직 고민중입니다. 일이 너무 한꺼번에 몰려오네요. 쩝... -_-
-
zeno
2010.11.04 23:55
HTML -- Web은 어려워 ^^
예전에는 webzip이 유명했는데, 요즘에는 어떤게 좋은지 모르겠네요.
http://www.spidersoft.com/webzip/