크롤링, 그리고 robots.txt
굿글님의 포스트를 보면서 제 머릿속에 떠오르는 단어는 크롤링과 robots.txt, 이 두가지 단어였습니다.
첫번째 단어인 “크롤링은” 올블로그의 정책에 대한 생각이었습니다. 올블로그는 현재 등록을 원하는 사람이 직접 찾아와서 자신의 블로그 피드를 등록해야 하는 “가입형”의 서비스입니다. 바꿔 말하자면, 능동적이고 적극적인 크롤링을 하고 있지 않다는 이야기죠. 올블로그에 가입되어 있는 블로거들이 한국어를 사용하는 블로거들의 전부는 아닙니다.
올블로그 가입 블로거 외에서 수십, 수천, 수백만명의 블로거들이 존재하고 있지만, 이 분들의 의견은 올블로그에 전혀 반영되고 있지 않다는 것입니다.
그렇다면 결국 이 “수동적이고 소극적인” 올블로그의 크롤링 정책이 현재 올블로그의 “별나라화(?)”의 근본적 원인이 아닐까요? 물론 지금도 수많은 파워 블로거 여러분들께서 주옥같은 글들을 올려주시고, 많은 이들의 공감을 얻고 있습니다. 저도 올블로그를 통해 그 분들을 알게 되었고, 그 분들의 글을 읽을 수 있다는 것에 항상 감사하고 있습니다.
그렇다고 하더라도, 여전히 올블로그의 블로거 층 (Pool) 은 미약하기 짝이 없으며, 9만명 남짓한 이들이 모든 블로거들의 생각을 대표하기에는 무리한 것이 아니냐는 것이죠. “원해서 온 사람들만” 득시글한 끼리끼리의 공간에 “모든 블로그 (all blog)의 광장”이라는 이름을 붙이는 것이 올바른 일일까요?
물론 블로그칵테일 분들께서 내부 정책이나 사업 전략에 따라 이끌어 나가고 계시리라 믿습니다만, 근본적인 변화가 없으면 많은 이들의 호응을 얻을만한 공간으로 성장하기는 어려울 것입니다.
두번째로, 만일 올블로그가 정책을 바꿔 능동적인 크롤링을 추진한다고 하더라도 여전히 큰 장벽이 존재하고 있습니다. 우리나라 블로거들의 대다수가 그 기반으로 활용하고 있는 공간인 네이버 블로그의 폐쇄적 정책이 바로 그것입니다.
아시다시피 네이버 블로그를 비롯하여 거의 모든 서비스 (지식검색, 붐, 뉴스를 비롯한 대다수) 에 robots.txt 파일이 걸려 있습니다. 그것도 모자라서 각 페이지별로 메타 태그가 입력되어 있습니다. 사용자는 이것에 대해 선택할 권리조차 없습니다. 자신의 글이 구글이나, 야후등의 검색 엔진에 노출되길 바라더라도 노출되게 만들 길도 없습니다.
제가 생각할때 자신의 블로그에 본인의 생각을 적어서 올리는 행위는 다른 블로거들, 웹 서퍼들에게 “말을 거는” 행위라고 생각합니다. 더 많은 이들과 자신의 생각을 공유하고자 하는 작은 몸짓이라고 말이죠. 그리고 그 대화를 진행하는 다양한 방법으로 직접 방문하기, RSS Feed 배포하기, 검색 등이 있을 것입니다. 하지만 지금의 네이버는 자사 서비스 사용자들에게 검색을 통해 유입되는 이들과의 대화를 의도적으로 박탈하고 있는 것입니다.
네이버에서 독자적인 메타 블로그 서비스를 준비하고 있다는 이야기를 들었습니다. 하지만 네이버 블로그는 네이버에서 운영하는 서비스이니까 네이버의 메타 블로그, 혹은 검색 엔진에만 노출되야 할까요?
이 점에 대해서 올블로그를 운영하고 있는 블로그칵테일은 자사의 사업의 번창(?) 뿐만이 아니라 블로거들의 소통을 위해서라도 적극적으로 여론을 주도하여 이러한 정책을 철회하도록 노력해야 한다고 생각합니다. 이전에 네이버와 안좋은 일이 있었을 때, 블로그칵테일에서 제시한 것이 무엇이었습니까? “블로거들의 목소리를 더욱 멀리 퍼트리자”라는 모토를 달성할 수 없었다 라는 대의명분 아니었습니까?
어줍잖은 글은 이만 줄이겠습니다..