옵시디언 - 웹스크래핑

웹 스크레핑

웹스크레핑

웹스크레핑(Web Scraping)은 웹 사이트에서 데이터를 추출하는 과정입니다. 이 방법은 프로그래밍 소프트웨어를 사용하여 인터넷 상의 정보를 자동으로 수집하고, 그 데이터를 분석하거나 저장하기 용이한 형태로 변환하는 기술을 말합니다. 웹스크레핑은 일반적으로 HTML, XML과 같은 웹 페이지 마크업 언어로 구성된 문서에서 데이터를 추출하는 데 사용되며, 다양한 목적으로 활용될 수 있습니다.

웹스크레핑은 다시 말하면 웹페이지를 보다가 이를 캡춰하는 행위를 말합니다.

웹스크래핑을 위한 다양한 도구들이 존재합니다. 주요 노트앱들은 대부분 웹스크래퍼를 지원합니다.

• 원노트
• Pocket
• Instapaper
• 에버노트
• 노션
• Omnivore

특히 Pocket, Instapaper, Omnivore는 온라인 저장소를 제공하여 웹브라우져에서 캡춰한 컨텐츠들을 각자의 온라인 사이트에 읽을 수 있는 기능을 제공합니다. 나머지 노트앱들은 스크렙한 컨텐츠를 자신들의 노트앱에 저장해줍니다.

Omnivore과 웹익스텐션

Omnivore

독서를 좋아하는 사람들을 위한 완벽한 오픈 소스 읽기 솔루션입니다. 저희는 독서를 좋아하고 독서가 더 재미있기를 바라기 때문에 Omnivore를 만들었습니다. 흥미로운 기사, 뉴스레터 구독, 문서를 저장해 두었다가 나중에 방해받지 않고 집중해서 읽어보세요. 메모와 하이라이트를 추가하세요. 원하는 방식으로 독서 목록을 정리하고 모든 장치에서 동기화하세요.

옴미보어의 주요 기능

• 강조 표시, 메모, 검색, 공유
• 전체 키보드 탐색
• 긴 기사에서 자동으로 위치 저장
• 이메일을 통해 뉴스레터 기사 추가(서브스택 지원!)
• PDF 지원
• Node.js 및 TypeScript로 작성된 웹 앱
• 네이티브 iOS 앱
• 네이티브 안드로이드 앱
• 크롬, 사파리, 파이어폭스, 엣지용 브라우저 확장 프로그램
• 라벨(일명 태깅)
• 오프라인 지원
• 텍스트 음성 변환(iOS만 해당)
• Logseq 플러그인을 통한 Logseq 지원
• 옵시디언 플러그인을 통한 옵시디언 지원

https://omnivore.app/ 오픈 소스 프로젝트이고 현재까지는 무료입니다. 가입을 합니다. 그리고 크롬 익스텐션을 설치합니다.
https://chromewebstore.google.com/detail/omnivore/blkggjdmcfjdbmmmlfcpplkchpeaiiab

원하는 웹페이지에서 익스텐션을 누르면 Omnivore로 스크랩됩니다.

옴니보어에 스크랩된 페이지입니다. 태그 및 노트도 추가할 수 있습니다 .

 

옵시디언에서 Omnivore 사용

옵시디언에서 Omnivore 플러그인을 설치합니다. 그리고 옴니보어 홈페이지에서 API 를 생성하고 그 값을 옵시디언의 옴니보어 옵션에 API Key값에 붙여 넣습니다.

옵시디언 홈페이지에서 자신의 계정을 선택하고 API Keys라는 메뉴를 선택합니다.

새로운 Key를 생성합니다.

생성된 키값을 옵시디언의 옴니보어 옵션의 API Key에 붙여 넣습니다.

 

 

옵시디언의 좌측메뉴에서 옴니보어 아이콘을 누르면 옴니보어 웹사이트에서 스크랩된 컨텐츠들을 다운로드 받아서 날짜별 폴더에 문서들을 생성해줍니다.