LearningNote

프로그래밍 강사님 필독! 저작권, IP 차단 걱정 없는 웹 크롤링 실습 환경을 소개합니다 (ScrapingSteps.com)안녕하세요, 파이썬 및 데이터 분석 강의를 진행하고 계신 강사님들! 👋강의 커리큘럼에서 '웹 크롤링(스크래핑)'은 수강생들의 만족도가 매우 높은 핵심 주제입니다. 하지만 동시에, 강의를 준비하는 입장에서는 가장 까다로운 주제이기도 합니다. 바로 '적절한 실습 환경'을 찾기 어렵기 때문입니다.🤔 크롤링 강의, 이런 어려움 겪고 계시지 않나요?실제 웹사이트를 대상으로 강의를 진행하다 보면 여러 가지 예측 불가능한 문제에 부딪힙니다.⚠️ 법적/윤리적 책임 문제: 실습 대상 사이트에서 트래픽 과부하로 연락이 오거나, 저작권 문제로 클레임이 들어올까 우려됩니다.🚫 강의 중 IP 차단 위..

웹 크롤링, 어디서 연습하세요? 이제 법적 걱정 없이 마음껏 실습하세요! (ScrapingSteps.com 런칭)안녕하세요, 개발자, 비개발자 여러분! 👋데이터 수집, 업무 자동화 등 다양한 분야에서 웹 스크래핑(크롤링)은 강력한 도구입니다. Python의 BeautifulSoup이나 Selenium, 혹은 JavaScript의 Puppeteer 같은 라이브러리 사용법은 익혔는데, 막상 실전에 적용하려니 막막했던 경험, 다들 있으실 겁니다.🤔 우리가 스크래핑을 공부할 때 겪는 어려움들스크래핑을 공부하다 보면 누구나 다음과 같은 고민에 부딪힙니다.연습할 만한 적당한 사이트가 없다: 너무 쉽거나, 반대로 너무 복잡해서 난이도에 맞는 사이트를 찾기 어렵습니다.사이트 구조가 자주 바뀐다: 열심히 코드를 짰는..

파이썬 독학 - 설치알못부터 마스터까지 예제와 퀴즈 중심으로 구성되어 있는 파이썬 서적입니다. 예제와 풀이 및 실행 결과를 바탕으로, 원리와 인과관계를 유추하면서 능동적으로 공부해보시기를 권장합니다. 풀이와 실행 결과는 다음과 같이 펼치기/접기 토글 방식으로 되어 있습니다. https://wikidocs.net/book/9396 파이썬 독학 - 설치알못부터 마스터까지이 책은 예제와 퀴즈 중심으로 구성되어 있습니다. 예제와 풀이 및 실행 결과를 바탕으로, 원리와 인과관계를 유추하면서 능동적으로 공부해보시기를 권장합니다. 풀이와 실행…wikidocs.net

Mechanical Scraper - 웹 스크래핑을 쉽고 빠르게 도와주는 파이썬 라이브러리 웹 스크래핑(크롤링) 개발을 쉽게 해주는 파이썬 라이브러리입니다. requests 와 bs4.BeautifulSoup 를 이용한 개발 시간을 단축시켜 드립니다. HTTP Request 코드 생성 Fiddler 와 같은 도구를 통해 얻은 HTTP 메시지를 복사&붙여넣기 하면 요청 코드를 자동으로 생성해줍니다. GET/POST Method 에 따라, 그리고 Content-Type에 따라 적절한 코드가 자동으로 적용됩니다. 세션을 자동으로 유지 및 업데이트해줍니다. Selector 도우미 HTTP 응답에 대해 자동으로 브라우저가 팝업되므로, 손쉽게 개발자 도구를 통해 Copy Selector 기능을 사용할 수 있게 됩니..

연금저축 펀드, ETF 그리고 보수에 대한 이해 연금저축 보험에서 연금저축 펀드로 이전한 이후, 매수와 매도의 보수에 대해 궁금한 분들이 많이 계실 것입니다. 이 글에서는 연금저축 펀드와 ETF의 보수와 수익에 대한 개념을 살펴보고, 이에 따라 어떻게 투자를 해야할지 알아보겠습니다. 또한, 놀고 있는 돈의 이자를 좀 더 많이 받는 방법도 함께 살펴보겠습니다. 연금저축 펀드와 ETF의 보수에 대한 이해 연금저축 펀드와 ETF 연금저축 펀드와 ETF는 모두 자산 운용사에서 운영되는 투자 상품입니다. 연금저축 펀드 계좌는 다양한 공모 펀드와 ETF들중에서 가입자가 직접 선택을 하고 투자를 하면서 중간중간 변경도 해야 합니다. 연금저축이기 때문에 세액공제 혜택이 있지만, 일반적인 펀드 투자와 다르게 시장 상황에..

자동차 두 대의 보험 가입, 어떻게 하면 경제적일까? 현재 두 대의 자동차를 보유하고 있는 이용자는 보험료 절약을 위한 최적의 선택을 고민하고 있다. 한 대는 이용자 본인이 운전하며, 나머지 한 대는 가족 한정으로 가입해 59년생 어머니가 주로 사용하고 있다. 어머니의 차량 보험 가입 방식을 고민하는데, 앞으로 10년 이상 어머니가 운전할 것을 고려하면 어떤 보험 가입 방식이 경제적일까? 다이렉트 기준으로 보험료 견적을 확인한 결과, 가족 한정 가입의 경우 65만원 정도, 어머니 이름만으로 가입할 경우 130만원 정도가 나온다. 보험회사와 상담한 결과, 어머니의 현재 보험 등급은 11등급이다. 미래 사고 여부, 차종 변경, 가입하는 보험사에 따라 달라질 수 있지만, 전반적으로 가족 한정으로 가입하는 것이..

엑셀 암호(비밀번호) 해제 프로그램. (구 UnlockExcel) 엑셀 암호(비밀번호)가 걸린 파일을 해제합니다. - 워크북 보호 해제 - 워크시트 보호 해제 - 워크시트 숨김 해제 - VBA Project 보호 해제 사용기간: 2022년 12월 31일까지 사용기간: 2023년 07월 01일까지 사용기간: 2023년 12월 31일까지 20240106. 웹 버전을 이용해주세요. https://unprotect.org

컴파일이란? 컴파일이란, 사람이 작성한 프로그램 코드를 컴퓨터가 실행할 수 있는 형태로 번역하는 것을 말합니다. 컴파일러란? 컴파일러는, 사람이 작성한 프로그램 코드를 컴퓨터가 실행할 수 있는 형태로 번역해주는 프로그램입니다. 그렇다면 컴파일하는 이유는 무엇일까요? 프로그램 배포 시, 사용자 PC 에 오토핫키가 설치되어 있지 않아도 실행 가능하도록 하기 위함입니다. 개발하는 사람이야, 당연히 오토핫키를 설치해야 하지만, 사용자에게 오토핫키를 설치해야 하는 번거로움을 줄 필요는 없겠죠? 컴파일을 하면, 파일 확장자도 달라집니다. 스크립트 소스 파일은 *.ahk 인 반면에, 컴파일된 파일은 *.exe 가 됩니다. 그렇다면 컴파일을 직접 해보도록 합니다. 컴파일을 하려면 필수적으로 두 가지가 필요합니다. 첫 ..

함수를 실제로 어떻게 사용하는지, 왜 사용하는지에 대해 간단한 예를 들어 보겠습니다. 가장 최근에 배웠던 명령어인 ImageSearch 로 첫 번째 예제를 만들어 볼게요. 이미지 서치 시간에 작성했던 스크립트를 가져다가 조금만 바꾸겠습니다. 파일명만 적어주면, 이미지를 찾으면 클릭하고, 이미지를 찾지 못하거나, 기타 오류가 발생하면 메시지 박스를 출력하는 함수입니다. imgClick(file) { CoordMode, Pixel, Relative CoordMode, Mouse, Relative ImageSearch, vX, vY, 0, 0, A_ScreenWidth, A_ScreenHeight, *TransBlack *30 ./%file%.png if (ErrorLevel == 0) { Click, %vX..

우리는 이미 수학 시간에 함수에 대해 배웠습니다. 그 개념을 생각해보시면, 프로그래밍 언어에서의 함수도 이해하기 어렵지 않습니다. 수학에서 함수를 식으로 표현할 때 다음과 같이 적습니다. y = 2x ; y 는 입력값 x 에 2 를 곱하여 나온 값 y = 5x + 10 ; y 는 입력값 x 에 5 를 곱하고 10을 더하여 나온 값 y = -x ; y 는 입력값 x 에 -1 을 곱하여 나온 값 . . . . . . 또는 y 대신에 f(x) 라고도 표현합니다. f(x) = 2x ; f(x) 는 입력값 x 에 2 를 곱하여 나온 값 f(x) = 5x + 10 ; f(x) 는 입력값 x 에 5 를 곱하고 10을 더하여 나온 값 f(x) = -x ; f(x) 는 입력값 x 에 -1 을 곱하여 나온 값 . . . ..