dtstory 의 DT 스토리

보호되어 있는 글입니다.

보호되어 있는 글입니다.

R에서 반복문을 이용해서, 작업 수행을 할 때, 아래와 같이 print(i) 를 이용해서, 현재 진척률을 보고는 할 것이다. 이 방법으로 하게 되었을 땐, 몇번 째 i 가 수행되고 있는지는 확인할 수 있지만, 몇% 정도 진척이 되었는지, 작업 수행시간이 몇 시간이 남았는지 확인하는 것은 불가능하다.( 대충 감으로, 어느정도 됐겠거니.. 라고 생각할 수 있을 뿐이다. ) for(i in 1:10000) { print(i) } 아래의 이미지 처럼, 현재 진행률(Progress) 과 예상 완료시간(Estimated Completion time) 을 확인하고 싶지 않은가? 그렇다면, progress 라는 라이브러리를 이용해서, 반복문이 돌아갈 때, 진척률과 완료시간을 표현할 수 있다. 1. 라이브러리 로드 li..

영문 주소를 geocoding을 통해 위,경도 변환 후 지도 시각화하는 것은 일전에 경험해 본 바가 있다. 문득 중국주소 역시 위,경도 변환을 잘 하고, 지도에 뿌릴 수 있는 지 궁금해졌다. 아래의 예시를 통해, 제대로 출력을 하는 지 확인해보겠다. 폭스콘 주소 : 236新北市土城區自由街2號 베이징대학교 주소 : 北京市海淀区学院路38号 1. 우선, 위,경도 변환(Geocoding), 지도 시각화(mapview) 를 위한 라이브러리를 로딩해보자. library(ggmap) library(mapview) (우선, 라이브러리가 설치되어 있지 않다면, install.package 를 통해 install 하도록 한다.) 2. 예시 데이터 프레임을 생성 해보자. addr

library(ggplot2) 또는 library(caret) 실행 시 아래와 같은 에러가 발생하는 경우를 직면하게 될 때가 있다. Error: package or namespace load failed for ‘ggplot2’ in loadNamespace(i, c(lib.loc, .libPaths()), versionCheck = vI[[i]]): 네임스페이스 ‘vctrs’ 0.4.1는 로드되었으나 >= 0.5.0가 필요합니다 In addition: Warning message: 패키지 ‘ggplot2’는 R 버전 4.2.2에서 작성되었습니다 어떠한 충돌로 인해, 해당 에러가 발생했는 지를 정확히 알아봐야 겠지만, 이에 대한 해결법은 의외로 간단하다. 해당 명령을 실행해보자. install.packa..

2023.01.11 - [Etc] - [etc] HackerRank Certification 1 (Python, R, SQL) [etc] HackerRank Certification 1 (Python, R, SQL) 오늘은 문법이나 기술적인 해결에 관한 포스팅이 아닌, HackerRank 라는 사이트에서 제공하는 Certificate 를 소개하고자 한다. 코딩테스트를 연습하는 사이트 정도로 알고 있었고, 제공해주는 Problem dtstory.tistory.com 이전 발행글에 이어, HackerRank Certificate 를 취득한 사항을 포스팅해보려고 한다. R은 난이도가 Basic, Intermediate 가 각 2개 Python 난이도가 Basic 가 1개 SQL은 난이도가 Basic, Inte..

오늘은 문법이나 기술적인 해결에 관한 포스팅이 아닌, HackerRank 라는 사이트에서 제공하는 Certificate 를 소개하고자 한다. 코딩테스트를 연습하는 사이트 정도로 알고 있었고, 제공해주는 Problem 을 풀던 도중, 상단 탭에 CERTIFY 가 있는 것이다. 해당 탭을 눌러보니, 각 언어 별 Test를 진행할 수 있었다. https://www.hackerrank.com/skills-verification HackerRank Join over 16 million developers in solving code challenges on HackerRank, one of the best ways to prepare for programming interviews. www.hackerrank.c..

dags 내에서 r script를 실행을 편하게 하기 위해, sh 파일을 작성을 우선적으로 해야한다. 1. run_r.sh 작성 #!/usr/bin/env Rscript args = commandArgs(trailingOnly=TRUE) setwd("[나의 경로]") source(args[1]) [나의 경로] 에 default directory로 지정하고 싶은 경로를 나의 분석환경에 맞게 설정만 해주고, 원하는 폴더에 해당 파일을 넣어 둔다. 2. my_dags.py 작성 import os # Get current directory cwd = os.getcwd() with DAG(dag_id="my_dags", default_args=default_args, schedule_interval='50 22 ..

데이터베이스를 만들고, 데이터베이스 내부에 있는 데이터를 다른 사용자에게 공유하고자 할 때, root 계정을 주는 방식으로 모든 권한을 넘길 수 있다. 하지만, 특정데이터베이스 혹은 특정 테이블에 대한 데이터 정보만 허용하게끔하고자 할때는 어떻게 해야할까? 아래의 방법대로 하게되면 간단하게 유저에 대한 접근 권한을 명령할 수 있다. grant all privileges on DB명.table명 '계정명'@'%' identified by '비밀번호'; grant all privileges on mydb.mytable 'myaccount'@'%' identified by '123456'; DBeaver 혹은 HeidiSQL 같은 DB툴 내에 쿼리를 편집기를 키고, 해당 명령을 한 후 접속해보자. 아래 그림과..

R 크롤러를 만들기 위해, 필요한 도구들을 우선 설치해보자. 설치에 앞서, C드라이브에 selenium 이라는 폴더를 만들어주자 ( C:\selenium ) 1. Selenium Standalone Server 설치 http://selenium-release.storage.googleapis.com/index.html http://selenium-release.storage.googleapis.com/index.html selenium-release.storage.googleapis.com 해당 링크에 접속하고, 아래쪽으로 스크롤하다보면, 4.0 폴더가 있을 것이다. 해당 폴더내에, "selenium-server-standalone-4.0.0-alpha-1.jar" 파일을 설치하고, 처음에 만들었던 C:..