한국어 형태소 분석기 바른으로 형태소 분석 수행 후에 문서들을 군집화 해보는 코드 예시. 문서 군집화란 문서 군집화(Clustering)는 여러 문서들이 있을 때 속성이 유사한 문서들끼리 집단(군집)화하는 절차를 말한다. 이때 문서의 속성과 문서의 유사성을 어떻게 정의할지가 매우 중요한데, 일반적으로 어휘 벡터 모델을 활용하여 유사도를 판단한다. ...

차별어 분석이란 이번에는 두 문서에서 사용되는 차별적인 어휘를 살펴보는 (예를 들면, 네이버 영화 리뷰 중 긍정 리뷰와 부정 리뷰에 각각 차별적으로 많이 등장하는 어휘가 무엇인지 파악하는) 분석을 해보려 한다. 이러한 차별어 분석에는 여러가지 방법을 사용할 수 있다. 흔히 odds ratio(오즈비)라는 걸 활용하는데, 본 포스팅에서는 KL 발산(...

한국어 형태소 분석기 바른으로 형태소 분석 수행 후, 동시 출현 (Co-occurence) 단어 행렬을 만들어보고 이를 네트워크 형태로 시각화 하는 코드 예시. 형태소 분석 pandas 데이터프레임 형식에서 바로 형태소 분석. 형태소 분석 적용할 때는 람다 함수를 활용했다. from bareunpy import Tagger import panda...

그동안 파이썬 한국어 형태소 분석기로 KoNLPy 이후에도 다양한 시도들이 있었다. 그 중 내가 최근까지 사용했던 형태소 분석기는 Kiwi였다. 성능도 괜찮다고 하고. 무엇보다 파이썬 pip만으로 편리하게 설치가 가능하다는 것이 가장 큰 장점이었기 때문. 그러던 와중에 이번에 바른이라는 형태소 분석기를 알게 되었다. 바른은 2022년 7월부터 20...

깃허브 블로그에 댓글 기능을 추가해보기로 했다. 후보는 disqus, utterances, giscus 이렇게 셋. 이 중 뭘 쓸까 고민했는데, disqus : 조잡하고 광고 있음. 탈락 utterances : 깔끔하고 광고 없음. 깃허브 Issues 기능 활용. (후보1) giscus : utterances의 상위 호환. 깃허브 Di...

그동안 워드프레스와 카페24 호스팅 조합으로 블로그를 하고 있었는데, 어느 순간 관리가 버겁다는 생각이 들었다. 워드프레스와 php 버전은 계속 업데이트되니 그에 따라 덕지덕지 붙어 있는 플러그인들도 호환성도 체크해줘야 되고, https 적용도 까다롭고. 아무튼 여러모로 불편하더라. 그래서 이 기회에 Github(깃허브) 블로그로 글을 다 옮겼다. ...

WORK 1. 풀타임 재택근무 4년차, 잘 챙겨먹는 게 목표 재택근무를 시작한지 만 4년이 되어간다. 재택근무의 가장 큰 고민거리라면 매일 끼니를 어떻게 잘(?) 챙겨먹는 것인데, 이것도 꽤 노하우가 생긴 것 같다. 나는 전자렌지에 1분 데워 먹을 수 있는 고등어 구이를 즐겨 먹으며, 매 끼니에 상추와 같은 쌈채소를 챙겨 먹는 편이다. 냉장고에 잘...

통계 돌릴 때 SPSS 안 쓴지 몇 년이 지났다. 최근에 파이썬으로 구조방정식 돌릴 방법을 찾다가 쉽게 사용법을 소개하는 괜찮은 글이 있어서 이 기회에 블로그에 남겨놓고자 한다. 아래 내용은 Towards Data Science에 기고된 Structural Equation Modeling 글의 번역이다. 구조방정식이란 구조방정식은 언제 사...

사람은 누구나 자신이 의식하지 못하는 사이에 눈을 쉼 없이 깜빡인다. 보통 1분에 15~20회, 하루에 약 15,000~20,000번 깜박인다고. 그런데 이러한 눈 깜빡임을 게임에 적용시킨 사례가 있으니 바로 《Before Your Eyes》라는 게임이다. (개인적으로 게임 이름도 마음에 들더라.) 이렇게 좋은 게임을 했다는 것을 나 스스로도 기억할...

이번에 한 게임은 스팀 세일 기간에 구매한 《Papers, Please》. 오랜만에 만난 좋은 게임이기에 귀찮더라도 리뷰를 남기지 않을 수 없었다. 사실 페이퍼 플리즈는 2013년에 출시한, 꽤 오래된 게임이다. 워낙 훌륭한 게임이라 게임 매니아들 사이에서는 이미 인기가 있었던 모양이지만, 여러모로 인디게임 감성이기 때문에 아는 사람만 아는 게임(?...