개발/python
[Django] Designing Better Models
2019.05.12이 문서는 Designing Better Models 를 번역한 것입니다. 더 나은 Django 모델을 디자인하기 위한 몇 가지 팁을 공유하려 합니다. 특히 이 글에서 많은 비중을 차지하는 명명법에 관련된 팁은 당신의 코드를 훨씬 읽기 쉽게 만들어 줄 것입니다. 프로젝트를 진행할 땐 파이썬 생태계에서 널리 쓰이고 있는 PEP8을 따르는 것이 좋지만, 전 PEP8 외에도 Django 개발자를 위한 Django's Coding Style 또한 선호합니다. 우리가 살펴볼 항목들은 이렇습니다. Model 이름 짓기 Model 정렬 역관계 Blank와 Null 필드 Model 이름 짓기 모델은 클래스로 정의되므로 항상 CapWords를 사용해야 합니다.(_ 없이) User, Permission, ContentTy..
[Python] Service Account로 구글 스프레드시트 업데이트하기
2019.04.15읽지 않아도 되는 서론; 구글 시트를 업데이트하려면 당연히 별도의 인증절차가 필요하다. 업데이트하려는 자가 그 시트에 대한 접근 권한이 있는지 알아야 하기 때문이다. 이건 시트 공유 설정을 '링크가 있는 모든 사용자가 수정할 수 있음'으로 해도 마찬가지다. 한편 구글에서 제공한 Python Quickstart를 보면 OAuth 2.0 클라이언트 인증을 사용하는데, 이렇게 하면 유저가 구글 로그인을 해서 권한을 얻어 시트를 열거나 수정할 수 있다. 다만 내 시트를 내가 수정하는 경우 이 방법을 사용하면 매우 귀찮다는 생각이 든다. 유저 정보가 필요한 게 아니고 내 애플리케이션을 가지고 작업하는 거니까. 물론 별도의 작업을 거쳐 OAuth 클라이언트로도 로그인 없이 작업을 수행할 수 있지만 약간 번거롭다. ..
[Python] BeautifulSoup로 웹사이트 크롤링하기
2019.04.02TL;DR 2016년 BeautifulSoup로 YouTube에서 영상 정보를 크롤링 해보자 라는 글을 올린 적 있는데 이게 의외로 스테디셀러(?)라 2019년 버전으로 업데이트하고자 한다. 초심자들을 위한 글이기 때문에 난이도는 굉장히 낮다. 다만 그동안 유튜브의 HTML 구조가 바뀌어서 초심자가 크롤링하기에는 좀 번거롭고 향후 또 변경될 여지가 많아 대상을 프로젝트 오일러 한국 사이트로 변경했다. 이곳을 선택한 이유는 관리자들이 사이트를 절대 업데이트하지 않아서(ㅋㅋㅋ). 근데 그전에 이 사이트가 크롤링을 허용하는지부터 알아보자. 대부분의 사이트는 그들의 루트 경로 아래에 robots.txt라는 파일을 두어 크롤링에 대한 규약을 써놓는데, 보통 크롤링을 허용하거나 허용하지 않는 페이지들이 적혀있다. ..
[Python] 잘 알려져 있지 않은 파이썬 기능
2019.03.19'Hidden features of Python' 언젠가 스택오버플로에서 찾았는데, 파이썬에서 잘 알려져 있지 않은 기능을 공유하는 글이다. (다만 스택오버플로의 취지에는 맞지 않는 질문이라 지금은 close 됨)한 번에 읽기에는 좀 길어서 북마크해뒀었는데 가끔 보면서 흥미로운 게 있으면 적어놨다. Function argument unpacking 별표(*;asterisk) 연산자를 사용하여 리스트나 딕셔너리를 언패킹할 수 있다.>>> a = [1, 2, 3, 4, 5] >>> print(*a) 1 2 3 4 5 >>> b = {'a': 1, 'b': 2, 'c': 3, 'd': 4} >>> print(*b) a b c d오와!했지만 손이 안 가서 쓰지 않는다.아웃! C 스타일 코딩을 가능케 하는 모듈 ..
[Django] module 'pip' has no attribute 'main'
2019.03.02Django 프로젝트를 시작하려는데 Django 모듈을 받자 다음과 같은 에러가 발생했다. module 'pip' has no attribute 'main' Django 프로젝트를 새로 시작할 때마다 발생했었는데 그때마다 해결법을 찾아보고 있어서 그냥 블로그에 짧게나마 적어둔다.아마 PyCharm과 pip 버전이 맞지 않아 생기는 문제같다.이럴 땐 pip 버전을 다운그레이드 해주면 된다. pip install --upgrade pip==9.0.3참고로 virtualenv를 사용한다면 당연히 virtualenv 아래에서 해야 한다.
[Django] Class-Based Views vs. Function-Based Views
2019.02.19클라이언트는 url 주소를 통해 서버에 request를 보내고, Django는 urls.py를 참고하여 해당 url에 매핑된 뷰를 찾아 실행한다. 이때 실행되는 뷰의 종류에는 클래스 기반 뷰(class-based view)와 함수 기반 뷰(function-based view)가 있다. 클래스 기반 뷰(Class-Based Views) 클래스 기반 뷰이든 함수 기반 뷰이든 뷰가 실행하는 것은 함수이다. 우리가 View.as_view() 클래스 메소드를 사용하여 URL 정의에 뷰를 추가하면 이는 view라는 함수를 리턴한다. as_view() 메소드가 어떻게 짜여 있는지 보자.(생략되지 않은 코드는 깃허브에서)class View: @classonlymethod def as_view(cls, **initkwa..
[Python] generator와 yield
2019.02.18# generator란?파이썬의 generator란 yield라는 키워드를 사용하는 iterator 생성 함수이다. * iterator란 countable한 값들을 가지고 있는 객체이다. 이 iterator가 iterate 된다는 것은 모든 값을 가로지를 수 있음을 뜻한다. 파이썬에서 iterator는 iterator 프로토콜을 시행하는 객체이며, __iter__()와 __next__() 메소드를 가지고 있다. # generator 함수 생성generator를 만드는 방법은 간단하다. 평범한 함수에서 return 대신 yield 키워드를 사용하면 된다. 함수가 하나 이상의 yield를 가지고 있다면 generator 함수가 된다. 한편 yield와 return은 모두 같은 값을 리턴하지만, return은..
Python3.6에서는 dict가 입력순으로 정렬된다.
2019.02.15(스택오버플로 질문 Are dictionaries ordered in Python 3.6+?의 답변을 참고했다.) '''# 읽지 않아도 되는 서론회사에서 random 함수가 사용된 함수를 테스트하다가 신기한 점을 발견했다. 내 컴퓨터(Python3.6)에서는 마냥 잘 되던 테스트가 다른 컴퓨터(Python3.5)에서는 계속 실패했던 것이다. 하지만 가끔 통과되는 경우도 있어서 영문을 몰랐는데 알고보니 딕셔너리의 정렬 여부 때문이었다.import random random.seed(1) dict_a = {'a': 1, 'b': 2, 'c':3, 'd':4, 'e':5} key = random.choice(list(dict_a.keys())) # 딕셔너리 키 값중 하나를 랜덤으로 선택 할당 assert key..
[Django] QuerySet을 사용할 때 쿼리를 몇 번 가져오는지 확인하자
2019.02.13사이트에서 Get 방식으로 가져오는 API 하나가 1.5초 정도로 너무 오래 걸린다 싶었는데 django-debug-toolbar(공식문서)의 SQL탭을 보니 쿼리를 150번 정도 돌리고 있었다.그렇게 복잡한 API도 아니었는데 이렇게 쿼리를 많이 돌리는 이유를 보니, - serializer에서 다른 테이블을 참조- for loop로 QuerySet을 돌림 이 중 두 번째, for loop로 QuerySet을 돌리는 실수가 가장 치명적이었다.심지어 for loop 아래의 for loop에서까지 돌리고 있었다.쿼리 1-10개 정도야 반짝하고 가져오지만 100개가 넘어가면... 그래서 for loop 아래에서 Model.objects.filter(..) 등으로 QuerySet을 가져오는 부분을 모두 바깥으로..
celery 에러 핸들링
2019.02.13# AttributeError async & KeyError asynckombu와 celery의 버전이 충돌하는 것이니, celery 버전을 4.2.1로 업데이트한다.GitHub celery 이슈에 있더라.(KeyError async #870)celery와 버전이 엮인 라이브러리는 billiard, kombu, amqp, vine이다.Collecting celery==4.1.1 Downloading https://files.pythonhosted.org/packages/99/fa/4049b26bfe71992ecf979acd39b87e55b493608613054089d975418015b7/celery-4.1.1-py2.py3-none-any.whl (394kB) 100% |██████████████████..
[Django] Django 에러 핸들링
2019.02.12api.User.groups: (fields.E304) Reverse accessor for 'User.groups' clashes with reverse accessor for 'User.groups'.HINT: Add or change a related_name argument to the definition for 'User.groups' or 'User.groups'.api.User.user_permissions: (fields.E304) Reverse accessor for 'User.user_permissions' clashes with reverse accessor for 'User.user_permissions'.HINT: Add or change a related_name argument..
[Django] ORM과 모델
2019.02.12Django ORM(Object Relational Mapping) # 개요Object-Relational Mapping(ORM)은 관계형 데이터베이스와 Django 모델 객체 간의 매핑을 제공하는 매우 유용한 기술이다.Django를 처음 써보는, 혹 아직 써보지 않은 사람들에게는 이 개념이 잘 와닿지 않을 수 있는데, 한 마디로 SQL문을 사용하지 않고도 데이터베이스를 관리할 수 있게 해준다는 거다. 예를 들어, 데이터베이스에 'person'이라는 테이블을 생성하기 위해 다음 SQL문을 짰었다면,CREATE TABLE person ( "id" serial NOT NULL PRIMARY KEY, "first_name" varchar(30) NOT NULL, "last_name" varchar(30) NO..