No regret Just Lesson

모든 실습 코드는 colab으로 작성되었습니다. 목차 all, any bashplotlib counter Chained Comparison Chained Function Call dir emoji filter geopy howdoi inspect **kwargs list comprehensions map with lambda functions Merge Dict's newspaper3k pprint Queue __repr__ Reverse String Reverse Integer sh Swapping Values Sort Dictionary by Value type hint uuid wikipedia zip all, any bashplotlib console에서 그래프를 그리고 싶다면 bashplotli..

Web Page에서 Table 정보 가져오기 pandas의 read_html을 이용하면 웹 페이지에 있는 table 정보를 쉽게 가져올 수 있습니다. Fortune Global 500에 있는 테이블 정보를 가져와 보겠습니다. 해당 사이트를 보시면 여러 개의 테이블이 있기 때문에 각각의 테이블이 DataFrame 형태로 data 변수에 list로 저장됩니다. Ref - Quick Tip: The easiest way to grab data out of a web page in Python

numpy.linspace numpy.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None, axis=0) 일정 간격을 갖는 수로 구성된 벡터값을 생성하기 위한 함수로 start와 stop사이에 num개의 점을 생성한다. Usage np.linspace(2.0, 3.0, num=5) -> array([2. , 2.25, 2.5 , 2.75, 3. ]) np.linspace(2.0, 3.0, num=5, endpoint=False) -> array([2. , 2.2, 2.4, 2.6, 2.8]) np.linspace(2.0, 3.0, num=5, retstep=True) -> (array([2. , 2.25, 2.5 , 2.75, 3..

본 게시글은 [Github, Nesoy] 님의 Database의 샤딩(Sharding)이란? 글을 스크랩한 것입니다. 왜 샤딩(Sharding)이 필요할까요? 파티셔닝과 동일함으로 Link를 추가합니다. Link Vertical Partitioning 도메인에 따라 쉽게 분리할 수 있습니다. 도메인에 영향을 많이 받기 때문에 대부분 application level에서 CRUD를 구현합니다. 샤딩(Sharding)이란? 같은 테이블 스키마를 가진 데이터를 다수의 데이터베이스에 분산하여 저장하는 방법을 의미합니다. application level에서도 가능하지만 database level에서도 가능합니다. Horizontal Partitioning이라고 볼 수 있습니다. 샤딩(Sharding)을 적용하기에 ..

뻘짓 glob으로 파일들을 가져와서 데이터를 전처리하고 하나의 배열로 만들어 npy 파일로 저장해서 딥러닝 모델을 학습시켰다. 이틀 동안 모델을 바꿔가며 학습을 해봤는데 정확도는 절대 좋아지지 않았고 모델을 바꿔도 일정 수준을 맴도는 loss를 보면서 이상함을 느꼈다. 입력 데이터에 가장 문제가 있을 것 같아서 생각해보니 glob으로 불러왔던 파일명들이 떠올랐다. 파일의 번호 순서대로 라벨링이 되어있었는데, glob으로 가져올 때는 파일의 이름 순서와 상관없이 가져와진다. 분명 파일의 이름 순서와 상관없이 가져와진 것을 확인해놓고 그냥 계속 진행했다. 왜 그랬을까.. 무작위의 파일 순서로 전처리된 데이터를 가지고 이틀 동안 학습시켰다. 학습이 될 리가 있겠는가.. 그래서 glob으로 불러온 파일명들을 정..

에러 보통 tf에서 무거운 모델을 돌릴 때 발생한다. 발생 상황 batch_size가 큰 경우 Model을 두번 compile 한 경우 GPU가 이상이 있는 경우 Fully-connected 단에서 Dense layer가 높은 경우, 즉 Train parameter가 매우 큰 경우 Session이 clear 되지 않은 경우 해결 방법 batch_size를 줄여가면서 Test를 해본다. Model.compile를 찾아서 문제를 해결한다. 터미널에서 아래의 명령어를 이용하여 reset을 수행한다. nvidia-smi -r Fully-connected 단을 확인하여 Dense layer의 연결수를 줄이거나 제거한다. 세션을 clear하는 것을 loop 내에 둔다. from keras import backend..

에러 librosa를 import할 때 에러가 발생합니다. error code : ModuleNotFoundError: No module named 'numba.decorators' 해결 방법 pip install numba==0.48 참고 - https://github.com/librosa/librosa/issues/1160

에러 keras에서 저장된 weight 파일을 load할 때 에러가 발생했다. error code : Unknown initializer: GlorotUniform 해결 방법 # Origin Code from keras.models import load_model model = load_model(weight_file) # Solution Code model = tf.keras.models.load_model(weight_file)