목록딥러닝 (6)

Shakerato

jupyter notebook setup: an anaconda environment as a kernel

1. Install ipykernel each environmentsconda install ipykernel 2. Set jupyter notebook kernel in the anaconda default environmentType 'activate' in cmdpython -m ipykernel install --user --name --display-name "" 3. Run the juypter-notebookC:\ProgramData\Anaconda3\Scripts\jupyter-notebook.exe --ip 4. Change kernel Click *.ipynb - [Kernel tap] - [change kernel] - select a kernel
Research 2018. 7. 26. 06:38
pip install -r requirements.txt 라이브러리 설치 팁 (버전 상관없이 최신버전 설치)

버전 상관 없이 최신버전으로 requirements.txt 파일에 있는 라이브러리들을 설치하는 경우 사용 예를들어 아래와 같이 라이브러리 리스트에 개수가 많고 버전이 틀려서 설치가 잘 안될때 복구/설치 할때 사용합니다.- github에서 다운받은 소스코드의 requirements- 파이썬 설치 라이브러리 리스트 백업: pip list > requirements.txt- 아나콘다 설치 라이브러리 리스트 백업: conda list > requirements.txt 다음과 같이 아래와 같이 requirements.txt가 되어 있는경우, -------------alabaster==0.7.10anaconda-client==1.6.5anaconda-navigator==1.6.8anaconda-project==0...
Research 2018. 5. 26. 04:10
How to implement next_batch for mini batch gradient descent in deep learning

Full Code: https://www.kaggle.com/pedrolcn/deep-tensorflow-ccn-cross-validationclass TrainBatcher(object): # Class constructor def __init__(self, examples, labels): self.labels = labels self.examples = examples self.index_in_epoch = 0 self.num_examples = examples.shape[0] # mini-batching method def next_batch(self, batch_size): start = self.index_in_epoch self.index_in_epoch += batch_size # When..
Research 2018. 4. 2. 15:29
Role of validation for neural network (deep learning) - validation 역할

Why do we need validation (validation이 필요한 이유)? In order to estimate how well your model has been trained (that is dependent upon the size of your data, the value you would like to predict, input etc) and to estimate model properties (mean error for numeric predictors, classification errors for classifiers, recall and precision for IR-models etc.) - 모델이 학습이 잘 되었는지 측정하기 위해 A set of examples used ..
Research 2018. 4. 1. 21:39
Google colab에서 한국어 NLP 처리 환경 구축

What is Colab (Colaboratory) ?- https://colab.research.google.com- Colaboratory는 기계 학습 교육 및 연구 보급을 돕기 위해 만든 Google 연구 프로젝트입니다.- Jupyter 노트북 환경에서 클라우드 환경에서의 설치 및 실행이 전혀 필요하지 않습니다. - Colaboratory 노트는 Google 드라이브에 저장되며 Google 문서 또는 스프레드 시트에서와 마찬가지로 공유 할 수 있습니다.- Colaboratory는 무료입니다.- Now you can develop deep learning applications with Google Colaboratory on the free Tesla K80 GPU- using Keras, Tens..
Research 2018. 3. 31. 20:35
Deep Learning - GPU memory limitation, How to overcome it?

Limited GPU Memory GPU usually has lesser device memory than host memoryThe latest high-end GPU (such as NVIDIA GPU P100)12–16 GB device memoryHost system memory256GBTrend for deep learning models is to have a “deeper and wider” architectureEspecially, RNN needs a lot of memory 1. First Solution: distributed Deep LearningSource: M. Cho et al., "PowerAI DDL", 2017PowerAI DDL provides a unified in..
Research 2018. 3. 26. 22:36
Prev 1 Next