https://github.com/ahmetfurkandemir/google-colab
What is Google Colab ?, What can we do?.
https://github.com/ahmetfurkandemir/google-colab
Last synced: about 1 month ago
JSON representation
What is Google Colab ?, What can we do?.
- Host: GitHub
- URL: https://github.com/ahmetfurkandemir/google-colab
- Owner: AhmetFurkanDEMIR
- Created: 2020-06-07T09:10:38.000Z (over 5 years ago)
- Default Branch: master
- Last Pushed: 2020-09-03T15:47:44.000Z (about 5 years ago)
- Last Synced: 2025-03-16T09:42:42.264Z (7 months ago)
- Homepage:
- Size: 137 KB
- Stars: 25
- Watchers: 3
- Forks: 1
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Google Colab
* Google Colaboratory ile ücretsiz bir şekilde Keras, Tensorflow ve PyTorch kullanarak derin öğrenme uygulamaları geliştirebilirsiniz.
* Colaboratory veya kısaca "Colab", tarayıcınıza Python kodları yazmanıza ve yürütmenize olanak tanır.
Öğrenci, veri bilimcisi veya yapay zeka araştırmacısı iseniz Google Colab işinizi kolaylaştırır.
Sıfır yapılandırma gerekli.
GPU'lara ücretsiz erişim.
Kolay paylaşım.
# Google Colab ile Ne Yapabilirim?
* Python programlama dilinde uygulama geliştirebilirsiniz.
* Keras, TensorFlow, PyTorch ve OpenCV gibi kütüphaneleri kullanarak derin öğrenme (deep learning) uygulamaları geliştirebilirsiniz. Colab’ı diğer ücretsiz bulut servislerinden ayıran en önemli özellik; Colab’ın ücretsiz GPU sağlamasıdır.
# Yeni bir notebook oluşturalım (CPU)
* Google Colab sayfasına ilerleyin : https://colab.research.google.com/notebooks/intro.ipynb#recent=true
* Burada, sağ aşağıda bulunan "NEW NOTEBOOK" 'a tıklayınız.
* Google sizin için yeni bir notebook oluşturur ve bu notebook 'u artık Google 'ın bilgisayarlarından kullanırsınız.
* CPU destekli bir bilgisayara uzaktan bağlandınız. Artık Jupyter-Notebook 'da yapabildiğiniz her şeyi bu notebookda da yapabilirsiniz. Python kodlarınızı bu bilgisayarda yazıp çalıştırabilirsiniz.
(İlk satıra "!nvidia-smi" yazıp Shift+Enter 'e basıp test edebilirsiniz.)
# Oluşturduğumuz Notebook 'a GPU Desteği Sağlayalım
* Neden GPU ?
* Bilgisayar dünyası derin öğrenme ve yapay zeka ile inanılmaz bir değişim yaşıyor. Derin öğrenme, hem eğitim hem de çıkarım için GPU hızlandırmasına dayanır.
* Sol üstte bulunan Edit sekmesine gidiniz, oradan "Notebook settings" e tıklayınız
* Açılan pencereden "Hardware accelerator" sekmesini "GPU" olarak değiştirin.
* Runtime shape sekmesini Standart olarak bırakabilirsiniz. (yüksek bellek kullanımı isteyen kodlar için "High-RAM" olarak seçiniz.)
* Ardından Save 'e basınız. Google bilgisayara GPU desteği sağlar ve Cihaza yeniden kurulum yapılır.
* Ücretsiz bir şekilde bir GPU sahibi oldunuz :)
### Önemli bir bilgi
* Google Colab 'ın ücretsiz versiyonunu kullanıyorsanız K80 ve P100 GPU 'larını kullanabilirsiniz. Bu GPU 'lara öncelikli Erişiminiz yoktur. Eğer PRO versiyonunu kullanıyorsanız T4 ve P100 GPU 'larını öncelikli olarak kullanabilirsiniz.
Google Colab PRO : https://colab.research.google.com/signup
# Oluşturduğumuz Notebook 'a TPU Desteği Sağlayalım
* TPU nedir ?
* -Tensor Processing Unit- yani Tensör İşlem Birimi dört bağımsız çipten oluşmaktadır. Her bir çip, Tensör Çekirdek (Tensor Core) adı verilen iki hesaplama çekirdeğinden oluşur. Bir Tensör Çekirdek, skaler, vektör ve matris birimlerinden (MXU) oluşur.
* Ayrıca, her Tensör Çekirdeği ile 8 GB’lık çip bellek (HBM) ilişkilendirilmiştir. TPU üzerindeki 8 çekirdeğin her biri, kullanıcı hesaplarını (XLA ops) bağımsız olarak yürütebilir.
Yüksek bant genişliğine sahip ara bağlantı yolları, çiplerin birbirleriyle doğrudan iletişim kurmasını sağlar. XLA, Tensorflow backend için deneysel bir JIT(Just in Time) derleyicisidir. CPU (Merkezi İşlem Birimi) ve GPU (Grafik İşlem Birimi)’dan en önemli farkı ve özelliği derin öğrenmenin yapı taşı olan lineer cebir yani matris işlemlerinin paralel olarak ve çok boyutlu olarak gerçekleşmesi için tasarlanmış spesifik bir donanım olmasıdır.
Hatta buna matris ya da tensör makinesi (matrix/tensor machine) de denmektedir.
2015 yılında Google ilk TPU merkezini kurmuştur. Çünkü Google Aramalar, Çeviri, Fotoğraflar, E-posta ve Bulut gibi uygulamalarının tamamında derin öğrenme ve dolayısyla tensör işlemler uygulamaktadır.
* Google’ın sunduğu bu teknolojinin arkasındaki ekibe göre, “Yapay sinir ağları temelinden faydalanan üretilen yapay zeka uygulamalarını eğitmek için kullanılan TPU’lar, CPU ve GPU’lara göre 15 ila 30 kat daha hızlıdır!”
* ALINTI orjinal içerik : https://medium.com/@ayyucekizrak/ad%C4%B1m-ad%C4%B1m-google-colab-%C3%BCcretsiz-tpu-kullan%C4%B1m%C4%B1-621dc6e5487d
* Şimdi TPU 'yu devreye sokalım.
* Sol üstte bulunan Edit sekmesine gidiniz, oradan "Notebook settings" e tıklayınız
* Açılan pencereden "Hardware accelerator" sekmesini "TPU" olarak değiştirin.
* Runtime shape sekmesini Standart olarak bırakabilirsiniz. (yüksek bellek kullanımı isteyen kodlar için "High-RAM" olarak seçiniz.)
* Ardından Save 'e basınız. Google bilgisayara TPU desteği sağlar ve Cihaza yeniden kurulum yapılır.
* Ücretsiz bir şekilde bir TPU sahibi oldunuz :)
# Oluşturduğumuz Notebook hakkında bilgi
* Oluşturduğunuz Notebookları 12 saat boyunca açık bırakabilirsiniz. Eğer Colab PRO kullanıyorsanız 24 saat boyunca CPU/GPU/TPU desteği alabilirsiniz.
* Jupyter-Notebook da yapabildiğiniz her şeyi burada da yapabilirsiniz.
* Oluşturduğunuz notebookları indirebilirsiniz veya Python scripti haline getirip indirebilirsiniz.
# Veri setlerimizi nasıl kullanacağız ?
* 1-) Sol tarafta bulunan Files kısmından Upload 'a basınız açılan pencereden verilerinizi seçip upload edebilirsiniz.
* 2-) Verilerinizi Google Drive 'a yükleyip oradan import edebilirsiniz.
* Verilerinizi Drive upload ettikten sonra notebookumuzdan Sol tarafta bulunan Files kısmından Mount drive 'e basınız açılan pencereden "CONNECT TO GOOGLE DRİVER" kısmına basınız, artık Drive 'ınızda bulunan herşeyi kodunuzda kullanabilirsiniz.
* "%cd /content/drive/My Drive/..." şeklinde istediğiniz klasöre ilerleyebilirsiniz.
* "!ls" şeklinde klasörünüzdeki verileri inceleyebilirsiniz.
# Notebook umuzun çalıştığı makineye erişmek
```linux
!sudo su
```
Komutunu kullanarak Notebook umuzun çalıştığı ana makineye ulaşabiliriz.
Burada açılan dikdörtgen kutuya, Unix işletim sistemlerinde çalışan komutları girebilirsiniz. Komutları yazarken ** şeklinde gözükecektir, siz yazmaya devam edin ve ardından Enter'e basınız. Yazdığınız komutlar başarıyla çalışacaktır. :)
# CPU vs GPU vs TPU
* Bu üç donanımın testini yapmak için, MNIST Veri Kümesi Kullanarak Evrişimli Sinir Ağı (Convolutional Neural Network-CNN) Eğitimini yapacağız. Eğitimi Keras modülü ile gerçekleştireceğiz.
Veri setini keras.datasets üzerinden indireceğiz.
* Bu testleri kendinizde yapabilirsiniz : https://colab.research.google.com/drive/1akgItllrRuyX6I5hZ8_g8_uVfUyokglo#scrollTo=LD_P0cAJYUYe
* Bu şekilde bitiş saatinden başlangıç saatini çıkartarak eğitimin ne kadar sürede bittiğini öğrenebiliriz.
* UYARI !!! : Testte çıkacak sonuçlar bu model için geçerlidir, Test edeceğimiz donanımlar farklı problemlerde farklı sonuçlar verebilir.
### Oluşturduğumuz modelin CPU üzerindeki eğitim süresi
* Eğitim 182.847 saniye sürdü.
### Oluşturduğumuz modelin GPU üzerindeki eğitim süresi
* Eğitim 20.132 saniye sürdü.
### Oluşturduğumuz modelin TPU üzerindeki eğitim süresi
* Eğitim 47.725 saniye sürdü.
# Özet
* Google Colab size ücretisz şekilde CPU/GPU/TPU hizmeti vermektedir. Açtığınız bir notebooku 12 saat boyunca kullanabilirsiniz.
(K80 ve P100 GPU)
* Google Colab PRO kullanarak bu donanımlara öncelikli erişim hakkı sağlayabilirsiniz. Açtığınız bir notebooku 24 saat boyunca kullanabilirsiniz. (P100 ve T4 GPU)
* CPU/GPU/TPU 'lar farklı problemlerde farklı sonuçlar verebilir.
* Bizim geliştirdiğimiz modelde açık ara GPU galip gelmiştir.