Hallo semuanya kembali dengan saya, tulisan ini mungkin akan menjelaskan tentang bagaimana sih cara run AI kaya chat gpt secara local melalui komputer kalian. Tapi membutuhkan resource yang lumayan besar, terutama ram dan kapasitas vram gpu kalian. Kalau misalkan kalian hanya punya cpu bisa saja tapi model yang di pakai mungkin cukup rendah,

Oke sebelum kita masuk ke cara running nya, mungkin sedikit overview ya tentang model AI. Pertama adalah ada banyak model AI kaya Deepseek, llama 3.3, phi4, dan lain lain. Nah yang akan kita coba nanti adalah model yang Deepseek r1. Tapi selain banyak model nya ada juga yang harus di perhatiin nih. Yaitu adalah tags nya temen temen. Kaya gini contoh nya:

Yang bagian 1.5b, 7b dan lain lain. Nah mungkin kalian bertanya tanya apasih itu 1.5b, 7b. Buat apa kok ada tags nya, sebenarnya sih simple temen temen. Simple nya ini tuh nandain seberapa pintar sih si AI nya. Nah semakin besar angka nya maka semakin pintar si AI. Tapi membutuhkan resource yang besar juga untuk ngejalanin si AI nya.

Oke mungkin kita lebih jauh ke tags nya ya, jadi huruf b di belakang angka itu menandakan billion yang dimana bisa di jadikan penanda berapa sih parameter si AI yang punya. Makin banyak parameter nya ya tentunya semakin pintar.

Mungkin kembali mengingatkan spek yang dibutuhkan adalah vram yang besar, ram yang besar, dan storage yang cukup. Ini kalo jalanin si AI nya pakai standalone ya, kalo mau di bikin cluster bisa bisa saja. Tapi harus punya connection yang cukup juga. Minimal butuh speed GBPS untuk ngeluarin potensi maksimal nya.

Karena kalau cluster tentunya perlu konek antara host kan, jadi butuh reousce yang besar dan yap speed yang lumayan gede. Itu kalo mau dibikin cluster, tapi kalo mau dibikin stand alone itu bisa saja.

Oke lanjut ke caranya bagaimana sih cara running AI di local, pertama kalian bisa pakai ollama untuk base nya bisa kunjungi website berikut: https://ollama.com/

Habis itu kalian bisa ke models dan cari deepseek-r1.

Habis itu kita akan pakai yang 7b saja, tapi yang saya pakai ini spek pc nya lumayan tinggi ya. Pakai rtx seri 40 dan cpu nya amd ryzen 9 seri 7000 ya walaupun ram nya kurang cuman 16 hehe. Nah kalo udah di install kalian buka terminal kalian. Jalankan perintah berikut:

ollama run deepseek-r1:7b

Untuk ngedownload yang 7b, habis itu udah deh kalian tunggu karena size nya yang lumayan. Habis udah kalian bisa cek model yang terdownload apa pakai

ollama list

Nah kalo mau jalanin si AI nya pakai perintah yang sama di atas deh, habis itu kalian udah bisa pakai tuh si AI buat keseharian tanpa pakai Chatgpt yang berbayar atau free terbatas.

Nah mungkin sedikit tambahan, kalau kalian mau jalanin pakai cluster. Kalian pakai tools exo. Tool ini buat running AI dalam cluster, ini untuk link nya https://github.com/exo-explore/exo

Untuk tutor nya mungkin nanti kita akan coba, sampai jumpa pada tulisan selanjutnya bye bye.