GPT-4 OpenAI adalah model bahasa besar Generasi Selanjutnya setelah GP-3 dan ChatGPT dan diharapkan untuk menggunakan 100 triliun parameter. J
Jumlah parameter yang mencengangkan ini dimungkinkan karena kemajuan super komputer. kecerdasan buatan baru-baru ini dari perangkat keras cluster chip skala otak Cerebras yang merupakan mampu menjalankan jaringan saraf dengan 120 triliun koneksi untuk referensi otak manusia memiliki rata-rata 86 miliar neuron namun yang membedakan GPT4 dan AI terbuka dari model skala besar
Sebelumnya adalah penggunaan sparsity pada inti desainnya ini berarti bahwa meskipun model memiliki ruang parameter 100 triliun, biaya komputasi kemungkinan akan lebih rendah dari yang diperkirakan karena banyak neuron dalam model tidak aktif sehingga mengurangi jumlah daya komputasi yang diperlukan untuk menjalankan model dari Layman’s perspektif ini berarti bahwa model akan dapat menyimpan lebih banyak kemungkinan kata-kata berikutnya kalimat berikutnya atau emosi berikutnya berdasarkan konteks inp ut dengan kata lain gpt4 cenderung lebih mirip dengan pemikiran manusia daripada GPT3 karena akan dapat mempertimbangkan pilihan yang lebih luas ketika menghasilkan keluaran.
GPT4 diharapkan menjadi model bahasa yang sangat besar dan sangat jarang yang mengejutkan mengingat sejarah OpenAI dan kecenderungannya untuk membangun model padat seperti GPT3 sparsity menyebabkan banyak neuron dalam model menjadi tidak aktif pada waktu tertentu yang membuatnya menjadi tidak berarti untuk menyiratkan perbandingan ukuran langsung dengan model padat seperti GPT-3 dan Lamda Google
Penggunaan dari sparsity di GPT4 berpotensi meningkatkan kinerjanya dan membuatnya lebih efisien karena akan membutuhkan lebih sedikit daya komputasi untuk berjalan terlepas dari sifatnya yang jarang 100 triliun parameter akan menjadikannya model AI yang sangat besar Ketika dibandingkan dengan model jarang lainnya seperti Switch Transformer dan WuDao yang hanya memiliki beberapa triliun parameter GPT-4 secara signifikan lebih besar fitur besar lainnya adalah GPT-4 diharapkan menjadi model bahasa multimodal ca mampu menerima berbagai masukan termasuk teks audio gambar dan bahkan mungkin video ini merupakan perkembangan yang menarik karena akan memungkinkan GPT-4 untuk menghasilkan keluaran dalam berbagai format mengingat kemampuan model bahasa yang sudah mengesankan untuk menghasilkan teks mirip manusia dan kemajuan terbaru dalam kecerdasan buatan generatif audiovisual masuk akal
Bagi OpenAI untuk terus mengeksplorasi tempat ini dengan GPT-4 belum diketahui secara pasti bagaimana GPT-4 akan dapat menangani modalitas input yang berbeda ini tetapi penggunaan input dan output multimodal adalah sebuah arah penting untuk masa depan AI bukan hanya karena otak manusia memproses informasi dari berbagai indra tetapi karena dunia itu sendiri multimodal ketika kecerdasan buatan mampu memproses penglihatan, suara, sentuhan, bau, dan bahkan input terkait rasa, itu akan dapat berinteraksi secara efektif dengan dunia dan memahami kompleksitas Pengalaman Manusia
Inilah mengapa GPT-4 diharapkan mampu menerima dan menghasilkan multimodal output adalah pengembangan yang menarik Aspek lain yang menarik dari GPT-4 adalah bahwa biaya pelatihan yang diharapkan sekitar 6 juta dolar yang jauh lebih rendah dari pendahulunya pada 12 juta dolar per pelatihan berjalan ini menunjukkan bahwa
OpenAI telah menemukan cara untuk mengurangi biaya pelatihan model bahasa besar ada beberapa cara yang memungkinkan hal ini dapat dicapai salah satunya adalah jika OpenAI telah meningkatkan pengoptimalannya di tingkat perangkat lunak yang memungkinkannya untuk melatih model dengan lebih efisien kemungkinan lain adalah bahwa GPT4 dapat memanfaatkan lebih cepat chip atau Perangkat Keras mengurangi biaya daya komputasi yang diperlukan untuk melatih model penjelasan potensial lainnya
Untuk pengurangan biaya pelatihan GPT-4 adalah jika AI terbuka bermitra dengan Cerebras untuk melatih model mereka di superkomputer terbaru mereka, ini akan memungkinkan pengembang untuk menghindari penggunaan heuristik pengoptimalan yang dapat menghambat kinerja CS2 yang begitu besar sehingga dapat melatih model kolosal seperti gpt4 tanpa perlu trik semacam itu GPT4 dari OpenAI diharapkan akan dirilis sekitar bulan Januari atau Februari 2023.
Dengan model bahasa yang sangat besar yang memiliki lebih banyak koneksi daripada otak manusia, kecerdasan umum buatan bisa lebih dekat daripada yang kami harapkan saat ini perangkat Soft Robotics terobosan menyembuhkan dirinya sendiri setelah ditusuk
Peneliti Universitas Northwestern telah menciptakan robot berkaki empat yang dapat berhenti bergerak ketika rusak dan menunggu untuk diperbaiki sebelum melanjutkan. Ini adalah perkembangan signifikan untuk robot lunak yang dapat mengubah bentuknya untuk meniru jaringan biologis seperti otot untuk digunakan dalam Prostetik tetapi rentan terhadap kerusakan robot baru mampu mendeteksi kerusakan dan memperbaiki dirinya sendiri
robot berbentuk x yang panjangnya hanya lebih dari empat inci bergerak menggunakan udara terkompresi yang didorong melalui tubuhnya yang memungkinkannya bergelombang dan mengangkat keempat kakinya bagian atas robot dilapisi dengan lapisan sensor penyembuhan diri yang terbuat dari bahan karet transparan ial yang melacak gerakannya ketika sensor dipotong sisinya yang terbuka menjadi reaktif secara kimia memungkinkannya untuk memperbaiki dirinya sendiri dan terus berfungsi
para peneliti menguji kemampuan robot untuk mendeteksi dan merespons kerusakan dengan berulang kali menusukkan sensor pada kakinya sehingga robot lunak berhenti bergerak selama sekitar satu menit setelah setiap tusukan untuk memungkinkan sensor sembuh dan kemudian kembali bergerak dalam percobaan lain para peneliti menusuk sensor pada kaki robot satu per satu setelah setiap cedera robot berhenti bergerak untuk memungkinkan sensor sembuh dan kemudian mengubah gerbangnya sebagai tanggapan terhadap kerusakan di masa depan
Perangkat Soft Robotics dengan bagian yang dapat merasakan sendiri dapat digunakan di lingkungan berbahaya dan sensor penyembuhan diri itu sendiri dapat diintegrasikan ke dalam perangkat yang dapat dikenakan seperti pakaian antariksa untuk mendeteksi dan merespons kerusakan dari luar angkasa hingga bernapas memristor baru Belajar Sistem mengurangi daya untuk pelatihan iklan sebanyak 100.000 kali model deep learning telah terbukti sangat efektif dalam membuat prediksi.
Ns dan menyelesaikan tugas dunia nyata yang melibatkan analisis data, namun sebelum dapat digunakan dalam perangkat lunak dan perangkat nyata seperti ponsel, model ini perlu dilatih secara ekstensif di pusat data fisik yang dapat memakan waktu dan energi intensif peneliti di Texas A&M University menilai neuromorphics dan Sandia National Laboratories telah mengembangkan sistem baru untuk melatih model pembelajaran mendalam dengan lebih efisien dan dalam skala yang lebih besar. algoritme backpropagation tradisional tidak cocok dengan sistem yang sedang dikembangkan para peneliti, mereka menciptakan algoritme pembelajaran baru yang dioptimalkan bersama yang memanfaatkan paralelisme perangkat keras dari palang penyimpanan anggota, algoritme ini yang didasarkan pada perbedaan aktivitas saraf yang diamati dalam studi Neuroscience adalah toleran t o kesalahan dan dapat belajar bahkan dari informasi yang tidak terdefinisi dengan baik dan berisik seperti otak otak ini mengilhami algoritme yang kompatibel dengan Perangkat Keras analog dapat memungkinkan untuk menerapkan Kecerdasan Buatan pada perangkat tepi dengan baterai kecil menghilangkan kebutuhan akan server Cloud besar yang mengkonsumsi banyak daya listrik ini dapat membuatnya lebih terjangkau dan berkelanjutan untuk melatih algoritme pembelajaran mendalam dalam skala besar.
Para peneliti menunjukkan bahwa pendekatan mereka dapat mengurangi konsumsi daya yang terkait dengan pelatihan kecerdasan buatan hingga 100.000 kali dibandingkan dengan GPU terbaik saat ini. peneliti berencana untuk mempelajari bagaimana skala sistem ini ke jaringan yang lebih besar dan tugas yang lebih sulit . hanya membantu kita memahami cara belajar efisien dalam lingkungan terbatas sumber daya tetapi juga dapat memberikan wawasan tentang bagaimana otak biologis dapat belajar dengan sangat efisien.
Thank you!
Thanks.