Üretken Yapay Zeka Yarışının Kirli Sırrı
Şubat başında, hem Google hem de Microsoft, arama motorlarında önemli değişiklikler olduğunu açıkladı. Her iki teknoloji devide, karmaşık soruları anlamak ve bunlara yanıt vermek için devasa dil modelleri kullanan üretken yapay zeka teknolojilerini geliştirmeye veya satın almaya çok yatırım yaptı. Artık tüketicilere daha zengin ve daha doğru bir deneyim sağlama umuduyla bunları aramaya dahil etmeye çalışıyorlar. Çinli arama motoru Baidu da aynı şeyi yapacağını açıkladı.
Ancak, bu yeni teknolojilerin etrafındaki coşku, karanlık bir sırrı maskeliyor olabilir. Yüksek performanslı, yapay zeka destekli arama motorları oluşturma telaşı, neredeyse kesinlikle işlem gücünde büyük bir artışın yanı sıra teknoloji işletmelerinin kullandığı enerji miktarında ve ürettikleri karbon miktarında büyük bir artışa ihtiyaç duyacaktır.
Birleşik Krallık'taki Surrey Üniversitesi'nde siber güvenlik profesörü olan Alan Woodward, "Çevrimiçi bilgileri indeksleme ve taramayla ilgili zaten muazzam kaynaklar var, ancak yapay zekayı dahil etmek farklı türde bir ateş gücü gerektiriyor" diyor. "Bu, depolama ve verimli aramanın yanı sıra işlem gücü gerektiriyor. Çevrimiçi işlemede her büyük değişiklik olduğunda, devasa işleme merkezlerinin ihtiyaç duyduğu elektrik ve soğutma kaynakları önemli ölçüde artıyor. Bunun önemli bir adım olabileceğine inanıyorum."
Microsoft'un güçlendirilmiş Bing arama motorunu ve Google'ın eşdeğeri Bard'ı güçlendirecek OpenAI'nin ChatGPT'sini destekleyenler gibi büyük dil modellerini (LLM'ler) eğitmek, çok büyük miktarda veri içindeki bağlantıların ayrıştırılmasını ve bilgi işlem yapılmasını gerektirir; büyük şirketler tarafından geliştirilebilir.
spanya'nın Corua Üniversitesi'nde bilgisayar bilimcisi olan Carlos Gómez-Rodrguez, "Bu modelleri eğitmek muazzam miktarda işlem gücü gerektiriyor" diyor. "Şu anda onları yalnızca Büyük Teknoloji firmaları eğitebilir."
Ne OpenAI ne de Google, ürünlerinin bilgi işlem maliyetlerini açıklamamış olsa da, araştırmacılar tarafından yapılan üçüncü taraf analizleri, ChatGPT'nin temel aldığı GPT-3 eğitiminin 1.287 MWh tükettiğini ve 550 tondan fazla karbondioksit emisyonuyla sonuçlandığını tahmin ediyor. eşdeğeri - New York ve San Francisco arasında 550 gidiş-dönüş seyahat eden tek bir kişinin eşdeğeri.
Gómez Rodriguez, "O kadar da kötü değil, ancak bunu yalnızca öğretmekle kalmayıp aynı zamanda uygulamanız ve milyonlarca tüketiciye hizmet etmeniz gerektiğini de düşünmelisiniz." UBS'nin günlük 13 milyon kullanıcıya sahip olduğunu söylediği ChatGPT'yi ayrı bir ürün olarak kullanmak ile günde yarım milyar sorgu işleyen Bing'e dahil etmek arasında da önemli bir fark var.
Kanadalı veri merkezi sağlayıcısı QScale'in kurucu ortağı Martin Bouchard'a göre, üretken yapay zekayı arama sürecine dahil etmek, "arama başına en az dört veya beş kat daha fazla işleme" ihtiyaç duyacak. ChatGPT'nin bilgi işlem ihtiyaçlarını azaltmak için artık dünyayı kavrayışını 2021'in sonlarında sonlandırdığına dikkat çekiyor.
Bu, arama motoru kullanıcılarının ihtiyaçlarını karşılamak için değiştirilmelidir. "Modeli sık sık yeniden eğitecekler ve ek parametreler ve her şeyi ekleyeceklerse, bu tamamen farklı bir ölçektir" diye açıklıyor.
Bu, donanıma önemli bir yatırım gerektirecektir. Bouchard, "Mevcut veri merkezlerimiz ve altyapımız [üretken yapay zeka yarışına] ayak uyduramayacak" diyor.
Uluslararası Enerji Ajansı'na göre, veri merkezleri şu anda küresel sera gazı emisyonlarının yaklaşık %1'ini oluşturuyor. Arama işletmeleri küresel ısınma üzerindeki net etkilerini sınırlamayı taahhüt etsede, bulut bilişime olan talep arttıkça bunun artması bekleniyor.
Gómez-Rodrguez, "Ulaşım veya tekstil işi kadar kötü değil" diye ekliyor. "Ancak, [AI] emisyonlara büyük katkı sağlama potansiyeline sahip."
Microsoft, 2050 yılına kadar karbon nötr olma sözü verdi. Şirket bu yıl 1,5 milyon mt karbon kredisi satın almayı planlıyor. Google, 2030 yılına kadar tüm değer zincirinde net sıfır emisyon elde etme taahhüdünde bulundu. OpenAI ve Microsoft'tan yanıt talepleri iade edilmedi.
Veri merkezlerini daha temiz enerji kaynaklarına taşımak ve sinir ağlarını daha verimli olacak şekilde değiştirmek, yapay zekayı aramaya dahil etmenin çevresel etkisini ve enerji maliyetini azaltabilir.
Doğal dil işlemede sürdürülebilirliğe odaklanan Sheffield Üniversitesi'nde doğal dil işleme öğretim görevlisi olan Nafise Sadat Moosavi, "Böyle büyük modeller için gerekli olan çıkarım süresini nasıl azaltacağımızı bulmamız gerekiyor" diyor. "Şu an verimliliğe konsantre olmak için mükemmel bir an."
Google sözcüsü Jane Park'a göre, şirket ilk önce Bard'ın daha hafif bir büyük dil modeli tarafından yönetilen bir sürümünü yayınladı.
Park, "LaMDA'nın daha eski ve daha büyük bir sürümü de dahil olmak üzere, son teknoloji dil modellerinin enerji maliyetleri hakkında da araştırmalar yayınladık" diye açıklıyor. "Bulgularımız, verimli modelleri, işlemcileri ve veri merkezlerini yenilenebilir enerji kaynaklarıyla entegre etmenin bir [makine öğrenimi] sisteminin karbon ayak izini 1000 kata kadar azaltabileceğini gösteriyor."
Sorun, en azından Google söz konusu olduğunda, arama doğruluğundaki küçük faydalar için tüm ekstra hesaplama gücüne ve zahmetine değip değmeyeceğidir. Öte yandan Moosavi, LLM'lerin yarattığı enerji ve karbon miktarına odaklanmanın hayati olmasına rağmen, bir bakış açısının gerekli olduğuna inanıyor.
"Bunun son tüketiciler için işe yaraması harika," diyor. "Çünkü daha önceki büyük dil modelleri herkese açık değildi."