Zamanımızın sürekli artan veri akışlarında kalıplar ve bağlantılar bulmak, dijital toplumda büyük bir fırsat ve aynı zamanda bir zorluktur. Jena’daki Alman Havacılık ve Uzay Merkezi’ndeki (DLR) Veri Bilimi Enstitüsü’ndeki bilim adamları, iklim parametrelerinin daha önce bilinmeyen bağımlılıklarının uzaydan ve dünyadan çok sayıda ölçüm serisinden nasıl tanımlanabileceğini ve hayal edilemeyen ilişkilerin ve içeriğin nasıl görselleştirildiğini araştırıyorlar. kullanıcı odaklı veri serilerinde ve vatandaşlar vatandaş bilimi projeleri çerçevesinde entegre edilebilir. Makine öğrenimi ve veri madenciliği yöntemleri araştırmacılar tarafından kullanılan araçlardır. Yüksek Performanslı Veri Analizi Kümesinin (HPDA) 9 Temmuz 2020’de hizmete girmesiyle birlikte, bilimde Büyük Veri analizine yönelik araştırmalara daha fazla destek vermek için uygun yüksek performanslı bilgi işlem altyapısı artık mevcut. Açılış, Friedrich Schiller Üniversitesi Jena’nın veri merkezinde Thüringen Ekonomi, Bilim ve Dijital Toplum Bakanı Wolfgang Tiefensee’nin huzurunda gerçekleşti.
Thüringen Bilim Bakanı Wolfgang Tiefensee, “Büyük miktarda veriyi ve karmaşık işlemleri işleyebilen bu yüksek performanslı bilgisayar, enstitüde gelecekteki araştırma çalışmalarının temel bir parçası” dedi. Aynı zamanda, böyle bir altyapı bölgedeki araştırma kurumlarıyla, özellikle de Friedrich Schiller Üniversitesi Jena ile daha yoğun işbirliği için başlangıç noktaları sunmaktadır. Bu nedenle devlet, HPDA kümelenmesindeki yatırımı da üç milyon avro ile destekledi. Tiefensee, “Kuruluşundan üç yıl sonra, DLR Enstitüsü doğru yoldadır,” diye devam etti. Bugünkü devreye alma, geliştirilmesinde bir başka önemli kilometre taşıdır. “Yaşamın tüm alanlarının dijitalleşmesi günümüzün mega trendi. Kısmen Jena’daki DLR Enstitüsü sayesinde, Thüringen’deki bu geleceğin bir kısmını şekillendirmeye yardımcı oluyoruz.”
5856 bilgi işlem çekirdeği ve 49 terabaytlık bir ana bellek, HPDA kümesine yaklaşık 700 TFlops maksimum bilgi işlem gücü sağlar. DLR Uzay Direktörü Prof. Hansjörg Dittus, “Bu yeni yüksek performanslı bilgisayarla, DLR’nin uzay araştırması bağlamında makine öğrenimi ve veri bilimi alanındaki yeterliliklerini güçlendiriyoruz” dedi. Dittus, “Bu, bilim adamlarımızın artık büyük veritabanlarını mükemmel teknik destekle işlemek ve analiz etmek için güçlü yöntemleri araştırabilecekleri Jena’daki Veri Bilimi Enstitümüzün daha da geliştirilmesinde önemli bir adımdır.” Jena araştırmacıları ve diğer DLR enstitüleri arasındaki işbirliği.”HPDA kümesi, daha sonra diğer şeylerin yanı sıra, operasyonel operasyonda Leibniz bilgi işlem merkezi kümesindeki yer gözlem enstitüleri tarafından kullanılan yeni yöntemlerin geliştirilmesi için merkezi araçtır. ,” diye ekliyor DLR Veri Bilimi Enstitüsü’nün kurucu direktörü Dr. Robert Axmann.
İklim araştırması için veri madenciliği
Jena’da daha da geliştirilen veri madenciliği ve makine öğrenimi yöntemleri, iklim araştırmasının veri akışlarındaki farklı iklim parametreleri arasındaki önceden tanınmayan veya hafife alınan bağımlılıkların belirlenmesine yardımcı olmalıdır. İlk projelerden biri olan AB araştırma projesi iMIRACLI (Aerosol-bulut İklim Etkilerini kısıtlamak için yenilikçi Makine öğrenimi), mikroskobik ölçekten büyük ölçekli iklime kadar aerosol-bulut etkileşimlerinin etkilerini izlemek ve ölçmek Aerosoller, diğer şeylerin yanı sıra, fosil yakıtlar yakıldığında ve ince bir şekilde dağıldığında, havada bulut oluşumunu etkileyen mikroskobik derecede küçük parçacıklar oluşur. Ayrıca güneş radyasyonunu dağıtır ve emerler ve böylece atmosferin radyasyon dengesini ve dolayısıyla iklimi etkilerler. Dünya, atmosferi, okyanusları ve kıtaları ile en çok gözlemlenen karmaşık dinamik sistemlerden biridir. Onlarca yıldır, uydular ve yer istasyonları, dünyanın neredeyse tüm bölgeleri için çok daha kısa sürede analiz edilmesi gereken çok daha büyük miktarda veri sağlıyor ve bu, atmosferin dinamiklerini simüle eden küresel iklim modelleri ile destekleniyor ve okyanuslar ve böylece gelecekteki iklim gelişmeleri için projeksiyonlar sağlar.
Görsel Analiz ve Vatandaş Bilimi
Buna ek olarak, Jena’daki araştırmacılar, görsel analiz alanındaki yeni HPDA kümesini, büyük veri akışlarını yenilikçi bir şekilde işleyen, bunlardaki beklenmedik ilişkileri ve içeriği keşfeden ve bunları kullanıcı odaklı bir şekilde görselleştiren veri madenciliği yöntemlerini daha da geliştirmek için kullanacaklar. Verilerdeki karmaşık ilişkiler, istatistiksel belirsizlikler veya özel özellikler böylece kullanıcı tarafından kolayca görülebilir. Yeni yüksek performanslı bilgisayar, Citizen Science verilerinin analiz süreçlerine entegrasyonuna yönelik araştırmaları ilerletmek için de kullanılıyor. Bir örnek, vatandaşların kendi yerel bölgelerindeki toprak nemi veya bitki örtüsü durumu hakkında topladıkları ve daha sonra uydu tabanlı yer gözlem verilerini kalibre etmek için kullanılan verilerdir. Vatandaş bilimi projeleri bağlamında vatandaşlar ve bilimsel ortaklar arasındaki eşit işbirliği, son yıllarda kârlı bir ortaklık olarak kendini kanıtlamıştır ve Jena’daki DLR, 2020 sonbaharından itibaren bir vatandaş bilimi laboratuvarı kurarak bunu da dikkate alacaktır.
DLR ve Jena Üniversitesi arasındaki veri otoyolu
Yeni kurulan HPDA kümesi, Friedrich Schiller Üniversitesi Jena’nın desteğiyle üniversitenin veri merkezine kuruldu. MEGWARE tarafından sağlanan ve kurulan yüksek performanslı bilgisayar, her biri 8 NVIDIA Tesla V100 GPU’ya sahip 118 MEGWARE bilgi işlem düğümü ve 4 GPU düğümünden oluşur. Bunlar, ölçeklenebilir Intel® Xeon® Platinum CPU’larla donatılmıştır ve öncelikle iklim bilişimi ve makine öğrenimi alanındaki bilimsel çalışmaları desteklemek için kullanılır. Veriler, bilgi işlem düğümleri arasında saniyede 100 gigabit (GBit/sn) hızında bir Intel Omni-Path ağı aracılığıyla iletilir, enstitüye bağlantı, şehir içi 10 GBit/sn fiber optik bağlantı aracılığıyla gerçekleştirilir. HPDA kümesi, DLR ve Thüringen üniversitelerindeki çeşitli bilimsel çalışma gruplarının ortak araştırmaları için önemli bir temeldir. Jena’daki DLR Veri Bilimi Enstitüsü şu anda yaklaşık 40 kişi ve 20 öğrenci istihdam etmektedir ve gelecekte kademeli olarak genişleyecektir.
Thüringen Bilim Bakanı Wolfgang Tiefensee, “Büyük miktarda veriyi ve karmaşık işlemleri işleyebilen bu yüksek performanslı bilgisayar, enstitüde gelecekteki araştırma çalışmalarının temel bir parçası” dedi. Aynı zamanda, böyle bir altyapı bölgedeki araştırma kurumlarıyla, özellikle de Friedrich Schiller Üniversitesi Jena ile daha yoğun işbirliği için başlangıç noktaları sunmaktadır. Bu nedenle devlet, HPDA kümelenmesindeki yatırımı da üç milyon avro ile destekledi. Tiefensee, “Kuruluşundan üç yıl sonra, DLR Enstitüsü doğru yoldadır,” diye devam etti. Bugünkü devreye alma, geliştirilmesinde bir başka önemli kilometre taşıdır. “Yaşamın tüm alanlarının dijitalleşmesi günümüzün mega trendi. Kısmen Jena’daki DLR Enstitüsü sayesinde, Thüringen’deki bu geleceğin bir kısmını şekillendirmeye yardımcı oluyoruz.”
5856 bilgi işlem çekirdeği ve 49 terabaytlık bir ana bellek, HPDA kümesine yaklaşık 700 TFlops maksimum bilgi işlem gücü sağlar. DLR Uzay Direktörü Prof. Hansjörg Dittus, “Bu yeni yüksek performanslı bilgisayarla, DLR’nin uzay araştırması bağlamında makine öğrenimi ve veri bilimi alanındaki yeterliliklerini güçlendiriyoruz” dedi. Dittus, “Bu, bilim adamlarımızın artık büyük veritabanlarını mükemmel teknik destekle işlemek ve analiz etmek için güçlü yöntemleri araştırabilecekleri Jena’daki Veri Bilimi Enstitümüzün daha da geliştirilmesinde önemli bir adımdır.” Jena araştırmacıları ve diğer DLR enstitüleri arasındaki işbirliği.”HPDA kümesi, daha sonra diğer şeylerin yanı sıra, operasyonel operasyonda Leibniz bilgi işlem merkezi kümesindeki yer gözlem enstitüleri tarafından kullanılan yeni yöntemlerin geliştirilmesi için merkezi araçtır. ,” diye ekliyor DLR Veri Bilimi Enstitüsü’nün kurucu direktörü Dr. Robert Axmann.
İklim araştırması için veri madenciliği
Jena’da daha da geliştirilen veri madenciliği ve makine öğrenimi yöntemleri, iklim araştırmasının veri akışlarındaki farklı iklim parametreleri arasındaki önceden tanınmayan veya hafife alınan bağımlılıkların belirlenmesine yardımcı olmalıdır. İlk projelerden biri olan AB araştırma projesi iMIRACLI (Aerosol-bulut İklim Etkilerini kısıtlamak için yenilikçi Makine öğrenimi), mikroskobik ölçekten büyük ölçekli iklime kadar aerosol-bulut etkileşimlerinin etkilerini izlemek ve ölçmek Aerosoller, diğer şeylerin yanı sıra, fosil yakıtlar yakıldığında ve ince bir şekilde dağıldığında, havada bulut oluşumunu etkileyen mikroskobik derecede küçük parçacıklar oluşur. Ayrıca güneş radyasyonunu dağıtır ve emerler ve böylece atmosferin radyasyon dengesini ve dolayısıyla iklimi etkilerler. Dünya, atmosferi, okyanusları ve kıtaları ile en çok gözlemlenen karmaşık dinamik sistemlerden biridir. Onlarca yıldır, uydular ve yer istasyonları, dünyanın neredeyse tüm bölgeleri için çok daha kısa sürede analiz edilmesi gereken çok daha büyük miktarda veri sağlıyor ve bu, atmosferin dinamiklerini simüle eden küresel iklim modelleri ile destekleniyor ve okyanuslar ve böylece gelecekteki iklim gelişmeleri için projeksiyonlar sağlar.
Görsel Analiz ve Vatandaş Bilimi
Buna ek olarak, Jena’daki araştırmacılar, görsel analiz alanındaki yeni HPDA kümesini, büyük veri akışlarını yenilikçi bir şekilde işleyen, bunlardaki beklenmedik ilişkileri ve içeriği keşfeden ve bunları kullanıcı odaklı bir şekilde görselleştiren veri madenciliği yöntemlerini daha da geliştirmek için kullanacaklar. Verilerdeki karmaşık ilişkiler, istatistiksel belirsizlikler veya özel özellikler böylece kullanıcı tarafından kolayca görülebilir. Yeni yüksek performanslı bilgisayar, Citizen Science verilerinin analiz süreçlerine entegrasyonuna yönelik araştırmaları ilerletmek için de kullanılıyor. Bir örnek, vatandaşların kendi yerel bölgelerindeki toprak nemi veya bitki örtüsü durumu hakkında topladıkları ve daha sonra uydu tabanlı yer gözlem verilerini kalibre etmek için kullanılan verilerdir. Vatandaş bilimi projeleri bağlamında vatandaşlar ve bilimsel ortaklar arasındaki eşit işbirliği, son yıllarda kârlı bir ortaklık olarak kendini kanıtlamıştır ve Jena’daki DLR, 2020 sonbaharından itibaren bir vatandaş bilimi laboratuvarı kurarak bunu da dikkate alacaktır.
DLR ve Jena Üniversitesi arasındaki veri otoyolu
Yeni kurulan HPDA kümesi, Friedrich Schiller Üniversitesi Jena’nın desteğiyle üniversitenin veri merkezine kuruldu. MEGWARE tarafından sağlanan ve kurulan yüksek performanslı bilgisayar, her biri 8 NVIDIA Tesla V100 GPU’ya sahip 118 MEGWARE bilgi işlem düğümü ve 4 GPU düğümünden oluşur. Bunlar, ölçeklenebilir Intel® Xeon® Platinum CPU’larla donatılmıştır ve öncelikle iklim bilişimi ve makine öğrenimi alanındaki bilimsel çalışmaları desteklemek için kullanılır. Veriler, bilgi işlem düğümleri arasında saniyede 100 gigabit (GBit/sn) hızında bir Intel Omni-Path ağı aracılığıyla iletilir, enstitüye bağlantı, şehir içi 10 GBit/sn fiber optik bağlantı aracılığıyla gerçekleştirilir. HPDA kümesi, DLR ve Thüringen üniversitelerindeki çeşitli bilimsel çalışma gruplarının ortak araştırmaları için önemli bir temeldir. Jena’daki DLR Veri Bilimi Enstitüsü şu anda yaklaşık 40 kişi ve 20 öğrenci istihdam etmektedir ve gelecekte kademeli olarak genişleyecektir.