खगोल

मशीन लर्निंग के लिए खगोलीय डेटाबेस?

मशीन लर्निंग के लिए खगोलीय डेटाबेस?


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

मैं खगोल विज्ञान में खुली समस्याओं के बारे में यह प्रश्न पढ़ रहा था। इनाम प्राप्त करने वाला उत्तर कहता है कि

मैंने अभी उस क्षेत्र को छोड़ दिया है जहां कुछ सहयोगी क्लस्टर के केंद्र में अलग-अलग सितारों को अलग करने के लिए छवि घटाव तकनीकों का उपयोग करने के लिए कुछ सॉफ़्टवेयर विकसित करने का प्रयास कर रहे हैं।

मुझे यह समस्या दिलचस्प लगती है। ऐसी समस्याओं को हल करने के लिए विभिन्न प्रकार की एमएल तकनीकों के परीक्षण के लिए मुझे खगोलीय छवियों के डेटाबेस कहां मिल सकते हैं?


यूरोपियन सदर्न ऑब्जर्वेटरी के पास http://www.eso.org/qi/ से उपलब्ध इमेज डेटा के कैटलॉग हैं, उन्हें एक्सेस करने में सक्षम होने से पहले आपको पंजीकरण करना होगा।

मेरा सुझाव है कि आप अन्य वेधशालाओं की वेबसाइटों को उनके डेटा के लिए देखें। आपको आम जनता पर लक्षित पृष्ठों को देखना होगा और डेटा या विज्ञान, या उपयोगकर्ता पोर्टल या ऐसा कुछ के लिए लिंक ढूंढना होगा। कभी-कभी उन्हें ढूंढना मुश्किल होता है।

आदर्श रूप से आपके पास वर्गीकरण के लिए छवियों का एक मानक एनोटेट डेटा सेट होगा ताकि आप दूसरों के साथ अपने परिणामों की तुलना कर सकें। दुर्भाग्य से मुझे किसी मानक सेट की जानकारी नहीं है।

खगोलीय छवियों पर पैटर्न पहचान का उपयोग करने वाले साहित्य के लिए, http://astrometry.net/biblio.html एक अच्छा संसाधन है। उन्होंने एक एमएल सिस्टम बनाया है जो न केवल अन्य ऑब्जेक्ट क्लास से सितारों को अलग करने में सक्षम है बल्कि यह भी पहचानने में सक्षम है कि छवि में कौन से सितारे दिखाई दे रहे हैं! बहुत ही रोचक शोध।

एनबी क्लस्टर में सितारों को वर्गीकृत करने के लिए, समस्या शायद वर्गीकरण नहीं, बल्कि अधिक विभाजन है।


डॉ रॉब लियोन


नमस्ते, मैं ’m रोब। मैं एज हिल यूनिवर्सिटी में एआई और रोबोटिक्स का लेक्चरर हूं। मेरी शोध रुचियों में रीयल-टाइम मशीन लर्निंग, डेटा स्ट्रीम प्रोसेसिंग और असंतुलित मशीन लर्निंग समस्याएं शामिल हैं। मैं एक एसटीएफसी वित्त पोषित परियोजना के लिए सिद्धांत अन्वेषक हूं जिसका उद्देश्य रेडियोथेरेपी उपचार में सुधार के लिए एमएल विधियों का उपयोग करना है। मैं विभिन्न अंतरराष्ट्रीय विज्ञान सहयोगों के लिए शुद्ध एमएल अनुसंधान भी करता हूं जिसका मैं हिस्सा हूं। अभी मैं प्रो. बेन स्टैपर्स (मैनचेस्टर विश्वविद्यालय) के साथ एक पीएचडी छात्र की देखरेख कर रहा हूं।

2015 से मैं दुनिया के सबसे बड़े रेडियो टेलीस्कोप, स्क्वायर किलोमीटर एरे (एसकेए) को डिजाइन करने में मदद कर रहा हूं। मैं सेंट्रल सिग्नल प्रोसेसर (CSP) और साइंस डेटा प्रोसेसर (SDP) डिज़ाइन कंसोर्टिया दोनों का हिस्सा था, और मैं अभी भी इन प्रोजेक्ट्स के मशीन लर्निंग पहलुओं से जुड़ा हुआ हूँ।

बायोडेटा

मेरे सीवी का एक सामान्य संस्करण यहां देखा जा सकता है।

मेरी पृष्ठभूमि

मैंने बी.एससी. सॉफ्टवेयर इंजीनियरिंग (प्रथम श्रेणी के सम्मान) में, और एक M.Sc. एडवांस्ड कंप्यूटर साइंस (डिस्टिंक्शन) में, दोनों ने लिवरपूल विश्वविद्यालय से प्राप्त किया। मेरे पास पीएच.डी. भी है। मशीन लर्निंग में, मैनचेस्टर विश्वविद्यालय में प्राप्त किया। अतीत में मैंने एक प्रदर्शन और मापनीयता सॉफ्टवेयर इंजीनियर के रूप में काम किया है, और मैंने एसटीईएम विज्ञान राजदूत के रूप में भी स्वेच्छा से काम किया है।

मैंने मैनचेस्टर विश्वविद्यालय में डॉक्टरेट के बाद के शोधकर्ता के रूप में चार साल बिताए। इस समय के दौरान मैंने खगोलविदों को दिलचस्प और महत्वपूर्ण नई खोज करने में मदद करने में सक्षम बुद्धिमान एल्गोरिदम बनाने पर काम किया। यह कार्य अत्यधिक अंतःविषय था। इसने सॉफ्टवेयर इंजीनियरिंग, डेटा साइंस, मशीन लर्निंग और रेडियो एस्ट्रोनॉमी को मिला दिया। अब तक मैंने सहकर्मियों को 20 से अधिक नए पल्सर (ज्ञात पल्सर आबादी में 1% की वृद्धि) की खोज में मदद की है। आने वाले वर्षों में यह आंकड़ा बढ़ने की उम्मीद है।

मैं एक गर्वित लिवरपुडलियन (किर्कबी नामक शहर से), एक कुल विज्ञान बेवकूफ, और एक बड़ा खेल प्रशंसक हूं।


खगोल विज्ञान और पृथ्वी अवलोकन से बड़े डेटा में ज्ञान की खोज

खगोल विज्ञान और पृथ्वी प्रेक्षण से बड़े डेटा में ज्ञान की खोज: Astrogeoinformatics अनुप्रयोगों, तकनीकों और बड़े डेटा के प्रमुख सिद्धांतों के संदर्भ में खगोल विज्ञान और भूविज्ञान के बीच की खाई को पाटता है। मशीन लर्निंग और समानांतर कंप्यूटिंग तेजी से क्रॉस-डिसिप्लिनरी बनते जा रहे हैं क्योंकि बिग डेटा की घटना आम होती जा रही है। यह पुस्तक खगोल विज्ञान और भूविज्ञान में बड़े डेटा के लिए उपयोग किए जाने वाले सामान्य वर्कफ़्लो और डेटा विज्ञान उपकरणों में अंतर्दृष्टि प्रदान करती है। डेटा एकत्र करने, पूर्व-प्रसंस्करण और हैंडलिंग में समानता स्थापित करने के बाद, डेटा विज्ञान के पहलुओं को दोनों क्षेत्रों के संदर्भ में चित्रित किया गया है। सॉफ्टवेयर, हार्डवेयर और बड़े डेटा के एल्गोरिदम को संबोधित किया जाता है।

अंत में, पुस्तक उभरते हुए विज्ञान में अंतर्दृष्टि प्रदान करती है जो पृथ्वी और उसके निवासियों पर ब्रह्मांड के प्रभाव का अध्ययन करने में दोनों क्षेत्रों से डेटा और विशेषज्ञता को जोड़ती है।

खगोल विज्ञान और पृथ्वी प्रेक्षण से बड़े डेटा में ज्ञान की खोज: Astrogeoinformatics अनुप्रयोगों, तकनीकों और बड़े डेटा के प्रमुख सिद्धांतों के संदर्भ में खगोल विज्ञान और भूविज्ञान के बीच की खाई को पाटता है। मशीन लर्निंग और समानांतर कंप्यूटिंग तेजी से क्रॉस-डिसिप्लिनरी बनते जा रहे हैं क्योंकि बिग डेटा की घटना आम होती जा रही है। यह पुस्तक खगोल विज्ञान और भू-विज्ञान में बड़े डेटा के लिए उपयोग किए जाने वाले सामान्य वर्कफ़्लो और डेटा विज्ञान उपकरणों में अंतर्दृष्टि प्रदान करती है। डेटा एकत्र करने, पूर्व-प्रसंस्करण और हैंडलिंग में समानता स्थापित करने के बाद, डेटा विज्ञान के पहलुओं को दोनों क्षेत्रों के संदर्भ में चित्रित किया गया है। बड़े डेटा के सॉफ्टवेयर, हार्डवेयर और एल्गोरिदम को संबोधित किया जाता है।

अंत में, पुस्तक उभरते हुए विज्ञान में अंतर्दृष्टि प्रदान करती है जो पृथ्वी और उसके निवासियों पर ब्रह्मांड के प्रभाव का अध्ययन करने में दोनों क्षेत्रों से डेटा और विशेषज्ञता को जोड़ती है।


खगोल विज्ञान में एआई का भविष्य

खगोल विज्ञान में एआई का भविष्य उतना उज्ज्वल नहीं है जितना कि कुछ इसे देखते हैं, और न ही यह उतना ही अंधकारमय भविष्य है जितना कुछ लोग देखते हैं। कई क्षेत्रों की कल्पना करना अभी भी आसान है। वे अभी भी खगोल विज्ञान के मूल से बाहर हैं, जहां प्रौद्योगिकी भविष्य में भूमिका निभा सकती है। कंप्यूटर सिस्टम की बढ़ती जटिलता के लिए बेहतर मानव-कंप्यूटर इंटरफेस की आवश्यकता होगी। हालाँकि, ग्राउंड-आधारित अवलोकन ऑपरेशन भी तेजी से जटिल प्रतीत होते हैं और उस स्तर से भी आगे तक पहुँच सकते हैं जिस पर मनुष्य उन्हें जल्दी और मज़बूती से संभाल सकता है।

अनुपस्थिति और विभाजित अनुसूची अवलोकन प्रक्रियाएं अधिक सामान्य हो जाएंगी। कई बारंबारता प्रेक्षणों का संयोजन, जिसके लिए कई ग्राउंड बेस और उपग्रह अवलोकनों के समन्वय की आवश्यकता होती है, को अत्याधुनिक शेड्यूलिंग की सहायता से सुगम बनाया जा सकता है। नियोजित ग्रह मिशन, यदि कभी वित्त पोषित हो, तो स्वतंत्र अवलोकन क्षमताओं की आवश्यकता होगी। तंत्रिका नेटवर्क का उपयोग करके "लचीली" दूरबीन प्रकाशिकी या दूरबीन पंक्तियों के अनुकूलन के अनुकूली नियंत्रण को संभव बनाया जा सकता है। और बड़े छवि डेटाबेस से डेटा सामग्री के साथ जुड़ा हुआ है।


मशीन लर्निंग के लिए खगोलीय डेटाबेस? - खगोल विज्ञान

चिली में एक नया टेलीस्कोप जल्द ही रात के आकाश का पहले की तुलना में अधिक व्यापक रूप से सर्वेक्षण करेगा, हर तीन दिनों में पूरे आकाश की इमेजिंग करेगा, और अपने आठ मीटर दर्पण के लिए ब्रह्मांड में गहराई से देखेगा। हालांकि यह खगोल विज्ञान समुदाय के लिए एक अविश्वसनीय संसाधन है, यह पता लगाना कि टेलीस्कोप से आने वाले डेटा की निकट निरंतर स्ट्रीम का सबसे अच्छा उपयोग कैसे किया जाए, यह एक चुनौती होगी – जिसे पर्ड्यू टीम आईटीएपी की मदद से निपट रही है। अनुसंधान कंप्यूटिंग संसाधन।  

डैन मिलिसावल्जेविक, भौतिकी और खगोल विज्ञान के सहायक प्रोफेसर और उनकी पोस्टडॉक्टरल सहयोगी निहारिका श्रवण ने रिसर्च कंप्यूटिंग के डेटा वैज्ञानिक जेफ्री लेंटनर के साथ मिलकर एक उपकरण विकसित करने के लिए काम किया, इंटेलिजेंट ट्रांसिएंट ट्रैकिंग (आरईएफआईटीटी) के लिए सिफारिश इंजन जो दूरबीन के बारे में अलर्ट को अवशोषित करेगा। दिलचस्प खगोलीय घटनाएँ, और पता लगाएँ कि कौन से अनुसरण करने योग्य हैं।

सुपरनोवा, या बड़े पैमाने पर स्टार विस्फोटों का अध्ययन करने वाले मिलिसावल्जेविक, डेटा स्ट्रीम की तुलना करते हैं जो वेरा रुबिन ऑब्जर्वेटरी के लिगेसी सर्वे ऑफ स्पेस एंड टाइम (LSST) से एक फायर हाइड्रेंट खोलने के लिए आएगी। जबकि वर्तमान दूरबीनें प्रति वर्ष दो हज़ार की दर से सुपरनोवा खोजती हैं, रुबिन दूरबीन से यह उम्मीद की जाती है कि वे हर दिन कई खोज करेंगे।

REFITT टेलीस्कोप से आने वाले सभी डेटा को सम्मिलित करता है और घटनाओं के बारे में संभाव्य अनुमान लगाने के लिए मशीन लर्निंग एल्गोरिदम और सुपरनोवा व्यवहार के ज्ञात पहलुओं का उपयोग करता है, जो उपयोगकर्ता को अंतर्दृष्टि देता है कि किन घटनाओं का आगे और कैसे अध्ययन किया जाना चाहिए।

टीम ने ब्राउन समुदाय क्लस्टर पर बहुत अधिक भरोसा किया, जो विशेष रूप से मशीन सीखने के अनुप्रयोगों के लिए उपयुक्त है, उनके एल्गोरिदम को विकसित करने और प्रशिक्षित करने के लिए, और किले संग्रह में अपने डेटा का बैक अप लेता है।

“मैं पर्ड्यू में शामिल होने के लिए उत्साहित था, यह जानते हुए कि हमारे पास विज्ञान को पूरा करने के लिए समर्पित बहुत सारे संसाधन हैं, ” डेटा विज्ञान और कम्प्यूटेशनल खगोल विज्ञान में पृष्ठभूमि रखने वाले श्रवण कहते हैं।

REFITT परियोजना में नागरिक वैज्ञानिक भी शामिल होंगे, जिसे मिलिसावल्जेविक ने 'ब्रह्मांड को देखने के लिए पृथ्वी को क्राउडसोर्सिंग' के रूप में वर्णित किया है। लक्ष्य कई शौकिया खगोलविदों को उनके दूरबीनों को इंगित करने के लिए सबसे अच्छी जगह पर मार्गदर्शन देना है, अतिरेक और यह सुनिश्चित करना कि जितनी संभव हो उतनी दिलचस्प खगोलीय घटनाएं कोई उन्हें देख रहा है।


डेटा संचालित खगोल विज्ञान Astro

विज्ञान एक डेटा विस्फोट के दौर से गुजर रहा है, और खगोल विज्ञान आगे बढ़ रहा है। आधुनिक टेलीस्कोप प्रति अवलोकन डेटा के टेराबाइट्स का उत्पादन करते हैं, और हमारे अवलोकन योग्य ब्रह्मांड को मॉडल करने के लिए आवश्यक सिमुलेशन सुपर कंप्यूटरों को उनकी सीमा तक धक्का देते हैं। इस डेटा का विश्लेषण करने के लिए वैज्ञानिकों को समस्याओं को हल करने के लिए कम्प्यूटेशनल रूप से सोचने में सक्षम होना चाहिए। इस कोर्स में आप बड़े डेटासेट के साथ काम करने की चुनौतियों की जांच करेंगे: एल्गोरिदम को कैसे लागू किया जाए जो आपके डेटा को प्रबंधित करने के लिए डेटाबेस का उपयोग कैसे करें और मशीन लर्निंग टूल्स के साथ अपने डेटा से कैसे सीखें। व्यावहारिक कौशल पर ध्यान केंद्रित किया गया है - सभी गतिविधियों को पायथन 3 में किया जाएगा, जो एक आधुनिक प्रोग्रामिंग भाषा है जिसका उपयोग पूरे खगोल विज्ञान में किया जाता है।

भले ही आप पहले से ही एक वैज्ञानिक हों, एक बनने के लिए अध्ययन कर रहे हों, या सिर्फ इस बात में रुचि रखते हों कि आधुनिक खगोल विज्ञान 'बोनेट के नीचे' कैसे काम करता है, यह कोर्स आपको खगोल विज्ञान का पता लगाने में मदद करेगा: ग्रहों से लेकर पल्सर तक ब्लैक होल तक। पाठ्यक्रम की रूपरेखा: सप्ताह १: डेटा के बारे में सोचना - कम्प्यूटेशनल सोच के सिद्धांत - रेडियो छवियों में पल्सर की खोज सप्ताह २: बड़ा डेटा चीजों को धीमा कर देता है - एल्गोरिदम की समय जटिलता को कैसे हल करें - विशाल आकाशगंगाओं के केंद्रों पर ब्लैक होल की खोज सप्ताह 3: SQL का उपयोग करके डेटा क्वेरी करना - अपने डेटा का विश्लेषण करने के लिए डेटाबेस का उपयोग कैसे करें - अन्य सौर प्रणालियों में एक्सोप्लैनेट की जांच करना सप्ताह 4: अपने डेटा का प्रबंधन करना - अपने डेटा को प्रबंधित करने के लिए डेटाबेस कैसे सेट करें - हमारे गैलेक्सी वीक 5 में सितारों के जीवनचक्र की खोज करना: डेटा से सीखना: प्रतिगमन - अपने डेटा की जांच के लिए मशीन लर्निंग टूल्स का उपयोग करना - दूर की आकाशगंगाओं के रेडशिफ्ट की गणना करना सप्ताह 6: डेटा से सीखना: वर्गीकरण - अपने डेटा को वर्गीकृत करने के लिए मशीन लर्निंग टूल्स का उपयोग करना - विभिन्न प्रकार की आकाशगंगाओं की जांच करना प्रत्येक सप्ताह में एक डेटा-संचालित खगोल विज्ञान विशेषज्ञ के साथ साक्षात्कार। ध्यान दें कि पायथन के कुछ ज्ञान को माना जाता है, जिसमें चर, नियंत्रण संरचनाएं, डेटा संरचनाएं, कार्य और फाइलों के साथ काम करना शामिल है।


इस पाठ्यक्रम में, छात्रों को निम्नलिखित व्यवहार-उन्मुख कौशल में प्रशिक्षित किया जाएगा:

समस्या समाधान (समस्याओं को पहचानना और उनका विश्लेषण करना, समाधान-उन्मुख सोच)

विश्लेषणात्मक कौशल (विश्लेषणात्मक सोच, अमूर्तता, साक्ष्य)

संरचित सोच (संरचना, संशोधित सोच, कम्प्यूटेशनल सोच, प्रोग्रामिंग)

जटिल आईसीटी-कौशल (डेटा विश्लेषण, प्रोग्रामिंग, सिमुलेशन, जटिल आईसीटी अनुप्रयोग)

जिम्मेदारी (स्वामित्व, आत्म-अनुशासन, सहन गलतियाँ, जवाबदेही)

स्व-नियमन (स्वतंत्रता, आत्म-सम्मान, स्वयं के लक्ष्यों, उद्देश्यों और क्षमताओं से अवगत)


१-२५ और ३०७ अक्टूबर से डेटा-संचालित खगोल विज्ञान

मैंने आज यह कोर्स पूरा किया। यदि आप मशीन लर्निंग, डिसीजन ट्री वर्गीकरण, एसक्यूएल, और अधिक जैसी उन्नत अवधारणाओं को सीखना चाहते हैं तो यह कोर्स आपके लिए है! मैं हाई स्कूल में सीनियर हूं, और मैं एस्ट्रोफिजिक्स में पढ़ाई करने जा रहा हूं। यदि आप कंप्यूटर विज्ञान से प्यार करते हैं तो यह एक दिलचस्प पाठ्यक्रम होगा, क्योंकि यह खगोल विज्ञान में सीएस के अनुप्रयोगों को दिखाएगा।

मैं बचपन से ही खगोल विज्ञान का दीवाना रहा हूं, लेकिन पैसे के बारे में सोचते हुए, मेरी कंप्यूटर विज्ञान की पृष्ठभूमि थी। अब जब मैंने डेटा विज्ञान के अद्भुत ब्रह्मांड का पता लगा लिया है और विशेष रूप से इसके संबंध में कि खगोल विज्ञान इसके साथ कैसे प्रगति कर सकता है, तो मुझे लगता है कि मैं अपने अद्भुत ब्रह्मांड का अध्ययन करने के लिए पूरी तरह से वापस आ गया हूं।

यह एक अच्छी तरह से निर्धारित पाठ्यक्रम है। मैंने एक सप्ताह पूरा कर लिया है और मुझे गणित, खगोल विज्ञान और उपकरणों का मिश्रण पसंद आया! पाठ्यक्रम की सामग्री पुरानी नहीं है, जो इस तरह के क्षेत्र के लिए वास्तव में महत्वपूर्ण है।

डेटा विज्ञान में प्रोग्रामर के रूप में काम करने वाले किसी व्यक्ति के लिए पाठ्यक्रम बहुत सरल है। फिर भी उन लोगों के लिए बहुत दिलचस्प है जिन्होंने खगोलीय डेटा नहीं देखा है और कुछ संक्षिप्त विश्लेषण करना चाहते हैं।

इस कोर्स को डिजाइन करने में काफी मेहनत की गई। मेरी टोपी उन प्रशिक्षकों के लिए है, जिन्होंने इस पाठ्यक्रम को डिजाइन किया और इसमें भाग लिया और साथ ही उन आकाओं के लिए जो हमारे कोड पर हमारे साथ मातम में थे। अपनी ओर से बहुत अधिक प्रयास से आप बहुत कुछ सीखेंगे।

डेटा संचालित खगोल विज्ञान में सबसे बड़ा मुद्दा विशाल डेटासेट का प्रबंधन और विश्लेषण कर रहा है। शुरुआत से ही, आप डेटासेट के आकार को कुशलतापूर्वक संसाधित करने के लिए एल्गोरिदम को स्केल करने के बारे में जानेंगे। यह कंप्यूटर विज्ञान में एक प्रमुख विषय है।

आप एक्सोप्लैनेट से लेकर आकाशगंगा आकारिकी तक खगोल विज्ञान के बारे में बहुत कुछ सीखेंगे। सामग्री परिष्कृत है और आपको छात्र का संरक्षण नहीं करती है। यह मुश्किल और फायदेमंद है!

पायथन के बारे में मेरा ज्ञान खराब है क्योंकि मैं पिछले एक साल से R पर ध्यान केंद्रित कर रहा हूं। आप और अधिक Python, NumPY, matplotlib, और Astropy मॉड्यूल सीखेंगे।

व्याख्यान अच्छी तरह से सोचे-समझे और गहरे हैं। प्रशिक्षकों ने विज्ञान की प्रकृति और खगोल विज्ञान की चुनौतियों के बारे में दिलचस्प टिप्पणियां कीं।

खगोलविदों के साथ बोनस साक्षात्कार को याद नहीं किया जाना चाहिए। इसमें शामिल खगोलविदों ने विज्ञान, क्षेत्र के साथ-साथ इसके हाल के इतिहास के बारे में महान सुझाव दिए।

क्विज़ के उत्तर पूरी तरह से वीडियो में शामिल नहीं हैं। परिणामस्वरूप मुझे या तो उत्तरों के बारे में कठिन सोचना पड़ा या सामग्री पर और शोध करना पड़ा--दोनों गतिविधियाँ सार्थक हैं।

पाठ्यक्रम में विषयों को आगे बढ़ाने के लिए डेटासेट प्रदान किए जाते हैं, कुछ ऐसा जो मैं पूरी तरह से करने का इरादा रखता हूं। k-d एल्गोरिथम को एस्ट्रोपी मॉड्यूल में भेज दिया गया है--मुझे लगता है कि इसे शुरू से किया जा सकता है।'

सांख्यिकीय मुद्दों के विवरण पर सावधानीपूर्वक ध्यान दिया जाता है - प्रशिक्षण और परीक्षण डेटासेट, मध्यस्थों को प्राप्त करने के लिए बिनिंग डेटा के एसिम्प्टोटिक सिद्धांत आदि।

यदि मुझे कोई सुझाव देना है, तो वह विश्लेषण के परिणामों को लिखने के लिए प्रोत्साहित करना होगा - छात्र को न केवल सफल कोड का जश्न मनाने का अवसर देना, बल्कि परिणामों को भी समझने का अवसर देना।

पचपन साल पहले, जब एक स्कूली छात्र भौतिकी का अध्ययन करने के लिए विश्वविद्यालय जाने वाला था, मैंने दिन के मध्य में टेलीविजन चालू कर दिया - जब पश्चिम ऑस्ट्रेलियाई में छपे कार्यक्रम कार्यक्रम में कुछ भी नहीं दिख रहा था। मेरे आश्चर्य के लिए, या तो एक 'टेस्ट कार्ड'RF शोर' के बजाय, एक प्रोफेसर द्वारा एक व्याख्यान दिया जा रहा था, जो यूके से आया था, 'Sydney Summer School of Science' के हिस्से के रूप में .

वाह! यहां एक ऑस्ट्रेलियाई वाणिज्यिक टीवी चैनल पर रोमांचक और सूचनात्मक शैक्षिक टेलीविजन था, जो एक सप्ताह से अधिक समय तक हर दिन एक ही समय पर दिखा, लेकिन बिना किसी प्रचार के। भौतिकी में बड़े प्रश्नों के बारे में मेरी जागरूकता ने एक बड़ी छलांग लगा दी - दुर्घटना से।

तेजी से आगे 65 साल। हाल ही में कौरसेरा के भौतिकी के पाठ्यक्रमों के मेनू पर एक नज़र सिडनी विश्वविद्यालय के 'डेटा ड्रिवेन एस्ट्रोनॉमी' के साथ आई. कोविड -19 के कारण बंद होने के कारण, मैंने पाठ्यक्रम के पहले सप्ताह में प्रवेश किया। क्या आश्चर्य है! मैं इसका अनुसरण करना बंद नहीं कर सका - पूरे दिन, हर दिन कई दिनों तक दौड़ता रहा।

सिडनी विश्वविद्यालय, भौतिकी (खगोल विज्ञान) में वर्तमान बड़े प्रश्नों के बारे में मेरी जागरूकता बढ़ाने के लिए धन्यवाद और उन्हें बड़े डेटा और एक प्रभावशाली टूलकिट के साथ कैसे संबोधित किया जा सकता है।

तारा मर्फी आवश्यक सूचनाओं को निकालने और संपीड़ित करने और इसे दर्शकों तक पहुँचाने में असाधारण रूप से अच्छी हैं। एक परिचयात्मक स्तर पर बुनियादी खगोल विज्ञान विषयों के बारे में काल्पनिक रूप से निर्मित लघु फिल्मों के साथ एक बहुत अच्छी तरह से संरचित पाठ्यक्रम (गैलेक्टिक राउंड-हाउस किक के इस शक्तिशाली प्यासे प्रकार को देखने के लिए बहुत मज़ा) वास्तव में गर्म सार्वजनिक वैज्ञानिक पुस्तकालय, और, अंततः, कुछ GROK प्लेटफ़ॉर्म सीखने के अनुभव को जोड़ता है जो अद्वितीय है। केवल एक डाउनर है (दो यदि आप डॉ साइमन मर्फी की रात की शर्ट को उनके पहले व्याख्यान में जोड़ते हैं): यह केवल उस गंदे दो सिरों वाले विज्ञान ड्रैगन के कुछ माइक्रोन को खरोंचता है। वास्तविक दुनिया के पैमाने पर समस्याओं को हल करने में सक्षम होने की अपेक्षा न करें, एर. प्राप्त ज्ञान के साथ ब्रह्मांड। फिर भी, बढ़िया काम डेटा-संचालित खगोल विज्ञान टीम!

कोडिंग के दृष्टिकोण से पहले कुछ सप्ताह चुनौतीपूर्ण हैं, लेकिन हमारे ब्रह्मांड के बारे में जो ज्ञान प्राप्त होता है वह बस शानदार है। मुझे प्रोग्रामिंग भाषा का उपयोग करने में कभी मजा नहीं आया, भले ही शुरुआती स्तर पर, इस कक्षा तक की समस्याओं को हल करने के लिए। बस शानदार। यदि आप मेरी तरह डीप लर्निंग के बारे में उत्सुक हैं, और मशीन लर्निंग के क्षेत्र में एक आकांक्षी हैं, तो मैं आपको इस कोर्स का अत्यधिक सुझाव देता हूं यदि आप पायथन में अपनी यात्रा शुरू करने के लिए अपने तरीके से काम करने की कोशिश कर रहे हैं। मैं आर में कुशल हूं।

मैं इस पर विश्वास नहीं कर सकता लेकिन मुझे हमेशा से खगोल भौतिकी से प्यार रहा है। ६ साल की शिक्षा और औद्योगिक इंजीनियरिंग में मास्टर डिग्री प्राप्त करने के बाद, इस पाठ्यक्रम ने हमारे ब्रह्मांड का अध्ययन करने के लिए मेरे प्यार को फिर से जगा दिया है। मैं और अधिक के लिए भूखा रहूंगा और निकट या दूर के भविष्य में खगोल भौतिकी में डिग्री के लिए स्कूल लौटूंगा। धन्यवाद, मुझे भौतिकी से प्यार है और मैं वास्तव में चाहता हूं कि मैंने अपना समय बर्बाद नहीं किया जो मैंने किया था।

उत्कृष्ट पाठ्यक्रम जो डेटा विश्लेषण के दृष्टिकोण से खगोल विज्ञान का परिचय प्रदान करता है। इस पाठ्यक्रम में खगोल विज्ञान की जिन अवधारणाओं को छुआ गया है, वे बहुत गहरी नहीं हैं। हालांकि, उन्हें अच्छी तरह से चुना जाता है ताकि बिना किसी समस्या के कोर्स किया जा सके। दूसरी ओर, डेटा विश्लेषण और मशीन लर्निंग की अवधारणाओं को बहुत अच्छी तरह से समझाया गया है, ताकि आप यहां जो सीखते हैं वह नई सीखने की चुनौतियों का सामना करने के लिए एक आधार के रूप में काम करेगा। जैसा कि मैंने कहा, बहुत बढ़िया!

मैंने पाठ्यक्रम का आनंद लिया। मुझे लगा कि यह एक खगोल विज्ञान आवरण के साथ एक डेटा कोर्स था, जो बहुत अच्छा है, क्योंकि डेटा भाग खगोल विज्ञान से परे लागू होता है। पाठ्यक्रम numpy (एक सुपर उपयोगी पायथन पुस्तकालय) और sklearn (एक सुपर उपयोगी मशीन लर्निंग लाइब्रेरी) में एक अच्छा परिचय प्रदान करता है। मैं इस कोर्स को फिर से लूंगा।

यह खगोल विज्ञान में दिलचस्प विषयों को संबंधित अजगर चुनौतियों के साथ जोड़ने वाला एक बेहतरीन कोर्स है। Numpy, SQL और मशीन लर्निंग सभी यहां खगोल विज्ञान के संदर्भ में शामिल हैं, हालांकि यह देखना आसान है कि अन्य क्षेत्रों में समान तकनीकों को कैसे लागू किया जा सकता है।

बहुत ही रोचक पाठ्यक्रम जो खगोल विज्ञान के लिए डेटा प्रबंधन में बहुत सारे व्यावहारिक अनुप्रयोग और अंतर्दृष्टि प्रदान करता है। यह विशेषज्ञों के साक्षात्कार और अध्ययन किए गए खगोलीय विषयों पर अतिरिक्त सामग्री के साथ रुचि जगाता है।

खगोलीय डेटासेट के साथ डेटा साइंस करने के इच्छुक किसी भी व्यक्ति के लिए यह एक अच्छा कोर्स है। व्याख्यान स्पष्ट और रोचक हैं और गतिविधियां अच्छी तरह से संरचित हैं। मुझे यह कोर्स बहुत अच्छा लगा!

कौरसेरा पर मेरे द्वारा किए गए सर्वोत्तम पाठ्यक्रमों में से एक। समस्याओं को समझने के लिए बस पर्याप्त खगोल विज्ञान, और फिर एक कदम दर कदम अभ्यास में जाना, जटिलता का निर्माण करना। रुक नहीं सका!

मैंने अब तक का सबसे अच्छा MOOC किया है. खगोल विज्ञान और/या मशीन सीखने में रुचि रखने वाले किसी भी व्यक्ति के लिए बढ़िया।


मशीन लर्निंग के लिए खगोलीय डेटाबेस? - खगोल विज्ञान

हाल ही में, खगोल विज्ञान ने डिटेक्टरों, उपकरणों, दूरबीनों और यहां तक ​​​​कि उन जांचों में एक बड़ी छलांग और प्रगति देखी है जो हमारे ब्रह्मांड का नक्शा बनाने के लिए आकाश सर्वेक्षण में डेटा एकत्र करने के लिए बाहरी अंतरिक्ष और दूर के ग्रहों में भेजे जाते हैं। इन एकत्रित डेटा को बहुत बड़े डेटासेट में व्यवस्थित किया जाता है, जिसे डेटा-ओरिएंटेड एस्ट्रोनॉमी कहा जाता है। दुर्भाग्य से, प्रभावी परिणाम प्राप्त करने के लिए इन विशाल डेटासेट पर मैन्युअल रूप से काम करना असंभव है, इसलिए खगोलविद कला के माध्यम से इन बड़े कच्चे डेटासेट से खगोलीय ज्ञान और जानकारी की खोज करने के लिए मैन्युअल स्कैनिंग की मानवीय त्रुटि जनित प्रक्रियाओं को स्वचालित करने के लिए दृष्टिकोण की तलाश कर रहे हैं। डेटा माइनिंग तकनीक, सांख्यिकीय तरीके और डेटा विज्ञान उपकरण (यह एक नया अनुशासन जिसे एस्ट्रोइनफॉरमैटिक्स कहा जाता है)। मुझे लगता है, कई अन्य लोगों की तरह यहां कोई बेहतर खिलाड़ी नहीं है, जो कि फोटोमेट्रिक छवियों, रेडशिफ्ट्स या रेडियो एस्ट्रोनॉमी एकत्रित सिग्नल डेटासेट का उपयोग करके सितारों, क्वासर और आकाशगंगाओं को वर्गीकृत करने के लिए बड़े पैमाने पर खगोलीय डेटासेट पर मशीन लर्निंग एल्गोरिदम और तकनीकों को लागू करने से बेहतर है। ऐतिहासिक रूप से, राष्ट्रीय अनुसंधान परिषद (संयुक्त राज्य) में पहल के रूप में 2010 में प्रारंभिक प्रयास शुरू हुए। यह कदम वह आधार था जिस पर बाद में शोध योगदान ने डिजिटल खगोलीय डेटाबेस जैसे बड़े सिनोप्टिक सर्वे टेलीस्कोप (एलएसएसटी), स्क्वायर किलोमीटर एरे वेधशाला, और स्लोअन डिजिटल स्काई सर्वे (एसडीएसएस) के बड़े विश्वव्यापी वितरित संग्रह का उपयोग करके क्षेत्र पर ध्यान केंद्रित किया और क्षेत्र को समृद्ध किया। लेकिन यह क्षेत्र अभी भी युवा है और विशेष रूप से मशीन लर्निंग में नई सटीक तकनीकों को खोजने के लिए और अधिक शोध की आवश्यकता है और विशेष रूप से जनता के लिए अब खोले गए बड़े पैमाने पर खगोलीय डेटासेट की गहन शिक्षा और उपलब्धता का उपयोग करना है। इसके बारे में अधिक समझ हासिल करने और ब्रह्मांड विज्ञान में मौजूदा और नए सिद्धांतों का समर्थन करने के लिए हमारे ब्रह्मांड को सही ढंग से मैप करने के लिए थीसिस वर्गीकरण समस्याओं को हल किया जाना चाहिए, निश्चित रूप से यहां सही उम्मीदवार तकनीक गहरी शिक्षा है, क्योंकि इसने बड़े पैमाने पर छवि डेटासेट पर अपनी सफलता साबित की है। जैसे कि हमारे डोमेन का मामला। इस दृष्टिकोण से, मैंने स्लोअन डिजिटल स्काई सर्वे (एसडीएसएस) सुपरनोवा सर्वेक्षण विशेष रूप से एसडीएसएस विरासत के प्रसिद्ध सार्वजनिक डेटासेट का उपयोग करके इस उल्लिखित संभावना को मान्य करने के लिए डीप लर्निंग एल्गोरिदम लागू करने की जांच करने के लिए ठोस खगोलीय वर्गीकरण समस्या का चयन किया है। एसडीएसएस-द्वितीय एसएन सर्वेक्षण नामक सर्वेक्षण।

आकाश सर्वेक्षण कई अलग-अलग रूपों में बड़े पैमाने पर खगोलीय डेटासेट प्रदान करता है जैसे कि ऑप्टिकल स्पेक्ट्रा, इन्फ्रारेड स्पेक्ट्रा, फोटोमेट्रिक रेडशिफ्ट्स, लाइट कर्व्स और इमेजिंग डेटा जो विभिन्न प्रकार की खगोलीय जानकारी और वस्तुओं का प्रतिनिधित्व करते हैं। इमेजिंग डेटा को ध्यान में रखते हुए, खगोलविद हाथ में छवियों को स्कैन करके मैन्युअल रूप से वर्गीकरण प्रक्रिया शुरू करते हैं ताकि यह पता लगाया जा सके कि वास्तविक क्या है और क्या नहीं है, फिर उन्हें संभावित सितारों, क्वासर और आकाशगंगाओं के समूहों में समूहित करें। इमेजिंग डेटा में अक्सर ऐसी वस्तुएं होती हैं जो थोड़े समय के लिए दिखाई देती हैं, जिन्हें ट्रांज़िएंट कहा जाता है जैसे गामा किरणें, क्षुद्रग्रह और सुपरनोवा। सुपरनोवा (एसएन) तारे के जीवन काल के अंत में होता है यानी जब कोई तारा किसी विस्फोट से नष्ट हो जाता है, तो यह पूरी आकाशगंगा में बेहद चमकीला होगा। परिणामी सुपरनोवा (एसएनई) को उनके वर्णक्रमीय विशेषताओं के आधार पर पांच मुख्य श्रेणियों (टाइप I, टाइप II, टाइप आईबी, टाइप आईसी, टाइप आईए) में वर्गीकृत किया जाता है, जो उनके स्पेक्ट्रा में हाइड्रोजन, हीलियम और अन्य तत्वों की उपस्थिति में भिन्न होते हैं। . ये सुपरनोवा विस्फोट या तो सफेद बौनों के थर्मोन्यूक्लियर विस्फोट होते हैं (लगभग 1.4 सौर द्रव्यमान और द्विध्रुव के सितारों के लिए) या तारे का कोर पतन (9 सौर द्रव्यमान के आसपास विशाल तारे) जो गुरुत्वाकर्षण ऊर्जा छोड़ते हैं और न्यूट्रॉन तारे (पल्सर) या ब्लैक होल के रूप में बने रहते हैं। यहां समस्या यह है कि इन भौतिक घटनाओं के लिए कलाकृतियों और वस्तुओं का वर्गीकरण हाथ से किया जाता है और यह बहुत समय लेने वाला काम है और साथ ही यह मानवीय पूर्वाग्रह के अधीन है जो एक व्यक्ति से दूसरे व्यक्ति में भिन्न होता है, साथ ही साथ मैनुअल स्कैनिंग भी संभव नहीं है छवियों की एक बड़ी मात्रा। इस समस्या के समाधान के रूप में, ज्ञान की खोज की प्रक्रिया को स्वचालित करने के लिए मशीन लर्निंग एल्गोरिदम को लागू करने की संभावना का पता लगाने के लिए और इन बड़े कच्चे डेटासेट के भीतर अव्यवहार्य मैनुअल और मानव हैंडलिंग के बजाय खगोलीय जानकारी के निष्कर्षण की संभावना का पता लगाने के लिए बड़े प्रयास किए जा रहे हैं। यहां हमारी परियोजना में हमने इस उल्लिखित संभावना को मान्य करने के लिए एक डीप लर्निंग एल्गोरिदम के आवेदन की जांच की है, लेकिन हमारे बेंचमार्क मॉडल की तुलना के उद्देश्य से मैंने खगोलविदों का पहला कदम चुना है जो बाइनरी वर्गीकरण समस्या में दिलचस्प वस्तुओं की तलाश में है। यह निर्धारित करने के लिए कि अंतर्निहित इमेजिंग डेटा में क्या वास्तविक है और क्या नहीं।

एल्गोरिदम और तकनीक

मैनुअल स्कैनिंग करने वालों की मनोदशा और थकान के आधार पर मानवीय पूर्वाग्रह को कम करने के लिए, एसडीएसएस डेटासेट को मूल छवियों के बीच कुछ मात्रा में नकली वस्तुओं की छवियों के साथ बेतरतीब ढंग से इंजेक्ट किया जाता है। समस्या का शेष भाग मानव द्वारा प्रति रात सैकड़ों और हजारों छवियों को वर्गीकृत करने की अक्षमता है, इसलिए उन्हें मशीनों द्वारा प्रतिस्थापित किया जाना चाहिए और इसे मैं अपनी परियोजना में मान्य करने का प्रयास कर रहा हूं। मैं एसडीएसएस सुपरनोवा सर्वेक्षण से क्षणिक इमेजिंग डेटा को वास्तविक वस्तुओं और कलाकृतियों में वर्गीकृत करने की मैन्युअल प्रक्रिया को स्वचालित करने के लिए एक दृढ़ तंत्रिका नेटवर्क का निर्माण करूंगा क्योंकि यह एल्गोरिदम प्रभावशाली छवि पहचान परिणाम प्रदान करता है। आकाश के किसी दिए गए हिस्से की सबसे हाल की छवि से एक संदर्भ छवि को घटाकर अंतर छवियां बनाई जाती हैं, यह एक शुद्ध शोर छवि छोड़ देगी जब तक कि क्षणिक मौजूद न हो। हमारी समस्या को सरल बनाने के लिए, मैं इसे द्विआधारी वर्गीकरण कार्य में बदल दूंगा यानी मिशन गैर-वास्तविक लोगों से वास्तविक ग्राहकों का पता लगाना होगा

स्वचालित वर्गीकरण के कार्य को पूरा करने के लिए शास्त्रीय पर्यवेक्षित शिक्षण एल्गोरिदम का उपयोग करते हुए इस परियोजना के अधिकांश समान कार्यों को एसएन फैक्ट्री के पूर्व कार्य (2006 में रोमन, आरागॉन और डिंग और बेली 2007) पर केंद्रित किया गया था। अपने काम के लिए एक बेंचमार्क मॉडल के रूप में, मैं "एसडीएसएस क्षणिक सर्वेक्षण छवियों का मशीन लर्निंग वर्गीकरण" शीर्षक वाले प्रकाशन का सुझाव दूंगा। यह शोध एक ही डेटासेट पर काम करता है, लेकिन रैंडम फ़ॉरेस्ट, k-निकटतम पड़ोसी, Naïve Bayes और सपोर्ट वेक्टर मशीन (SVM) जैसे विभिन्न शिक्षण एल्गोरिदम का उपयोग करता है। फिर यह उसी माप मेट्रिक्स का उपयोग करके उनके प्रदर्शन की तुलना करता है जिसका मैंने उपयोग किया है, दूसरे शब्दों में मैंने इस शोध पर फिर से काम किया था लेकिन गहन शिक्षण दृढ़ नेटवर्क का उपयोग किया और फिर अपने काम की तुलना पिछले काम से की। लेकिन इसके विपरीत वे आकार, स्थिति, पूर्ण-चौड़ाई आधी अधिकतम (एफडब्ल्यूएचएम) जैसी विशेषताओं को निकालने के लिए प्रिंसिपल कंपोनेंट एनालिसिस एल्गोरिथम (पीसीए) पर निर्भर करते हैं, और अंतर छवि में निकटतम वस्तु से दूरी के साथ-साथ एसडीएसएस कैमरा फिल्टर (जी) , r, i, z, u), हमारे समाधान में पीसीए का उपयोग करके फीचर निष्कर्षण को संसाधित करने की कोई आवश्यकता नहीं है लेकिन हमारा सीएनएन उन्हें सीखेगा। बेंचमार्क मॉडल ने निम्नलिखित परिणाम प्राप्त किए थे जिनकी मैं अपने परिणामों की तुलना उनसे कर रहा हूं।

जिस बेंचमार्क मॉडल के साथ हम तुलना कर रहे हैं, वह क्षणिक वर्गीकरण के लिए विभिन्न मशीन लर्निंग एल्गोरिदम की जांच कर रहा है, खगोलीय इमेजिंग डेटा में वस्तुओं के लिए वास्तविक और गैर-वास्तविक वस्तुओं में बाइनरी वर्गीकरण की प्राथमिक प्रक्रिया को करने के लिए सरल किया गया था। बेंचमार्क परिणामों से हम ध्यान दें कि सबसे अच्छा क्लासिफायरियर इस्तेमाल किया गया था, जो कि ९१% पर सटीकता और रिकॉल के साथ रैंडम फ़ॉरेस्ट (RF) है। साथ ही यह स्काईनेट नामक न्यूरल नेटवर्क का उपयोग करता है जो 88% की शुद्धता और 89% की याद देता है। लेकिन डीप लर्निंग कनवल्शनल नेटवर्क (सीएनएन) का उपयोग करते हुए हमारा अंतिम परिणाम ९२.३६% की एक अच्छी स्वीकार्य सटीकता देता है और ९६.५१% को याद करें, मैंने समस्या के लिए इष्टतम समाधान प्राप्त करने की कोशिश की है और दिखाया है कि मशीन लर्निंग एल्गोरिदम का उपयोग करना विशेष रूप से गहरी शिक्षा मानव मैनुअल स्कैनिंग से अधिक हो सकती है प्रक्रिया और मुझे लगता है कि मैं कुछ हद तक इस लक्ष्य तक पहुंच गया हूं।