الإعلانات
عندما يتعلق الأمر بقواعد البيانات والمعلومات عبر الإنترنت التي يمكن العثور عليها داخل ما يعرف باسم "الويب غير المرئي أفضل 12 محرك بحث لاستكشاف الويب غير المرئيلا يستطيع Google أو Bing البحث عن كل شيء. لاستكشاف الويب غير المرئي ، تحتاج إلى استخدام محركات البحث الخاصة هذه. قراءة المزيد "أنا لست المستخدم المعتاد. بالتأكيد ، أقضي الكثير من وقتي في التنقيب من خلال قواعد البيانات عبر الإنترنت في أماكن مثل الأرشيف الوطني وقراءة وكالة المخابرات المركزية الأمريكية الغرفة ، ولكن يجب أن أقول أن لا شيء يجعلني أكثر حماسًا عندما أجد جدولًا مستندًا إلى HTML مليئًا بأحجام تبدو غير معقدة وغير متصلة البيانات.
الحقيقة هي أن جداول البيانات هي منجم ذهب من الحقائق المهمة. غالبًا ما يتم جمع البيانات من قبل جيوش همهمات جمع البيانات مع الأحذية على الأرض. لديك أشخاص من تعداد الولايات المتحدة يسافرون في جميع أنحاء البلاد للحصول على معلومات الأسرة والعائلة. لديك مجموعات بيئية غير ربحية تجمع كل أنواع المعلومات المثيرة للاهتمام حول البيئة والتلوث والاحترار العالمي والمزيد. وإذا كنت في خوارق الطبيعة أو Ufology ، فهناك أيضًا جداول معلومات محدثة باستمرار حول مشاهد الأجسام الغريبة في السماء فوقنا.
ومن المفارقات أنك تعتقد أن أي حكومة في العالم ستهتم بمعرفة أي نوع يتم رصد الطائرات الأجنبية في السماء فوق أي بلد ، ولكن على ما يبدو لا - على الأقل ليس في الولايات المتحدة على أي حال. في أمريكا ، تم إحالة مجموعة مشاهد غير عادية من الحرف اليدوية إلى فرق الهواة الهواة الذين يتوافدون على مشاهد UFO الجديدة مثل العث على اللهب. إن اهتمامي بهذه المشاهد لا ينبع في الواقع من الانبهار بالأجانب أو الحرف من الكواكب الأخرى ، ولكن من الانبهار العلمي بالأنماط - أين ولماذا يرى المزيد من الناس الأشياء في السماء ، وما إذا كانت هذه المشاهد يمكن أن تعكس شيئًا حقيقيًا جدًا وأكثر واقعية على.
لاستكشاف أحجام البيانات التي تم جمعها من قبل فرق من هواة UFO ، لقد طورت بالفعل طريقة لاستيراد جداول HTML كبيرة من البيانات في جدول بيانات Google ، ثم معالجة تلك البيانات وتحليلها لاستخراج واكتشاف مغزى وهام معلومات. في هذه المقالة ، أعتزم أن أريك كيف تفعل الشيء نفسه.
بيانات HTML مهمة في جدول بيانات Google
في هذا المثال ، سأوضح لك كيفية استيراد أي بيانات قد يتم تخزينها في جدول على أي موقع ويب على الإنترنت ، إلى جدول بيانات Google. فكر في الحجم الهائل للبيانات المتاحة على الإنترنت اليوم في شكل جداول HTML. ويكيبيديا وحدها لديها بيانات في جداول لموضوعات مثل الاحتباس الحراري، مكتب الإحصاء الأمريكي لديه أطنان من مجموعات البيانات السكانية، وقليل من Googling سيهزمك أكثر من ذلك بكثير.
في المثال الخاص بي ، أبدأ بقاعدة بيانات في المركز الوطني لتقارير UFO والتي تبدو في الواقع أنها قد تكون قاعدة بيانات عميقة على غرار الاستعلام ، ولكن إذا لاحظت هيكلة عناوين URL ، وهي في الواقع نظام شبه مستندة إلى الويب لإعداد التقارير يتكون من صفحات ويب ثابتة وجداول HTML ثابتة - بالضبط ما نريده عند البحث عن البيانات استيراد.
NUForc.org هي واحدة من تلك المنظمات التي تعمل كواحدة من أكبر مراكز التقارير لمشاهد UFO. إنها ليست الوحيدة ، لكنها كبيرة بما يكفي للعثور على مجموعات بيانات جديدة مع مشاهدات حالية لكل شهر. تختار عرض البيانات مرتبة حسب معايير مثل الولاية أو التاريخ ، ويتم توفير كل منها في شكل صفحة ثابتة. إذا قمت بالفرز حسب التاريخ ثم نقرت على أحدث تاريخ ، فسترى أن الجدول المدرج هناك صفحة ويب ثابتة تسمى تنسيق التاريخ.
لذا ، لدينا الآن نمط لاستخراج أحدث معلومات المشاهدة بانتظام من قاعدة البيانات المستندة إلى HTML بانتظام. كل ما عليك فعله هو استيراد الجدول الأول ، واستخدام أحدث إدخال (الجزء العلوي) لتحديد آخر تحديث ، ثم استخدم تاريخ هذا النشر لإنشاء ارتباط URL حيث أحدث جدول بيانات HTML موجود. سيتطلب هذا الأمر ببساطة مثلين من وظيفة ImportHTML ، ثم بعض الاستخدامات الإبداعية لوظائف معالجة النص. عند الانتهاء ، سيكون لديك واحدة من أروع جداول التقارير التي يتم تحديثها ذاتيًا. هيا بنا نبدأ.
استيراد الجداول ومعالجة البيانات
الخطوة الأولى بالطبع هي إنشاء جدول بيانات جديد.
لذا ، كيف يمكنك استيراد جداول HTML؟ كل ما تحتاجه هو عنوان URL حيث يتم تخزين الجدول ، ورقم الجدول على الصفحة - عادة ما يكون الجدول الأول هو 1 ، والثاني هو 2 ، وهكذا. نظرًا لأنني أعرف عنوان URL لذلك الجدول الأول الذي يسرد التواريخ وعدد التعدادات المدرجة ، فمن الممكن الاستيراد عن طريق كتابة الوظيفة التالية في الخلية A1.
= importhtml (" http://www.nuforc.org/webreports/ndxpost.html?”&H2,”table”,1)
يحمل H2 الوظيفة "= ساعة (الآن ())"، لذلك سيتم تحديث الجدول كل ساعة. من المحتمل أن يكون هذا متطرفًا للبيانات التي تقوم بتحديث هذا بشكل غير متكرر ، لذلك ربما يمكنني التخلص منه يوميًا. على أي حال ، فإن وظيفة ImportHTML المذكورة أعلاه تجلب الجدول كما هو موضح أدناه.
ستحتاج إلى إجراء القليل من معالجة البيانات في هذه الصفحة قبل أن تتمكن من تجميع عنوان URL للجدول الثاني مع جميع مشاهدات UFO. ولكن المضي قدما وإنشاء الورقة الثانية في المصنف.
قبل محاولة إنشاء الورقة الثانية ، حان الوقت لاستخراج تاريخ النشر من هذا الجدول الأول ، من أجل إنشاء رابط للجدول الثاني. تكمن المشكلة في أن التاريخ يتم إحضاره بتنسيق التاريخ ، وليس كسلسلة. لذا ، تحتاج أولاً إلى استخدام الدالة TEXT لتحويل تاريخ نشر التقرير إلى سلسلة:
= نص (A2، "mm / dd / yy")
في الخلية التالية إلى اليمين ، تحتاج إلى استخدام وظيفة SPLIT مع محدد "/" لتقسيم التاريخ إلى شهر ويوم وسنة.
= الانقسام (D2 ، "/")
تبدو جيدة! ومع ذلك ، يجب أن يضطر كل رقم إلى رقمين. يمكنك القيام بذلك في الخلايا الموجودة أسفلها مباشرةً باستخدام الأمر TEXT مرة أخرى.
= نص (E2 ، "00 ″)
يفرض تنسيق "00" (أي الأصفار) رقمين ، أو "0" كعنصر نائب.
أنت الآن جاهز لإعادة إنشاء عنوان URL بالكامل إلى أحدث جدول HTML لمشاهد جديدة. يمكنك القيام بذلك باستخدام وظيفة CONCATENATE ، وجمع كل أجزاء المعلومات التي قمت باستخراجها للتو من الجدول الأول.
= متسلسل (" http://www.nuforc.org/webreports/ndxp”,G3,E3,F3,”.html”)
الآن ، في الورقة الجديدة التي أنشأتها أعلاه (الورقة الفارغة) ، ستقوم بوظيفة "importhtml" جديدة ، ولكن هذه المرة لأول مرة معلمة رابط URL ، لذلك ستنتقل مرة أخرى إلى جدول البيانات الأول وانقر على الخلية التي تحتوي على رابط URL الذي أنشأته للتو.
المعلمة الثانية هي "الطاولة" والأخيرة هي "1" (لأن جدول المشاهدة هو الأول والوحيد في الصفحة). اضغط على Enter ، والآن قمت للتو باستيراد الحجم الكامل للمشاهدات التي تم نشرها في ذلك التاريخ المحدد.
لذا ، ربما تعتقد أن هذا عمل حداثي جميل وكل شيء - أعني ، بعد كل شيء ، أن ما قمت به يتم استخراجه المعلومات الموجودة من جدول على الإنترنت وترحيلها إلى جدول آخر ، وإن كان جدولًا خاصًا في مستندات Google الحساب. نعم هذا صحيح. ومع ذلك ، الآن بعد أن أصبحت في حسابك الخاص في محرر مستندات Google ، لديك في متناول يدك الأدوات والوظائف لتحليل هذه البيانات بشكل أفضل ، والبدء في اكتشاف اتصالات مذهلة.
استخدام التقارير المحورية لتحليل البيانات المستوردة
في الآونة الأخيرة ، كتبت مقالًا حول الاستخدام تقارير محورية في جدول بيانات Google كن خبيرًا في تحليل البيانات بين عشية وضحاها باستخدام أدوات تقرير جداول البيانات من Googleهل تعلم أن واحدة من أعظم الأدوات للجميع لإجراء تحليل البيانات هي في الواقع جدول بيانات Google؟ والسبب في ذلك ليس فقط لأنه يمكنه القيام بكل ما تريده تقريبًا ... قراءة المزيد لأداء جميع أنواع نتائج تحليل البيانات الرائعة. حسنًا ، يمكنك القيام بنفس الألعاب البهلوانية لتحليل البيانات المدهشة على البيانات التي قمت باستيرادها من الإنترنت - يمنحك القدرة على كشف الروابط المثيرة للاهتمام التي ربما لم يكتشفها أي شخص آخر من قبل أنت.
على سبيل المثال ، من جدول المشاهدات النهائي ، قد أقرر استخدام تقرير محوري لإلقاء نظرة على عدد تم الإبلاغ عن مختلف الأشكال الفريدة في كل ولاية ، مقارنةً بالعدد الإجمالي للمشاهد في تلك الحالة حالة. أخيرًا ، أقوم أيضًا بتصفية أي شيء يذكر "الأجانب" في قسم التعليقات ، على أمل التخلص من بعض إدخالات الأجنحة.
يكشف هذا في الواقع بعض الأشياء المثيرة للاهتمام مباشرة من الخفافيش ، مثل حقيقة أن ولاية كاليفورنيا لديها أعلى مستوى عدد المشاهدات المبلغ عنها من أي دولة أخرى ، إلى جانب التمييز في الإبلاغ عن أكبر عدد من الأشكال الحرفية في بلد. ويظهر أيضًا أن ماساتشوستس وفلوريدا وإلينوي هي الضربات الكبيرة في قسم مشاهدات الجسم الغريب أيضًا (على الأقل في أحدث البيانات).
شيء آخر رائع حول Google Spreadsheet هو مجموعة واسعة من الرسوم البيانية المتاحة لك ، بما في ذلك الخريطة الجغرافية التي تتيح لك وضع "نقاط فعالة" للبيانات بتنسيق رسومي يبرز حقًا ويجعل هذه الاتصالات داخل البيانات تمامًا واضح.
إذا فكرت في الأمر ، فهذه ليست سوى قمة جبل الجليد. إذا كان بإمكانك الآن استيراد البيانات من جداول البيانات في أي صفحة على الإنترنت ، فكر فقط في الاحتمالات. احصل على أحدث أرقام الأسهم ، أو أحدث الكتب والمؤلفين العشرة الأوائل في قائمة الكتب الأكثر مبيعًا في نيويورك تايمز ، أو أكبر السيارات مبيعاً في العالم. هناك جداول HTML حول أي موضوع يمكنك تخيله تقريبًا ، وفي كثير من الحالات يتم تحديث هذه الجداول بشكل متكرر.
يمنحك ImportHtml القدرة على توصيل جدول بيانات Google الخاص بك بالإنترنت ، وتغذية البيانات الموجودة هناك. يمكن أن تصبح مركزًا شخصيًا للمعلومات التي يمكنك استخدامها للتدليك والتدليك في تنسيق يمكنك العمل به بالفعل. إنه شيء رائع آخر أن تحبه في جداول بيانات Google.
هل سبق لك استيراد البيانات إلى جداول البيانات الخاصة بك؟ ما نوع الأشياء المثيرة للاهتمام التي اكتشفتها في تلك البيانات؟ كيف استخدمت البيانات؟ شارك تجاربك وأفكارك في قسم التعليقات أدناه!
ائتمانات الصورة: الرسم البياني للأعمال
ريان حاصل على درجة البكالوريوس في الهندسة الكهربائية. لقد عمل 13 عامًا في هندسة الأتمتة ، و 5 سنوات في مجال تكنولوجيا المعلومات ، وهو الآن مهندس تطبيقات. محرر إداري سابق لـ MakeUseOf ، وقد تحدث في المؤتمرات الوطنية حول تصور البيانات وقد ظهر في التلفزيون والإذاعة الوطنية.