الإعلانات
ماذا ستقول إذا أخبرتك أن لديك الأدوات تحت تصرفك للقيام بأبحاث رائدة ومهدمة للأرض؟ حسنًا ، أنت كذلك ، وسأشرح لك كيف.
تنشر الحكومات والمؤسسات الأكاديمية والمنظمات البحثية غير الربحية جداول مليئة بالبيانات إلى الملك العام. بدون أي شخص يستخدم هذه المعلومات ، لن تكون قيمتها الحقيقية معروفة. لسوء الحظ ، قلة من الناس لديهم البصيرة والمهارات والأدوات اللازمة لأخذ البيانات وإقامة علاقات مثيرة للاهتمام بين المعلومات التي تبدو غير متصلة.
خلفية
يتضمن الكثير من البحث الذي أجريه لمدونتي الخاصة حفر ما يعرف باسم الويب غير المرئي أفضل 12 محرك بحث لاستكشاف الويب غير المرئيلا يستطيع Google أو Bing البحث عن كل شيء. لاستكشاف الويب غير المرئي ، تحتاج إلى استخدام محركات البحث الخاصة هذه. اقرأ أكثر ، للكشف عن البيانات التي تم إصدارها للجمهور ، ولكنها مخفية عن محركات البحث أكثر 5 محركات بحث تقدم على الويب اقرأ أكثر داخل قاعدة بيانات على الإنترنت. هذا ال شبكة عميقة تهدف TorSearch إلى أن تكون Google للويب العميقTor خدمة مخفية وجزء من Deep Web. TorSearch هو محرك بحث مجهول جديد يريد مؤسسها Chris MacNaughton إنشاء "Google of Tor". اقرأ أكثر
، وهي مليئة بالبيانات القيمة. في كثير من الأحيان ، أجد صفحات الويب المليئة ببعض البيانات القيمة للغاية حول الموضوعات التي تعمل على نطاق واسع من بيانات التعداد إلى الدراسات الوبائية للأمراض النادرة. لدي باستمرار أفكار جديدة حول كيفية محاولة ربط مصادر البيانات المتباينة هذه باستخدام مصادر متنوعة الأدوات - ومن أهم الأدوات التي وجدتها هو استعلام الويب داخل Microsoft التفوق.إيجاد ارتباطات بيانات مثيرة للاهتمام
ما سأعرضه لك اليوم هو مثال لكيفية استخدام Excel Web Queries لاستخراج البيانات منها مواقع مختلفة ، ورسمها ضد بعضها البعض من أجل البحث عن الارتباطات المحتملة بين البيانات.
طريقة بدء تمرين مثل هذا هو الخروج بفرضية مثيرة للاهتمام. على سبيل المثال - لإبقاء الأمور مثيرة للاهتمام هنا - سأفترض بشكل عشوائي أن معدلات التوحد التي ترتفع بشكل كبير في الولايات المتحدة تنتج عن تلقيح اللقاح أو زيادة وجود المجالات الكهرومغناطيسية داخل وحول الأطفال ، مثل الخلايا هواتف. إنها فرضية مجنونة سوف تجد مثلها في معظم مواقع نظرية المؤامرة ، ولكن هذا ما يجعل هذا ممتعًا. لذا دعونا نبدأ ، أليس كذلك؟
أولاً ، افتح Excel ، وانتقل إلى عنصر قائمة البيانات ، وابحث عن رمز "من الويب" في شريط القائمة.
هذا ما ستستخدمه لاستيراد جداول البيانات المختلفة من العديد من مواقع الويب المنشورة.
استيراد بيانات الويب إلى Excel
لذا ، في الأيام الخوالي ، كان عليك محاولة نسخ البيانات من هذا الجدول على صفحة الويب ، ولصقها في Excel ، ثم التعامل مع جميع مشكلات التنسيق المجنونة التي ينطوي عليها القيام بذلك. توتال صعب ، وفي كثير من الأحيان لا يستحق الصداع. حسنًا ، مع Excel Web Queries ، ولت تلك الأيام. بالطبع ، قبل أن تتمكن من استيراد البيانات ، ستحتاج إلى Google في طريقك عبر الويب للعثور على البيانات التي تحتاجها بتنسيق الجدول. في حالتي ، وجدت موقعًا إلكترونيًا نشر إحصاءات وزارة التعليم لعدد طلاب المدارس الحكومية الأمريكية الذين تم تحديدهم على أنهم مصابون بالتوحد. قدم جدول جميل هناك أرقام من عام 1994 طوال عام 2006.
لذا انقر فقط على "من الويب" ، والصق عنوان URL لصفحة الويب في حقل عنوان الاستعلام ، ثم قم بالتمرير لأسفل الصفحة حتى ترى السهم الأصفر بجوار الجدول بالبيانات التي تريد استيرادها.
انقر فوق السهم حتى يصبح علامة اختيار خضراء.
أخيرًا ، أخبر Excel عن الحقل الذي تريد لصق بيانات الجدول فيه داخل جدول البيانات الجديد.
ثم - فويلا! تتدفق البيانات تلقائيًا مباشرةً إلى جدول البيانات.
لذلك ، مع وجود اتجاه لمعدلات التوحد في المدارس العامة من عام 1996 إلى عام 2006 ، فقد حان الوقت للذهاب للبحث عن اتجاهات التطعيم واستخدام الهاتف الخليوي أيضًا.
لحسن الحظ ، وجدت بسرعة اتجاهات لمشتركي الهواتف المحمولة في الولايات المتحدة من عام 1985 حتى عام 2012. بيانات ممتازة لهذه الدراسة بالذات. مرة أخرى ، استخدمت أداة Excel Web Query لاستيراد هذا الجدول.
لقد قمت باستيراد هذا الجدول إلى ورقة نظيفة وجديدة. ثم اكتشفت اتجاهات التطعيم بالنسبة المئوية لأطفال المدارس الذين تم تطعيمهم لأمراض مختلفة. لقد قمت باستيراد هذا الجدول باستخدام أداة استعلام الويب في ورقة ثالثة. لذا ، أخيرًا ، كان لدي ثلاث أوراق مع الجداول الثلاثة المليئة بالبيانات غير المتصلة التي اكتشفتها على الويب.
الخطوة التالية هي استخدام Excel لتحليل البيانات ومحاولة تحديد أي ارتباط. هذا هو المكان الذي تلعب فيه إحدى أدوات تحليل البيانات المفضلة لدي - PivotTable.
تحليل البيانات في Excel باستخدام PivotTable
من الأفضل إنشاء PivotTable في ورقة فارغة جديدة تمامًا. تريد استخدام المعالج لما أنت على وشك القيام به. لتمكين معالج PivotTable في Excel ، تحتاج إلى الضغط على Alt-D في نفس الوقت حتى تنبثق نافذة الإعلام. ثم اترك هذه الأزرار ، واضغط على مفتاح "P". بعد ذلك ، سترى المعالج ينبثق.
في النافذة الأولى من المعالج ، تريد تحديد "نطاقات الدمج المتعددة" ، والتي تتيح لك تحديد البيانات من جميع الأوراق التي قمت باستيرادها. من خلال القيام بذلك ، يمكنك دمج كل هذه البيانات التي لا تبدو ذات صلة في قاعدة واحدة قوية. في بعض الحالات ، قد تحتاج إلى تدليك بعض البيانات. على سبيل المثال ، كان عليّ إصلاح حقل "السنة" في جدول التوحد بحيث يظهر "1994" بدلاً من "1994-1995" - جعلها تتماشى بشكل أفضل مع الجداول الموجودة على الأوراق الأخرى ، والتي كانت أيضًا في السنة الابتدائية حقل.
هذا الحقل المشترك بين البيانات هو ما تحتاجه لمحاولة ربط المعلومات ، لذا ضع ذلك في الاعتبار عند البحث عن الويب لبياناتك.
بمجرد الانتهاء من PivotTable والحصول على جميع قيم البيانات المختلفة المعروضة في جدول واحد ، فقد حان الوقت لإجراء تحليل بصري لمعرفة ما إذا كان هناك أي اتصال واضح يقفز إليك.
تصور البيانات هو المفتاح
يعد وجود مجموعة من الأرقام في الجدول أمرًا رائعًا إذا كنت اقتصاديًا ، ولكن الطريقة الأسرع والأسهل للحصول عليها أن "آها!" لحظة عندما تحاول العثور على اتصالات مثل إبرة في كومة قش ، من خلال الرسوم البيانية و الرسوم البيانية. بمجرد أن يكون لديك PivotChart في مكانه مع جميع مجموعات البيانات التي جمعتها ، فقد حان الوقت لإنشاء الرسم البياني الخاص بك. عادةً ما يكون الرسم البياني الخطي هو الأفضل ، ولكنه يعتمد على البيانات. هناك أوقات يعمل فيها المخطط الشريطي بشكل أفضل. حاول أن تفهم نوع البيانات التي تبحث عنها وما هي أشكال المقارنات التي تعمل بشكل أفضل.
في هذه الحالة ، أنا أنظر إلى البيانات بمرور الوقت ، لذا فإن الرسم البياني الخطي هو أفضل طريقة لمعرفة الاتجاهات على مر السنين. رسم بياني لمعدلات التوحد (أخضر) ضد معدلات التطعيم المصغرة (الأزرق الداكن) ، لقاحات جدري الماء (أزرق فاتح) واستخدام الهاتف الخلوي (أرجواني) ، ظهر ارتباط غريب فجأة في مجموعة البيانات هذه التي كنت ألعبها مع.
ومن الغريب أن الاتجاه في استخدام الهاتف الخلوي من عام 1994 حتى عام 2006 يتطابق تمامًا مع الارتفاع في معدلات التوحد خلال نفس الفترة الزمنية. على الرغم من أن النمط لم يكن متوقعًا تمامًا ، إلا أنه مثال مثالي على كيفية ربط البيانات المثيرة للاهتمام مع بعضها البعض لتكشف عن خيوط رائعة - تزودك بمزيد من البصيرة والتحفيز لمواصلة التقدم والبحث عن المزيد من البيانات التي قد تزيد من دعمك فرضية.
ارتباط واحد مثل هذا أعلاه لا يثبت أي شيء. هناك الكثير من الاتجاهات التي ترتفع بمرور الوقت - يمكن أن يكون النمط مصادفة ، ولكنه قد يكون أيضًا مفتاحًا مهمًا في سعيك المستمر للحصول على مزيد من البيانات على الإنترنت. لحسن الحظ ، لديك أداة قوية تسمى Excel Web Queries ستجعل هذه المهمة أسهل قليلاً.
حقوق الصورة: كيفين دولي عبر فوتوبيننسخة
ريان حاصل على درجة البكالوريوس في الهندسة الكهربائية. لقد عمل 13 عامًا في هندسة الأتمتة ، و 5 سنوات في مجال تكنولوجيا المعلومات ، وهو الآن مهندس تطبيقات. محرر إداري سابق لـ MakeUseOf ، وقد تحدث في المؤتمرات الوطنية حول تصور البيانات وقد ظهر في التلفزيون والإذاعة الوطنية.
