الإعلانات
إذا كنت قد حصلت على القطع الذهنية ، وجاذبية البرمجة ورواية القصص ، والعين للتصميم ، يمكنك أن تفعل ما هو أسوأ من الدخول في علوم البيانات. إنه الشيء الكبير الجديد في التكنولوجيا ، عصري للغاية ومدفوع للغاية ، مع البحث عن علماء البيانات من قبل بعض أكبر الشركات في العالم.
ScraperWiki هي شركة ارتبطت منذ فترة طويلة بمجال علوم البيانات. في السنوات القليلة الماضية ، قدمت شركة ناشئة مقرها ليفربول منصة للمبرمجين لكتابة الأدوات التي تحصل على البيانات وتنظفها وتحللها في السحابة.
مع التحديث الأخير والطلب المتزايد باستمرار على علماء البيانات في المؤسسة ، يجدر إلقاء نظرة جيدة على ScraperWiki.
الكشف الكامل: كنت متدربًا في ScraperWiki الصيف الماضي.
ماذا يفعل ScraperWiki؟
يقوم ScraperWiki بتسويق نفسه كمكان للحصول على البيانات وتنظيفها وتحليلها ، كما أنه يقدم كل من هذه التهم. في أبسط أشكاله ، يتيح لك - المستخدم - مكانًا يمكنك فيه كتابة التعليمات البرمجية التي تسترد البيانات من مصدر ، وأدوات لتحويل إلى تنسيق يسهل تحليله وتخزينه لإبقائه مرئيًا لاحقًا - والذي يمكنك أيضًا التعامل معه باستخدام ScraperWiki.
كما يأتي مع عدد من الأدوات المعدة مسبقًا لأتمتة المهام المتكررة ، بما في ذلك
الحصول على البيانات من ملفات PDF، والتي يصعب فك رموزها. هذا بالإضافة إلى البحث في تويتر 5 حيل بحث تويتر رائعة لمراقبة ما يقوله الناس عنكإذا كنت تمتلك موقعًا على الويب أو تحاول فقط كسب المال عبر الإنترنت بصفتك مستقلاً ، فمن الجيد دائمًا معرفة ما يقوله الأشخاص عنك عبر الإنترنت. قد يستشهد الناس ... قراءة المزيد وكشط المرافق. لا تحتاج إلى أي خبرة في تطوير البرمجيات لاستخدامها.كلفة
كما ذكرنا سابقًا ، يتبنى ScraperWiki نموذج تسعير freemium ويقدم خدمة ذات مستويات متعددة. يمكن لأولئك الذين بدأوا للتو بعلوم البيانات أو ذوي الاحتياجات المحدودة الاستفادة من الخدمة المجانية. يمنحك هذا ثلاث مجموعات بيانات - حيث تخزن بياناتك ورمزك.
يمكن لأولئك الذين يخططون لكتابة كاشطات متعددة أو يرغبون في القيام بجبال من تحليل البيانات الحصول على بعض النقود لحساب مميز. تبدأ هذه بسعر 9 دولارات في الشهر وتقدم 10 مجموعات بيانات. إذا كان هذا لا يزال غير كافٍ ، يمكنك دائمًا الترقية إلى أعلى مستوى لها والذي يأتي مع 100 مجموعة بيانات وتكلف 29 دولارًا في الشهر.
الترميز
غالبًا ما يكون المبرمجون مميزين للغاية عندما يتعلق الأمر بكيفية ترميزهم. يفضل البعض لغات البرمجة النصية على اللغات المترجمة. يفضل البعض تجربة العودة إلى نص محرر على تجربة بيئة التطوير المتكاملة (IDE). يدرك ScraperWiki ذلك ، ويمنح المستخدم قدرًا كبيرًا من الاختيار عندما يتعلق الأمر بكيفية كتابة الرمز الخاص بك.
إذا كنت مائلًا جدًا ، يمكنك كتابة رمزك في المتصفح. كما تتوقع من أي درجة احترافية ، على شبكة الإنترنت أعلى 3 IDE المستندة إلى المستعرض لتشفير في السحابة قراءة المزيد أداة تطوير ، يأتي هذا مع ميزات يعتبرها أي مبرمج ضرورية ، مثل تسليط الضوء على بناء الجملة.
هناك عدد من اللغات المعروضة. وتشمل هذه بيثون أفضل 5 مواقع لتعلم برمجة Pythonهل تريد تعلم برمجة Python؟ فيما يلي أفضل الطرق لتعلم Python على الإنترنت ، والعديد منها مجاني تمامًا. قراءة المزيد ، لغة برمجة شائعة تستخدمها أمثال Google و NASA ؛ روبي 3 طرق تفاعلية وممتعة ومجانية لبدء تعلم لغة برمجة روبيروبي هي لغة برمجة نصية معبرة وعالية المستوى. يتم استخدامه على الويب بشكل رئيسي كجزء من إطار تطوير الويب Ruby on Rails ، ولكنه أيضًا مستقل. إذا كنت متشوقًا لمعرفة ما روبي (وليس ... قراءة المزيد ، الذي يشغل عددًا من مواقع الويب الشهيرة مثل Living Social ؛ ولغة التحليل الإحصائي الشعبية ، ر.
بالإضافة إلى ذلك ، يمكنك أيضًا كتابة رمز من سطر الأوامر باستخدام SSH و Git وأي محرر نصوص تستمتع باستخدامه. نعم ، لقد قرأت هذا الحق. SSH ما هو SSH وكيف يختلف عن FTP [شرح التكنولوجيا] قراءة المزيد . كل صندوق تستخدمه هو حساب Linux خاص به ، ويمكنك الاتصال به كما تفعل مع VPS أو أي حساب shell آخر. هناك عدد من برامج تحرير النصوص المتاحة ، بما في ذلك فيم أهم 7 أسباب لإعطاء محرر نص Vim فرصةلسنوات ، جربت محرر نص واحد تلو الآخر. سمها ، حاولت ذلك. لقد استخدمت كل واحد من هؤلاء المحررين لأكثر من شهرين كمحرر يومي. بطريقة ما ، أنا ... قراءة المزيد والتي يمكن توسيعها مع الإضافات وتحرير التكوين. يمكن لأولئك الذين تعرضوا للترهيب من Vim استخدام Nano ، وهو محرر نص سطر أوامر خفيف الوزن.
يجب أن تكون المكتبات المثبتة كافية لكتابة الأدوات لاسترداد البيانات ومعالجتها. إذا كنت بحاجة إلى شيء أكثر غموضاً قليلاً ، فيمكنك دائمًا إنشاء ملف ظاهري افتراضي من سطر الأوامر. كما ترى ، هناك قدر كبير من المرونة الممنوحة للمطورين.
عرض مرئي للمعلومات
حسنًا ، لقد حصلت على بياناتك. لقد قمت بتطبيعه. لقد نظفته. لقد قمت بتحليلها. حان الوقت الآن للقيام ببعض التصورات وإظهار ما تعلمته للعالم.
يسمح ScraperWiki للمطورين بعرض بياناتهم باستخدام صفحات الويب التي تم إنشاؤها من trifecta المألوفة بالكامل لـ HTML و CSS و JavaScript. بالإضافة إلى ذلك ، يتم دعم مكونات Bootstrap خارج الصندوق.
هناك عدد من المرئيات مسبقة الصنع المتاحة ، بما في ذلك تلك التي ترسم بياناتك على الخريطة وتجد اتجاهات ضمن النتائج الخاصة بك. لاستخدامها ، تحتاج إلى التأكد من تخزين بياناتك كملف SQLite باسم الملف "scraperwiki.sqlite". ثم تقوم ببساطة بإضافة التصور الذي تهتم به. بسيطة ، أليس كذلك؟
استنتاج
ScraperWiki تقدم الكثير للمطورين الذين يرغبون في إجراء بعض تحليل البيانات دون أن تعترض بيئة التطوير الخاصة بهم ، مع توفر المرونة لإرضاء حتى أكثر المستخدمين تطلبًا. لكن ماذا تظن؟ اسمحوا لي أن نعرف في التعليقات أدناه.
حقوق الصورة: علم الصواريخ (دان براون)
ماثيو هيوز مطور برامج وكاتب من ليفربول بإنجلترا. نادرًا ما يتم العثور عليه بدون كوب من القهوة السوداء القوية في يده ويعشق جهاز Macbook Pro والكاميرا الخاصة به. يمكنك قراءة مدونته على http://www.matthewhughes.co.uk ومتابعته على تويتر علىmatthewhughes.
