^(Web)تستخدم كل صناعة تقريبًا تقنية تجريف الويب لاستخراج البيانات من الإنترنت وتحليلها. تستخدم الشركات البيانات المجمعة للتوصل إلى استراتيجيات ومنتجات تجارية جديدة. بياناتك ذات قيمة. ما لم تكن تتخذ خطوات لحماية خصوصيتك ، فإن الشركات تستخدم بياناتك لكسب المال.

إذا كانت الشركات الكبيرة تقوم بذلك ، فلماذا لا تفعل ذلك أيضًا؟ يمكن أن يساعدك تعلم كيفية كشط موقع ويب في العثور على أفضل صفقة ، وجمع العملاء المحتملين لعملك ، وحتى مساعدتك في العثور على وظيفة جديدة. 

استخدم خدمة Web Scraping

الطريقة الأسرع والأبسط لجمع البيانات من الإنترنت هي استخدام خدمة تجريف ويب احترافية. إذا كنت بحاجة إلى جمع كميات كبيرة من البيانات ، فقد تكون خدمة مثل Scrapinghub مناسبة لك. أنها توفر خدمة واسعة النطاق وسهلة الاستخدام لجمع البيانات عبر الإنترنت.  

إذا كنت تبحث عن شيء ما على نطاق أصغر ، فإن ParseHub يستحق البحث في بعض المواقع الإلكترونية. يبدأ جميع المستخدمين بخطة مجانية من 200 صفحة ، لا تتطلب بطاقة ائتمان ، والتي يمكن البناء عليها لاحقًا من خلال نظام تسعير متدرج.

تطبيق Web Scraping

للحصول على طريقة سريعة ومجانية وملائمة لإلغاء مواقع الويب ، يعد Web Scraper Chrome Extension خيارًا رائعًا.

هناك القليل من منحنى التعلم ، لكن المطور قدم توثيقًا^{(documentation)} رائعًا ومقاطع فيديو ^(videos)تعليمية^{(tutorial )} . يعد Web Scraper^{(Web Scraper)} من بين أبسط وأفضل الأدوات لجمع البيانات على نطاق صغير ، حيث يقدم المزيد في مستواه المجاني^(Free) أكثر من معظمه. 

استخدم Microsoft Excel^{(Use Microsoft Excel)} لكشط موقع ويب^(Website)

لشيء مألوف أكثر ، يقدم Microsoft Excel ميزة تجريف الويب الأساسية. لتجربتها ، افتح مصنف Excel جديدًا ، وحدد علامة التبويب البيانات . ^(Data)انقر فوق من الويب^{(From Web)} في شريط الأدوات ، واتبع الإرشادات الموجودة في المعالج لبدء المجموعة.

من هناك ، لديك عدة خيارات لحفظ البيانات في جدول البيانات الخاص بك. تحقق من دليلنا لكشف الويب باستخدام Excel^{(guide to web scraping with Excel)} للحصول على برنامج تعليمي كامل.

استخدم مكتبة Scrapy Python^{(Use the Scrapy Python Library)}

إذا كنت معتادًا على لغة برمجة Python^{(Python programming language)} ، فإن Scrapy^(Scrapy) هي المكتبة المثالية لك. يسمح لك بإعداد "عناكب" مخصصة تزحف إلى مواقع الويب لاستخراج المعلومات. يمكنك بعد ذلك استخدام المعلومات التي تم جمعها في برامجك ، أو تصديرها إلى ملف.

يغطي البرنامج التعليمي Scrapy كل شيء بدءًا من تجريف الويب الأساسي وحتى جمع المعلومات المجدولة متعدد العناكب على المستوى الاحترافي. إن تعلم كيفية استخدام Scrapy للتخلص^(Scrapy) من موقع ويب ليس مجرد مهارة مفيدة لاحتياجاتك الخاصة. هناك طلب كبير على المطورين^(Developers) الذين يعرفون كيفية استخدام Scrapy ، مما قد يؤدي إلى مهنة جديدة بالكامل^{(a whole new career)} .

استخدم مكتبة حساء بايثون الجميلة^{(Use The Beautiful Soup Python Library)}

شوربة جميلة^{(Beautiful Soup)} هي مكتبة بايثون^(Python) لكشط الويب. إنه مشابه لـ Scrapy ولكنه كان موجودًا لفترة أطول. كثير من المستخدمين يجدون حساء^(Soup) جميل أسهل في الاستخدام من سكرابي^(Scrapy) .

إنها ليست مميزة تمامًا مثل Scrapy ، ولكن في معظم حالات الاستخدام ، فهي توازن مثالي بين الوظائف وسهولة الاستخدام لمبرمجي Python .

استخدم واجهة برمجة تطبيقات Web Scraping

إذا كنت مرتاحًا لكتابة كود تجريف الويب بنفسك ، فلا يزال عليك تشغيله محليًا. يعد هذا أمرًا جيدًا للعمليات الصغيرة ، ولكن مع زيادة حجم جمع البيانات الخاصة بك ، فسوف يستهلك النطاق الترددي الثمين^{(use up precious bandwidth)} ، مما قد يؤدي إلى إبطاء الشبكة^{(slowing down your network)} .

يمكن أن يؤدي استخدام واجهة برمجة تطبيقات^(API) كشط الويب إلى إلغاء تحميل بعض الأعمال إلى خادم بعيد ، والذي يمكنك الوصول إليه عبر التعليمات البرمجية. تحتوي هذه الطريقة على العديد من الخيارات ، بما في ذلك الخيارات كاملة الميزات وذات الأسعار الاحترافية مثل Dexi ، والخدمات التي تم تجريدها ببساطة مثل ScraperAPI .

كلاهما يكلف مالًا للاستخدام ، لكن ScraperAPI يقدم 1000 مكالمة مجانية لواجهة برمجة التطبيقات^(API) قبل أي دفعة لتجربة الخدمة قبل الالتزام بها.

استخدم IFTTT لكشط موقع ويب

IFTTT هي أداة أتمتة قوية. يمكنك استخدامه لأتمتة أي شيء تقريبًا^{(use it to automate almost anything)} ، بما في ذلك جمع البيانات وتجريف الويب.

تتمثل إحدى الفوائد الهائلة لـ IFTTT في تكاملها مع العديد من خدمات الويب. يمكن أن يبدو أحد الأمثلة الأساسية عند استخدام Twitter شيئًا كالتالي:

• سجّل الدخول إلى IFTTT وحدد إنشاء^(Create)
• حدد Twitter في قائمة الخدمة
• حدد بحث جديد من التغريدة^{(New Search From Tweet)}
• أدخل مصطلح بحث أو علامة تصنيف ، وانقر فوق إنشاء مشغل^{(Create Trigger)}
• اختر جداول بيانات Google^{(Google Sheets)} كخدمة العمل الخاصة بك
• حدد إضافة صف إلى جدول البيانات^{(Add Row to Spreadsheet)} واتبع الخطوات
• انقر فوق إنشاء إجراء^{(Create Action)}

في بضع خطوات قصيرة فقط ، قمت بإنشاء خدمة تلقائية تقوم بتوثيق التغريدات المرتبطة بمصطلح بحث أو علامة تصنيف واسم المستخدم مع وقت نشرها.

مع وجود العديد من الخيارات لربط الخدمات عبر الإنترنت ، فإن IFTTT أو أحد بدائلها^{(IFTTT, or one of its alternatives)} هو الأداة المثالية لجمع البيانات البسيطة عن طريق كشط مواقع الويب.

تجريف الويب باستخدام تطبيق Siri Shortcuts^{(Web Scraping With The Siri Shortcuts App)}

بالنسبة لمستخدمي iOS ، يعد تطبيق Shortcuts أداة رائعة لربط حياتك الرقمية وأتمتتها. على الرغم من أنك قد تكون على دراية بتكامله بين التقويم وجهات الاتصال والخرائط^{(integration between your calendar, contacts, and maps)} ، إلا أنه قادر على المزيد.

في منشور مفصل ، يوضح مستخدم Reddit^{(Reddit user)} u / keveridge كيفية استخدام التعبيرات العادية مع تطبيق Shortcuts^{(how to use regular expressions with the Shortcuts app)} للحصول على معلومات مفصلة من مواقع الويب.

تسمح التعبيرات^{(Expressions)} العادية بمزيد من البحث الدقيق ويمكن أن تعمل عبر ملفات متعددة^{(can work across multiple files)} لإرجاع المعلومات التي تحتاجها فقط.

استخدم Tasker^{(Use Tasker)} لنظام Android للبحث في الويب^(Web)

إذا كنت من مستخدمي Android ، فلا توجد خيارات بسيطة لكشط موقع ويب. يمكنك استخدام تطبيق IFTTT من خلال الخطوات الموضحة أعلاه ، ولكن قد يكون Tasker هو الأنسب لك.

Available for $3.50 on the Play Store ، يرى الكثيرون تاسكر^(Tasker) على أنه الأخ الأكبر لـ IFTTT. لديها مجموعة واسعة من الخيارات للأتمتة. يتضمن ذلك عمليات البحث المخصصة على الويب ، والتنبيهات عند تغيير البيانات الموجودة على مواقع الويب المحددة ، والقدرة على تنزيل المحتوى من Twitter^{(download content from Twitter)} .

على الرغم من أنها ليست طريقة تقليدية لاستخراج البيانات من الويب ، إلا أن تطبيقات التشغيل الآلي يمكن أن توفر الكثير من الوظائف نفسها التي توفرها أدوات تجريف الويب الاحترافية دون الحاجة إلى تعلم كيفية البرمجة أو الدفع مقابل خدمة جمع البيانات عبر الإنترنت.

تجريف الويب الآلي

سواء كنت ترغب في جمع معلومات لعملك أو جعل حياتك أكثر ملاءمة ، فإن تجريف الويب هو مهارة تستحق التعلم.

ستمنحك المعلومات التي تجمعها ، بمجرد فرزها بشكل صحيح ، نظرة ثاقبة أكثر على الأشياء التي تهمك وأصدقائك وعملاء عملك.^{(once properly sorted)}

How To Scrape a Website

Web ѕcraping is used by almost every industry to extract and analyze data from the internet. Companies use collected data to cоme up with nеw business strategies and products. Your data is valuable. Unless you are taking steps to protect your privacy, сompanies are using your dаtа to make money.

If big business is doing it, why don’t you do it too? Learning how to scrape a website can help you find the best deal, gather leads for your business, and even help you find a new job. 

Use a Web Scraping Service

The quickest and simplest way to gather data from the internet is to use a professional web scraping service. If you need to collect large amounts of data, a service like Scrapinghub might be a good fit. They provide a large scale, easy to use service for online data collection.  

If you are looking for something on a smaller scale, ParseHub is worth looking into to scrape a few websites. All users begin with a free 200-page plan, requiring no credit card, which can be built upon later through a tiered pricing system.

Web Scraping App

For a quick, free, and convenient way of scraping websites, the Web Scraper Chrome Extension is a great choice.

There is a bit of a learning curve, but the developer has provided fantastic documentation and tutorial videos. Web Scraper is among the simplest and best tools for small scale data collection, offering more in its Free tier than most. 

Use Microsoft Excel To Scrape a Website

For something a little more familiar, Microsoft Excel offers a basic web scraping feature. To try it out, open a new Excel workbook, and select the Data tab. Click From Web in the toolbar, and follow the instructions in the wizard to start the collection.

From there, you have several options for saving the data into your spreadsheet. Check out our guide to web scraping with Excel for a full tutorial.

Use the Scrapy Python Library

If you are familiar with the Python programming language, Scrapy is the perfect library for you. It allows you to set up custom “spiders,” which crawl websites to extract information. You can then use the information gathered in your programs, or export it to a file.

The Scrapy tutorial covers everything from basic web scraping through to professional level multi-spider scheduled information gathering. Learning how to use Scrapy to scrape a website isn’t just a useful skill for your own needs. Developers who know how to use Scrapy are in high demand, which could lead to a whole new career.

Use The Beautiful Soup Python Library

Beautiful Soup is a Python library for web scraping. It’s similar to Scrapy but has been around for much longer. Many users find Beautiful Soup easier to use than Scrapy.

It’s not as fully featured as Scrapy, but for most use cases, it’s the perfect balance between functionality and ease of use for Python programmers.

Use a Web Scraping API

If you are comfortable writing your web scraping code yourself, you still need to run it locally. This is fine for small operations, but as your data collection scales up, it will use up precious bandwidth, potentially slowing down your network.

Using a web scraping API can offload some of the work to a remote server, which you can access via code. This method has several options, including fully-featured and professionally priced options like Dexi, and simply stripped back services like ScraperAPI.

Both cost money to use, but ScraperAPI offers 1000 free API calls before any payment to try the service before committing to it.

Use IFTTT To Scrape a Website

IFTTT is a powerful automation tool. You can use it to automate almost anything, including data collection and web scraping.

One of the huge benefits of IFTTT is its integration with many web services. A basic example using Twitter could look something like this:

• Sign in to IFTTT and select Create
• Select Twitter on the service menu
• Select New Search From Tweet
• Enter a search term or hashtag, and click Create Trigger
• Choose Google Sheets as your action service
• Select Add Row to Spreadsheet and follow the steps
• Click Create Action

In just a few short steps, you have created an automatic service that will document tweets connected to a search term or hashtag and the username with the time they posted.

With so many options for connecting online services, IFTTT, or one of its alternatives is the perfect tool for simple data collection by scraping websites.

Web Scraping With The Siri Shortcuts App

For iOS users, the Shortcuts app is a great tool for linking and automating your digital life. While you might be familiar with its integration between your calendar, contacts, and maps, it is capable of much more.

In a detailed post, Reddit user u/keveridge outlines how to use regular expressions with the Shortcuts app to get detailed information from websites.

Regular Expressions allow much more fine-grain searching and can work across multiple files to return only the information you need.

Use Tasker for Android To Search The Web

If you are an Android user, there are no simple options to scrape a website. You can use the IFTTT app with the steps outlined above, but Tasker might be a better fit.

Available for $3.50 on the Play Store, many view Tasker as IFTTT’s older sibling. It has a vast array of options for automation. These include custom web searches, alerts when data on selected websites changes, and the ability to download content from Twitter.

While not a traditional web scraping method, automation apps can provide much of the same functionality as professional web scraping tools without needing to learn how to code or pay for an online data gathering service.

Automated Web Scraping

Whether you want to gather information for your business or make your life more convenient, web scraping is a skill worth learning.

The information you gather, once properly sorted, will give you much greater insight into the things that interest you, your friends, and your business clients.

Related posts

• 7 نصائح فنية لتحسين محركات البحث لأي موقع ويب

• كيفية تنزيل الفيديو من أي موقع

• كيفية إعداد إعدادات تكوين DNS الخاصة بالموقع

• كيفية الحصول على شهادة SSL الخاصة بك لموقعك على الويب وتثبيتها

• كيفية إعداد موقع الويب الخاص بك على تحليلات جوجل

• كيفية إنشاء Chatbot لموقع ويب أو صفحة Facebook

• كيفية فتح ملفات DDS في نظام التشغيل Windows 10

• قم بإيقاف تشغيل التحكم في حساب المستخدم (UAC) لتطبيق معين

• كيفية تحديث Raspberry Pi

• كيف ترى الصفحات والملفات المخزنة مؤقتًا من المستعرض الخاص بك

• كيفية حذف مجلد Windows.old في Windows 7/8/10

• كيف تطير طائرة بدون طيار لمجموع المبتدئين

• كيفية تنزيل مثبت Google Chrome Offline (مستقل)

• كيفية استرداد حساب Facebook تم اختراقه

• كيف تحافظ على جهاز الكمبيوتر الخاص بك الذي يعمل بنظام Windows مستيقظًا دون لمس الماوس

• كيفية بناء موقع رائع باستخدام Wix

• كيفية تغيير لون الخلفية في مستندات جوجل

• كيفية إضافة الموسيقى إلى العروض التقديمية من Google

• كيفية إجراء اختبار إجهاد وحدة المعالجة المركزية

• كيفية مسح صفحات متعددة في ملف PDF واحد