تجريف الويب^{(Web scraping)} هو عملية استخراج البيانات أو المعلومات أو الصور من موقع ويب باستخدام طريقة آلية. فكر^(Think) في الأمر على أنه نسخ ولصق^{(copy and paste)} تلقائيًا بالكامل.

إما أن نكتب أو نستخدم تطبيقًا للانتقال إلى مواقع الويب التي نريدها وعمل نسخة من الأشياء المحددة التي نريدها من تلك المواقع. إنه أكثر دقة بكثير من تنزيل موقع ويب كامل.

مثل أي أداة ، يمكن استخدام تجريف الويب من أجل الخير أو الشر. قد تكون بعض الأسباب الأفضل لإلغاء مواقع الويب هي تصنيفها في محرك بحث^{(search engine)} بناءً على محتواها أو مقارنة أسعار التسوق^{(price comparison shopping)} أو مراقبة معلومات سوق الأوراق المالية^{(stock market information)} . يمكنك حتى استخدامه كأداة بحث^{(research tool)} من نوع ما.

كيف يمكنني كشط مواقع الويب باستخدام Excel ؟

صدق أو لا تصدق ، يمتلك Excel القدرة على استخراج البيانات من مواقع الويب لفترة طويلة ، على الأقل منذ Excel 2003 . إن الأمر مجرد أن تجريف الويب هو شيء لا يفكر^{(t think)} فيه معظم الناس ، ناهيك عن التفكير في استخدام برنامج جداول بيانات^{(spreadsheet program)} للقيام بهذه المهمة. لكنها سهلة وقوية بشكل مدهش. دعنا نتعلم كيف يتم ذلك عن طريق إنشاء مجموعة من اختصارات لوحة مفاتيح Microsoft Office .^{(Microsoft Office keyboard)}

ابحث عن المواقع التي تريد كشطها

أول شيء سنفعله هو العثور على صفحات الويب المحددة التي نريد الحصول على المعلومات منها. دعنا ننتقل إلى المصدر ونبحث^{(source and search)} في https://support.office.com/ . سنستخدم مصطلح البحث^{(search term)} "الاختصارات المستخدمة بشكل متكرر". يمكننا جعله أكثر تحديدًا باستخدام اسم التطبيق المحدد ، مثل Outlook و Excel و Word وما إلى ذلك. قد يكون من الجيد وضع إشارة مرجعية على صفحة النتائج حتى نتمكن من العودة إليها بسهولة.

انقر فوق^(Click) نتيجة البحث^{(search result)} ، "اختصارات لوحة المفاتيح في Excel لـ Windows". بمجرد الوصول إلى تلك الصفحة ، ابحث عن قائمة إصدارات Excel وانقر فوق Newer Versions . نحن الآن نعمل مع الأحدث والأفضل.

يمكننا العودة إلى صفحة نتائج البحث الخاصة بنا وفتح النتائج لجميع تطبيقات Office^{(Office apps)} الأخرى في علامات التبويب الخاصة بهم ووضع إشارة مرجعية عليها. إنها فكرة جيدة ، حتى بالنسبة لهذا التمرين. هذا هو المكان الذي سيتوقف فيه معظم الأشخاص عن جمع اختصارات Office ، لكن ليس نحن. ^(Office)سنقوم بوضعهم في برنامج Excel^(Excel) حتى نتمكن من فعل ما نريد معهم ، وقتما نريد.

افتح برنامج Excel and Scrape

افتح Excel وابدأ مصنفًا جديدًا. احفظ المصنف باسم Office Shortcuts . إذا كان لديك OneDrive ، فاحفظه هناك حتى تعمل ميزة الحفظ التلقائي .^{(AutoSave )}

بمجرد حفظ المصنف ، انقر فوق علامة التبويب البيانات .^(Data)

في شريط علامة التبويب البيانات^{(Data tab)} ، انقر فوق من الويب^{(From Web)} .

سيتم فتح نافذة من معالج الويب . ^{(From Web )}هذا هو المكان الذي نضع فيه عنوان الويب أو عنوان URL^{(web address or URL)} لموقع الويب الذي نريد كشط البيانات منه. قم بالتبديل إلى متصفح الويب الخاص بك وانسخ^(copy) عنوان URL.

الصق عنوان URL في حقل URL الخاص ^(URL)بمعالج "من ويب^{(From Web wizard)} " . يمكننا اختيار استخدام هذا في الوضع الأساسي^(Basic) أو المتقدم^(Advanced) . يمنحنا الوضع المتقدم الكثير من الخيارات حول كيفية الوصول إلى البيانات من موقع الويب . ^{(Advanced mode)}في هذا التمرين ، نحتاج فقط إلى الوضع الأساسي. انقر فوق ^(Click) "موافق"^(OK) .

^(Excel)سيحاول Excel الآن الاتصال بالموقع. وهذا قد يستغرق بضع ثوان. سنرى نافذة تقدم^{(progress window)} ، إذا حدث ذلك.

سيتم فتح نافذة Navigator ، وسنرى قائمة بالجداول من موقع الويب على اليسار. عندما نختار واحدًا ، سنرى معاينة الجدول على اليمين. دعنا نحدد جدول الاختصارات المستخدمة بشكل متكرر .^{(Frequently used shortcuts )}

يمكننا النقر فوق علامة التبويب Web View (عرض الويب ) لرؤية موقع الويب الفعلي ، إذا احتجنا إلى البحث عن الجدول الذي نريده. عندما نجدها يمكننا الضغط عليها وسيتم اختيارها للاستيراد.

الآن ، نضغط على زر التحميل أسفل هذه النافذة. ^(Load)هناك خيارات أخرى يمكن أن نختارها ، وهي أكثر تعقيدًا وتتجاوز نطاق القيام بأول كشط. فقط كن على علم بأنهم هناك. تعد إمكانيات تجريف الويب في Excel قوية جدًا.

سيتم تحميل جدول الويب في ^{(web table)}Excel بعد بضع ثوانٍ. سنرى البيانات على اليسار ، حيث يوجد الرقم 1 في الصورة أدناه. يبرز الرقم 2 الاستعلام^(Query) المستخدم للحصول على البيانات من موقع الويب. عندما يكون لدينا استعلامات متعددة في كتاب عمل ، فهذا هو المكان الذي نختار فيه الاستفسار الذي نحتاج إلى استخدامه.

لاحظ^(Notice) أن البيانات تأتي في جدول البيانات كجدول Excel. لقد تم إعداده بالفعل حتى نتمكن من تصفية البيانات أو فرزها.

يمكننا تكرار هذه العملية لجميع صفحات الويب الأخرى التي تحتوي على اختصارات Office التي نريدها لـ Outlook و Word و Access و PowerPoint وأي تطبيق Office^{(Office app)} آخر .

الاحتفاظ بالبيانات المسروقة حاليًا^{(Scraped Data Current)} في Excel

كمكافأة لك ، سوف نتعلم كيفية الحفاظ على تحديث بياناتنا المقطوعة في Excel . هذه طريقة رائعة لتوضيح مدى قوة Excel في تجريف البيانات. حتى مع هذا ، فإننا نقوم فقط بأبسط عملية تجريف يمكن أن يقوم بها Excel .

في هذا المثال ، دعنا نستخدم صفحة ويب معلومات الأسهم مثل ^{(stock information)}https://www.cnbc.com/stocks/ .

راجع ما فعلناه من قبل وانسخ والصق ^{(copy and paste)}عنوان URL^(URL) الجديد من شريط العناوين^{(address bar)} .

ستصل إلى نافذة المستكشف^{(Navigator window)} وترى الجداول المتاحة. دعنا نختار مؤشرات الأسهم الأمريكية الرئيسية^{(Major U.S. Stock Indices)} .

بمجرد كشط البيانات ، سنرى جدول البيانات التالي.

على اليمين ، نرى الاستعلام عن مؤشرات الأسهم الأمريكية الرئيسية^{(Major U.S. Stock Indexes)} . حدد^(Select) ذلك بحيث يتم تمييزه. تأكد^(Make) من أننا في علامة التبويب أدوات الجدول^{(Table Tools)} وفي منطقة التصميم^(Design) . ثم انقر فوق السهم لأسفل أسفل " تحديث^(Refresh) " . ثم انقر فوق خصائص الاتصال^{(Connection Properties)} .

في نافذة خصائص الاستعلام^{(Query Properties )} ، ضمن علامة التبويب الاستخدام^(Usage) ، يمكننا التحكم في كيفية تحديث هذه المعلومات. يمكننا تعيين فترة زمنية محددة للتحديث ، أو للتحديث عندما نفتح المصنف في المرة القادمة ، أو للتحديث في الخلفية ، أو أي مجموعة من هذه. بمجرد أن نختار ما نحتاج إليه ، انقر فوق " موافق^(OK) " لإغلاق النافذة والمتابعة.

هذا هو! يمكنك الآن تتبع أسعار الأسهم أو النتائج الرياضية أو أي بيانات أخرى تتغير بشكل متكرر من جدول بيانات Excel^{(Excel spreadsheet)} . إذا كنت جيدًا مع معادلات ووظائف Excel ، فيمكنك فعل أي شيء تريده تقريبًا بالبيانات.

ربما تحاول تحديد اتجاهات الأسهم ، أو تشغيل تجمع رياضي خيالي في العمل ، أو ربما مجرد تتبع الطقس. من تعرف؟ خيالك والبيانات المتاحة على الإنترنت^(Internet) ، هي حدود فقط.

Use Excel as a Tool to Copy Data from the Web

Web scraping is the act of extracting data, information, or images from a website using an autоmated method. Think of it as copy and paste on full automatic.

We either write or use an app to go to the websites we want it to and make a copy of the specific things we want from those websites. It’s much more precise than downloading an entire website.

Like any tool, web scraping can be used for good or evil. Some of the better reasons for scraping websites would be ranking it in a search engine based on its content, price comparison shopping, or monitoring stock market information. You might even use it as a research tool of sorts.

How Can I Scrape Websites with Excel?

Believe it or not, Excel has had the ability to extract data from websites for a long time, at least since Excel 2003. It’s just that web scraping is something most people don’t think of, let alone think of using a spreadsheet program to do the job. But it’s surprisingly easy, and powerful. Let’s learn how it’s done by making a collection of Microsoft Office keyboard shortcuts.

Find the Sites You Want to Scrape

The first thing we’re going to do is find the specific web pages from which we want to get information. Let’s go to the source and search at https://support.office.com/. We’re going to use the search term “frequently used shortcuts”. We can make it more specific by using the name of the specific app, like Outlook, Excel, Word, and so on. It may be a good idea to bookmark the results page so we can easily get back there.

Click on the search result, “Keyboard shortcuts in Excel for Windows”. Once on that page, find the list of Excel versions and click on Newer Versions. Now we’re working with the latest and greatest.

We could go back to our search results page and open the results for all the other Office apps in their own tabs and bookmark them. It’s a good idea, even for this exercise. This is where most people would stop in collecting Office shortcuts, but not us. We’re going to put them in Excel so we can do whatever we want with them, whenever we want.

Open Excel and Scrape

Open Excel and start a new workbook. Save the workbook as Office Shortcuts. If you have OneDrive, save it there so the AutoSave feature will work.

Once the workbook is saved, click on the Data tab.

In the ribbon of the Data tab, click on From Web.

The From Web wizard window will open. This is where we put the web address or URL of the website from which we want to scrape data. Switch to your web browser and copy the URL.

Paste the URL in to the URL field of the From Web wizard. We could choose to use this in Basic or Advanced mode. The Advanced mode gives us a lot more options on how to access the data from the website. For this exercise, we only need Basic mode. Click OK.

Excel will now attempt to connect to the website. This may take a few seconds. We’ll see a progress window, if it does.

The Navigator window will open, and we’ll see a list of tables from the website on the left. When we select one, we’ll see a table preview on the right. Let’s select the Frequently used shortcuts table.

We can click on the Web View tab to see the actual website, if we need to look around for the table we want. When we find it, we can click on it and it will be selected for import.

Now, we click on the Load button at the bottom of this window. There are other options we could choose, which are more complex and beyond the scope of doing our first scrape. Just be aware that they are there. Excel’s web scraping capabilities are very powerful.

The web table will be loaded in Excel after a few seconds. We’ll see the data on the left, where the number 1 is in the picture below. Number 2 highlights the Query used to get the data from the website. When we have multiple queries in a work book, this is where we select the one we need to use.

Notice that the data comes into the spreadsheet as an Excel table. It’s already set up for us to be able to filter or sort the data.

We can repeat this process for all the other web pages that have the Office shortcuts that we want for Outlook, Word, Access, PowerPoint, and any other Office app.

Keeping Scraped Data Current in Excel

As a bonus for you, we’re going to learn how to keep our scraped data fresh in Excel. This is a great way to illustrate just how powerful Excel is for data scraping. Even with this, we’re only doing the most basic scraping that Excel can do.

For this example, let’s use a stock information web page like https://www.cnbc.com/stocks/.

Go through what we did before and copy and paste the new URL from the address bar.

You’ll get to the Navigator window and see the tables available. Let’s select the Major U.S. Stock Indices.

Once the data is scraped we’ll see the following spreadsheet.

On the right, we see the query for Major U.S. Stock Indexes. Select that so it is highlighted. Make sure we’re in the Table Tools tab and in the Design area. Then click on the down arrow under Refresh. Then click on Connection Properties.

In the Query Properties window, under the Usage tab, we can control how this information refreshes. We can set a specific time period to refresh, or to refresh when we open the workbook the next time, or to refresh in the background, or any combination of these. Once we choose what we need, click on OK to close the window and continue.

That’s it! Now you can track stock prices, sports scores, or any other data that changes frequently from an Excel spreadsheet. If you’re good with Excel equations and functions, you can do almost anything you want with the data.

Maybe try to identify stock trends, run a fantasy sports pool at work, or maybe just keep track of the weather. Who knows? Your imagination and the data available on the Internet, are the only limits.

Related posts

• استخدم وظيفة "إدراج البيانات من الصورة" الجديدة في Excel Mobile

• استخدم وظائف التلخيص لتلخيص البيانات في Excel

• استخدم Excel لمعرفة سعر الفائدة الفعلي من سعر الفائدة الاسمي

• رسم بيانات Excel الخاصة بك

• كيفية تصفية البيانات في Excel

• استخدم نافذة مراقبة Excel لمراقبة الخلايا المهمة في مصنف

• كيفية إضافة وطباعة صور خلفية Excel

• كيفية إزالة كلمة مرور Excel XLS المنسية أو كسرها أو كسرها

• تنسيق الخلايا باستخدام التنسيق الشرطي في Excel

• كيفية إخفاء الأوراق والخلايا والأعمدة والصيغ في Excel

• كيفية عمل رسم بياني أو مخطط بسيط في Excel

• كيفية إضافة تعليقات إلى خلية ورقة عمل Excel

• كيفية استخدام COUNTIFS و SUMIFS و AVERAGEIFS في Excel

• كيفية Group Worksheets في Excel

• كيفية إنشاء Gantt Charts في Microsoft Excel

• كيفية حساب التباين في Excel

• كيفية إعداد واستخدام تنسيق MLA في Microsoft Word

• كيفية فهم تحليل ماذا لو في Microsoft Excel

• كيفية Create Labels في Word من Excel Spreadsheet

• ترحيل البيانات من MS Access إلى قاعدة بيانات SQL Server