عندما يفكر معظم الناس في تحليل البيانات ، فإنهم يفكرون في معالجة البيانات وتحليلها في أداة مثل Microsoft Excel^{(like Microsoft Excel)} . الحقيقة هي أن تحليل البيانات يشمل مجموعة واسعة من الأدوات والكثير من الأساليب المختلفة لمعالجة وفهم القصة التي ترويها البيانات.

ما هو تحليل البيانات؟ يتم استخدام تحليل البيانات^(Data) بشكل مختلف تمامًا إذا كنت تتحدث عن بيانات العمل أو بيانات التصنيع أو بيانات التسويق أو البيانات الخاصة بالصناعة والأعمال التي تديرها.

في هذه المقالة ، ستتعرف على الجوانب المختلفة لتحليل البيانات ، وما تعنيه ، وكيف يتم استخدامها بشكل عام في جميع المجالات.

جمع البيانات^{(Data Collection)}

المرحلة الأولى من أي تحليل للبيانات هي جمع البيانات. هذا يعني ببساطة جمع البيانات من جميع المصادر التي تحتوي على المعلومات التي تحتاجها.

يمكن أن تتضمن البيانات أيًا مما يلي وأكثر:

• تصنيع أجهزة التحكم
• شخص ما يقوم بإدخال البيانات يدويًا في جهاز الكمبيوتر
• أجهزة استشعار تقيس درجة الحرارة والضغط وغير ذلك
• ^{(Cloud based)}مصادر البيانات المستندة إلى السحابة
• معلومات من الإنترنت مثل الطقس أو قواعد البيانات الحكومية
• قواعد البيانات^(Databases) الموجودة على شبكة شركتك

يتمثل التحدي الرئيسي للعديد من المنظمات في معرفة الأدوات التقنية المتاحة لجمع تلك المعلومات. في معظم الأوقات ، يكون البرنامج مطلوبًا للاتصال بهذا الجهاز البعيد أو مصدر البيانات ثم سحبها إلى قاعدة بيانات داخلية أو نظام مؤرخ البيانات.

غالبًا ما يشار إلى مناطق التخزين هذه باسم "مستودع البيانات".

بمجرد جمع المعلومات في مستودع البيانات داخل المؤسسة ، يمكن استخدام أدوات مختلفة لإجراء تحليل البيانات الفعلي.

ذكاء الأعمال^{(Business Intelligence)}

بمجرد جمع البيانات ، فإن الخطوة التالية هي تحديد ما يجب فعله بكل تلك البيانات. عندما يتعلق الأمر بذكاء الأعمال ، يجب أن تساعد البيانات المطلوبة المؤسسة في اتخاذ قرارات عمل أفضل.

تساعد تقارير ولوحات المعلومات الخاصة بذكاء^{(Intelligence)} الأعمال المديرين وقادة الأعمال الآخرين على فهم الاتجاهات بشكل أفضل واكتساب رؤى حول جوانب مختلفة من العمل. 

تشمل هذه الجوانب:

• احتياجات سلسلة التوريد أو القيود
• تقلل التكاليف
• تحسين المبيعات
• احتياجات العملاء وسلوكياتهم
• توقع المبيعات المستقبلية أو متطلبات السوق
• الخدمات اللوجستية والشحن

يتيح لك جمع البيانات من كل هذه الأنظمة المختلفة عبر مؤسستك إنشاء روابط بين المعلومات التي ربما لم تكن ممكنة من قبل.

ذكاء التصنيع^{(Manufacturing Intelligence)}

تكمن الصعوبة عندما يتعلق الأمر بجمع البيانات من عمليات التصنيع في أنه عادة ما يكون هناك الكثير منها.

إذا كنت تفكر في منشأة تصنيع نموذجية ، فإن كل آلة في ورشة العمل تجمع عشرات إلى مئات من نقاط البيانات التي تشمل:

• درجات الحرارة والضغوط
• قطع غيار أو منتج مصنوع
• المواد الخام المستخدمة
• ألغيت الأجزاء السيئة
• التهم والإنذارات عطل

في معظم الحالات ، تتم أتمتة معدات التصنيع باستخدام وحدة تحكم منطقية قابلة للبرمجة ( PLC ). لا تقوم هذه الأجهزة بتشغيل المعدات وفقًا لكيفية برمجتها فحسب ، بل تقوم أيضًا بجمع البيانات وتجميعها من تلك المعدات.

يتضمن الحصول على البيانات من PLCs برنامجًا يتم تشغيله على خادم على نفس الشبكة مثل تلك PLCs . هناك العديد من البائعين الذين قاموا بكتابة برامج للحصول على البيانات من وحدات التحكم هذه إلى مؤرخ البيانات أو قاعدة البيانات.

يشمل قادة مؤرخي البيانات في هذا المجال ما يلي:

• OSIsoft : كانت هذه الشركة موجودة منذ عقود ، وتتضمن "مدمجين" أو برامج تشغيل يمكنها الحصول على البيانات من أي نوع من المعالجات أو المستشعرات أو قواعد البيانات تقريبًا.
• Factorytalk : أنتجت شركة ^{(Factorytalk)}Rockwell Automation ، الرائدة في مجال الأتمتة منذ فترة طويلة ، مؤرخ البيانات الخاص بها المسمى Factorytalk لمساعدة عملائها على جمع البيانات من معالجات الآلات. 
• Aveva : المعروف سابقًا باسم Wonderware ، يعد AVEVA Historian بتوفير "وصول مفتوح" لبيانات الجهاز مثل بيانات المعالجة والإنذارات والأحداث والمزيد.
• Iconics : لاعب أصغر في سوق مؤرخ البيانات ، يعد صانعو Iconics بتوفير "أرشفة عالية السرعة" بحيث تتطابق دقة البيانات المخزنة مع ما حدث أصلاً على الجهاز.

يشتمل جميع مزودي البرامج هؤلاء تقريبًا على أدوات تحليل البيانات لتتماشى مع حل مؤرخ البيانات الخاص بهم. يعتمد اختيار حل جمع البيانات والتحليلات المناسب لمنشأة التصنيع الخاصة بك حقًا على وحدات التحكم التي تستخدمها ، والطريقة التي تريد تخزين البيانات بها ، والمبلغ الذي ترغب في إنفاقه.

عرض مرئي للمعلومات

الأداة الأكثر شيوعًا لجمع بيانات الأعمال وتحليلها وتصورها هي Microsoft PowerBI .

PowerBI هي أداة تصور قوية تقدمها Microsoft تتيح لك جلب البيانات من العديد من مصادر البيانات المختلفة. يمكنك بعد ذلك تقسيم البيانات وتقسيمها عبر المخططات الدائرية والشريطية المتنوعة والرسومات البيانية الخطية والجداول والمزيد.

تتيح لك القدرة على دمج المعلومات من مصادر البيانات المختلفة العثور على ارتباطات لم تكن ممكنة من قبل. هذا هو سحر تحليل البيانات الحديثة. يوفر القدرة على اكتساب رؤى لم تكن ممكنة من قبل من قبل الأدوات التي تتيح لك تصور البيانات من العديد من المصادر.

PowerBI ليس التطبيق الوحيد الذي لديه القدرة على معالجة البيانات وتصورها بهذه الطريقة. في الواقع ، هناك سوق متنامٍ لهذه الأنواع من الأدوات فقط. 

تشمل أدوات تصور البيانات الرائدة اليوم ما يلي:

• قاعدة التعريف^(Metabase) : حل مفتوح المصدر (مجاني) يروج لنفسه على أنه يسمح للأشخاص في مؤسستك "بطرح الأسئلة والتعلم من البيانات".
• Tableau : منصة تصوير بيانات شائعة تستخدم في العديد من الصناعات المختلفة. الاتصال^{(Connectivity)} بالعديد من مصادر البيانات المختلفة متاح.
• Whatagraph : شائع بين وكالات التسويق لأنه من السهل إنتاج تقارير سهلة الفهم. تتضمن الأداة إنشاء التقارير تلقائيًا ويمكنها إرسال تلك التقارير تلقائيًا إلى أي شخص.
• JasperReports : هذا حل آخر مفتوح المصدر لإعداد التقارير. تأتي قوتها من القدرة على إخراج التقارير في العديد من التنسيقات المختلفة مثل المستندات المطبوعة وملفات PDF^(PDFs) والتقارير المستندة إلى الويب.

يعتمد الخيار الذي تختاره حقًا على الاستثمار الذي تريده أنت أو مؤسستك. لحسن الحظ ، هناك خيارات ممتازة مفتوحة المصدر متاحة إذا كان هذا هو المكان الذي تريد أن تبدأ فيه.

بيانات التعدين

أحد أقوى تقنيات تحليل البيانات الجديدة هو ما يسمى التنقيب عن البيانات.

يركز التنقيب عن البيانات^(Data) على استخدام النمذجة الإحصائية لسحب الأنماط والاتجاهات من حجم كبير من البيانات من أجل التنبؤ بالاتجاهات المستقبلية. 

التطبيقات التي يمكنها إجراء التحليل الإحصائي لاستخراج البيانات هي تطبيقات متخصصة للغاية وغالبًا ما تحتاج إلى تخصيصها وفقًا للتطبيق أو الوضع في متناول اليد.

تشمل أنواع تحليل التنقيب عن البيانات ما يلي:

• تحليل البيانات الاستكشافية^{(Exploratory Data Analysis)} ( EDA ): يتضمن ذلك البحث عن أنماط في البيانات من أجل تحديد الاتجاهات الجديدة أو تعلم معلومات جديدة.
• تحليل البيانات التأكيدي^{(Confirmatory Data Analysis)} ( CDA ) : يتضمن ذلك استخدام جميع البيانات التي تم جمعها لمحاولة تحديد ما إذا كانت الارتباطات المشتبه بها صحيحة.

تتضمن بعض أدوات برمجيات التنقيب عن البيانات الرائدة المتوفرة في السوق اليوم ما يلي:

• Rapid Miner : نظام تحليل تنبؤي ممتاز مفتوح المصدر مكتوب بلغة جافا^(Java) . إنه قادر على التعلم الآلي والتحليل التنبئي والتنقيب عن النصوص.
• Sisense : برنامج مرخص مصمم خصيصًا لذكاء الأعمال ، مع القدرة على توسيع نطاق المؤسسات الكبيرة. يتضمن وحدة إعداد تقارير ممتازة.
• Oracle : أحد الأسماء الرائدة في صناعة البيانات ، تقدم Oracle ميزة استخراج البيانات داخل SQL التي تتيح للمؤسسات استخدام البيانات المخزنة في قاعدة بيانات Oracle .
• IBM Cognos : هذا البرنامج قادر على معالجة كميات كبيرة من البيانات لتحديد الاتجاهات الهامة. يمكن استخدام هذه لإنشاء تقارير للإدارة أو للآخرين.
• SAS : اسم كبير آخر في صناعة البيانات ، تم تصميم نظام التحليل الإحصائي^{(Statistical Analysis System)} ( SAS ) خصيصًا لتعدين البيانات وإدارتها وحتى تحديثها بناءً على النتائج التحليلية.

كما ترى ، هناك العديد من الجوانب لتحليل البيانات وتعتمد الأدوات التي تحتاج إلى استخدامها حقًا على ما تأمل أن تتعلمه من تلك البيانات.

تستمر التطورات في تحليل البيانات في التقدم كل عام ، وتحتاج أي شركة أو مؤسسة تأمل في البقاء في طليعة صناعتها إلى البقاء على اطلاع بأدوات تحليل البيانات المتاحة واستخدامها إلى أقصى إمكاناتها.

What Is Data Analysis And The Best Tools To Use

When most people think of data analysis, they think of manipulating and analyzing data in a tool like Microsoft Excel. The reality is that data analysis encompasses a wide range of tools and a lot of different methods to manipulate and understand the story that the data tells.

What is data analysis? Data analysis is used very differently if you’re talking about business data, manufacturing data, marketing data, or data specific to the industry and business that you operate.

In this article, you’ll learn about the different aspects of data analysis, what they mean, and how they’re generally used across the board.

Data Collection

The first stage of any data analysis is data collection. This simply means gathering data from all of the sources that hold information you need.

Data can include any of the following and more:

• Manufacturing machinery controllers
• Someone manually entering data into a computer
• Sensors that measure temperature, pressure, and more
• Cloud based data sources
• Information from the internet like weather or government databases
• Databases housed on your company network

A major challenge for a lot of organizations is figuring out what technical tools are available to gather that information. Most of the time software is required to connect to that remote device or data source and then pull them into an internal database or data historian system.

These storage areas are often referred to as a “data warehouse”.

Once information is collected into a data warehouse inside an organization, various tools can be used to conduct the actual data analysis.

Business Intelligence

Once data is collected, the next step is deciding what to do with all that data. When it comes to business intelligence, the required data should help an organization make better business decisions.

Business Intelligence (BI) reports and dashboards help managers and other business leaders better understand trends and gain insights into various aspects of the business. 

These aspects include:

• Supply chain needs or limitations
• Reducing costs
• Improving sales
• Customer needs and behaviors
• Predicting future sales or market demands
• Logistics and shipping

Gathering data from all of these different systems throughout your organization lets you build connections between information that may never have been possible before.

Manufacturing Intelligence

The difficulty when it comes to gathering data from manufacturing processes is that usually there’s just so much of it.

If you think about a typical manufacturing facility, every single machine on the shop floor collects dozens to hundred of data points that include:

• Temperatures and pressures
• Parts or product made
• Raw material used
• Bad parts scrapped
• Malfunction counts and alarms

In most cases, manufacturing equipment is automated by the use of a programmable logic controller (PLC). These devices not only run the equipment according to how they’re programmed, but they also collect and gather data from that equipment.

Getting data out of those PLCs involves software that runs on a server on the same network as those PLCs. There are many vendors that have written software to get data out of those controllers and into a data historian or a database.

The data historian leaders in this area include:

• OSIsoft: This company has been around for decades, and includes “integrators” or drivers that can get data out of almost any kind of processor, sensor, or database.
• Factorytalk: Long time automation leader Rockwell Automation produced their own data historian called Factorytalk to help their customers collect data from machine processors. 
• Aveva: Formerly known as Wonderware, the AVEVA Historian promises to provide “open access” to machine data like process data, alarms, events, and more.
• Iconics: A smaller player in the data historian marketplace, the makers of Iconics promise to provide “high-speed archiving” so the stored data resolution matches what originally occurred on the machine.

Nearly all of these software providers include data analysis tools to go along with their data historian solution. Choosing the right data collection and analytics solution for your manufacturing facility really depends on the controllers you use, how you want to store the data, and how much you are willing to spend.

Data Visualization

The most popular tool for collecting, analyzing, and visualizing business data is Microsoft PowerBI.

PowerBI is a powerful visualization tool offered by Microsoft that lets you bring in data from many different data sources. You can then slice and dice the data across various pie and bar charts, line graphs, tables, and more.

The ability to combine information from various data sources lets you find correlations that wouldn’t have been possible before. This is the magic of modern data analysis. It provides the ability to gain insights that were never before possible before tools that let you visualize data from many sources.

PowerBI isn’t the only app with the ability to manipulate and visualize data in this way. In fact, there’s a growing market for just these types of tools. 

The leading data visualization tools today include:

• Metabase: An open-source (free) solution that touts itself as letting people in your organization “ask questions and learn from data”.
• Tableau: A popular data visualization platform used across many different industries. Connectivity with many different data sources is available.
• Whatagraph: Popular among marketing agencies because it’s easy to produce easy-to-understand reports. The tool includes automated report generation and can automatically email those to anyone.
• JasperReports: This is another open-source reporting solution. It’s power comes from the ability to output reports in many different formats like printed documents, PDFs, and web-based reports.

The option you decide to go with really depends on the investment you or your organization wants to make. Thankfully there are excellent open-source options available if that’s where you need to start.

Data Mining

One of the most powerful new data analysis techniques is something called data mining.

Data mining focuses on using statistical modeling to pull patterns and trends out of a large volume of data in order to predict future trends. 

The applications that can perform data mining statistical analysis are highly specialized and often need to be customized to the application or situation at hand.

Types of data mining analysis include:

• Exploratory Data Analysis (EDA): This involves searching for patterns in data in order to identify new trends or learn new information.
• Confirmatory Data Analysis (CDA: This involves using all of the collected data to try and determine whether suspected correlations are true.

Some of the leading data mining software tools available on the market today include:

• Rapid Miner: An excellent open-source predictive analysis system written in Java. It’s capable of machine learning, predictive analysis, and text mining.
• Sisense: Licensed software tailored for business intelligence, with the ability to scale up for large organizations. It includes an excellent reporting module.
• Oracle: One of the leading names in the data industry, Oracle offers data mining feature within SQL that lets organizations use data stored in an Oracle database.
• IBM Cognos: This software is capable of processing large volumes of data to identify important trends. These can be used to generate reports for management or others.
• SAS: Another big name in the data industry, Statistical Analysis System (SAS) was specifically designed to mine, manage, and even update data based on analytical results.

As you can see, there are many facets to data analysis and the tools you need to use really depends on what you hope to learn from that data.

Advancements in data analysis continue to advance every year, and any company or organization that hopes to stay ahead in their industry needs to stay on top of what data analysis tools are available and to use them to their fullest potential.

Related posts

• Xcode لنظام التشغيل Windows (أفضل 8 أدوات لتطوير تطبيقات iOS على جهاز الكمبيوتر)

• ما هي أفضل خدمة اتصال جماعي - أفضل التطبيقات مقارنة

• أفضل 5 تطبيقات لتصفية الضوء الأزرق لنظام التشغيل Windows و Mac و Linux

• 4 أفضل تطبيقات برامج إعادة توجيه المنافذ وكيفية استخدامها

• أفضل 10 إضافات للخصوصية لمتصفح Chrome (2022)

• أفضل 7 أدوات ضاغط ومحسن بتنسيق GIF

• أفضل 11 برنامج لقطة شاشة مجانية لنظام التشغيل Windows

• أفضل 4 أدوات مجانية لإزالة خلفية من صورة

• التعلم الإلكتروني للأطفال - أفضل التطبيقات والأدوات لتثقيف أطفالك في المنزل

• محلل البريد الإلكتروني Zapier: 3 طرق مبتكرة لاستخدامه

• 5 تطبيقات محمولة تريد بالتأكيد الحصول عليها على USB Stick

• أفضل 6 تطبيقات للتحقق من درجة حرارة وحدة المعالجة المركزية في نظام التشغيل Windows 11/10

• كيف يمكن لتطبيق Signal Desktop المساعدة في حماية خصوصيتك

• أفضل 3 برامج تحرير فيديو مفتوحة المصدر

• 5 أدوات يمكنها تدمير بياناتك بشكل دائم لكل نظام تشغيل رئيسي

• امتداد أمان Avast عبر الإنترنت: هل يستحق الاستخدام؟

• مراجعة iMyFone Fixppo - هل هو أفضل برنامج لاستعادة بيانات iPhone؟

• ترجمة Google مقابل ترجمة Bing - أيهما أفضل؟

• أفضل 8 برامج لإدارة الملفات لنظام التشغيل Windows 11/10 في عام 2022

• 8 أفضل تطبيقات برامج التعرف الضوئي على الحروف لتحويل الصور إلى نص