Data Science Time Series

Áp dụng Machine Learning trong dự đoán nhu cầu thị trường

Áp dụng Machine Learning trong dự đoán nhu cầu thị trường

Nhu cầu là chỉ số quan trọng mà mọi doanh nghiệp cần xem xét trước khi thực hiện bắt đầu, hay mở rộng bất cứ một lĩnh vực kinh doanh nào. Dự đoán nhu cầu - demand forecasting, là việc đánh giá số lượng hàng hóa và dịch vụ mà người tiêu dùng có thể sẽ mua trong tương lai. Các yếu tố kinh doanh quan trọng nhất như doanh thu, tỷ suất lợi nhuận, dòng tiền, chi tiêu vốn, đánh giá rủi ro, kế hoạch phát triển, hoạch định năng lực, v.v. phụ thuộc trực tiếp vào nhu cầu.

Từ trước khi các kỹ thuật AI/ML ra đời, đã tồn tại một số phương pháp dự đoán khác nhau, trong đó chủ yếu là dựa vào thống kê toán học, hay dựa vào kinh nghiệm của những người làm lâu năm trong nghề. Các phương pháp này có ưu điểm là nhanh chóng, đơn giản nhưng thường cho ra kết quả với độ chính xác không cao, đặc biệt là khi thị trường có nhiều biến động bất thường như đại dịch Covid-19 hiện nay. Việc dự đoán kém chính xác tất yếu sẽ dẫn đến thất thoát, lãng phí thời gian, tiền bạc của các doanh nghiệp. Ví dụ, mọi người đều biết rằng, giai đoạn 1-2 tháng trước dịp lễ Trung thu, nhu cầu tiêu thụ các sản phẩm bánh kẹo sẽ tăng rất mạnh. Cái này gọi là kinh nghiệm. Nhưng để ra đuọc một con số cụ thể, sẽ có bao nhiêu sản phẩm mỗi loại có thể bán được đến tay khách hành, thì đó lại là phải dựa vào thống kê, đôi khi cũng rất cảm tính.

Ngày nay, với sự bùng nổ của kỷ nguyên AI/ML, ngày càng có nhiều các công ty áp dụng các kỹ thuật AI/ML vào việc dự đoán nhu cầu của mình. Mặc dù không đơn giản như các phương pháp truyền thống và mất nhiều thời gian và công sức hơn để xây dựng được một mô hình dự đoán chất lượng, nhưng kết quả mang lại thường có độ chính xác cao, sát với tình hình thực tế hơn so với các phương pháp khác. Đặc biệt là nó có thể dự đoán được cả trong trường hợp xảy ra khủng hoảng, hay thay đổi đột biến của thị trường và xã hội.

Trong bài viết này, chúng ta sẽ tìm hiểu một số khía cạnh của demand forecasting và cách thức mà các công ty, doanh nghiệp áp dụng AI/ML vào quá trình dự đoán nhu cầu và lập kế hoạch của họ! Bài viết chia thành 7 phần:

  • Phần 1: Các yếu tố ảnh hưởng đến nhu cầu của khách hàng
  • Phần 2: Các loại demand forecasting
  • Phần 3: Các phương pháp thực hiện demand forecasting
  • Phần 4: Một số ví dụ về demand forecasting
  • Phần 5: Demand Forecasting với Machine Learning
  • Phần 6: Demand forecasting trong trường hợp có sự thay đổi đột ngột
  • Phần 7: Một số Case Study thực hiện demand forecasting bằng Machine Learning

Ok, bắt đầu thôi !!!

1. Các yếu tố ảnh hưởng đến nhu cầu của khách hàng

Có rất nhiều yếu tố có thể ảnh hưởng đến nhu cầu, đến quyết định bỏ tiền ra mua một sản phẩm của khách hàng. Trong đó, 5 yếu tố sau đây được xem là chủ đạo, có tác động lớn hơn so với các yếu tố khác:

1.1 Giá của sản phẩm

Khi giá sản phẩm tăng, nhu cầu mua sắm sẽ giảm và ngược lại. Đó là nội dung của quy luật nhu cầu - law of demand nói với chúng ta. Quyết định rút hầu bao ra hay không của khách hàng sẽ được định hướng bởi giá cả của sản phầm nếu giả sử các yếu tố khác không có tác động hoặc tác động không đáng kể.

1.2 Thu nhập của khách hàng

Khi thu nhập tăng, nhu cầu mua sắm cũng tăng theo. Nhưng không phải lúc nào khách hàng cũng muốn mua gấp đôi một hàng hóa hoặc dịch vụ nhất định. Ví dụ, kiếm được nhiều hơn không có nghĩa là bạn cần hai, ba hoặc bốn cái máy giặt khác nhau, vì một chiếc là đủ để sử dụng hàng ngày rồi.

1.3 Giá của hàng hóa hoặc dịch vụ bổ sung

Giá của hàng hóa và dịch vụ liên quan cũng sẽ làm tăng chi phí sử dụng sản phẩm mà khách hàng cần, vì vậy thông thường khách hàng sẽ ít muốn hơn. Ví dụ, giá mua một chiếc oto hạng trung ở Việt Nam là khoảng 500-700 triệu, nhưng chi phí đi kèm với nó là xăng dầu, là thuế phí, là dịch vụ sửa chữa, … khá cao. Điều này đã làm rất nhiều người chần chừ khi quyết định sở hữu một chiếc xe hơi cho riêng mình.

1.4 Sở thích, thị hiếu của khách hàng

Nhu cầu cũng thay đổi lên khi thị hiếu, sở thích và mong muốn của người tiêu dùng thay đổi. Họ có thể đột nhiên bắt đầu thích hoặc không thích một sản phẩm nào đó. Quảng cáo là một phương pháp làm tác động và thay đổi đến mong muốn của người tiêu dùng đối với một sản phẩm.

1.5 Yêu cầu, mong đợi của khách hàng

Kỳ vọng, tức là mong muốn thực tế về sản phẩm, cũng ảnh hưởng đến mức độ nhu cầu. Đó là khi mọi người mong đợi rằng một sản phẩm sẽ có nhiều giá trị hơn, họ sẽ tăng nhu cầu về nó. Ví dụ, Apple vừa ra mắt Iphone 13, các fan của nhà Táo đã rất mong đợi là nó sẽ có nhiều tính năng mới, đột phá hơn so với các Iphone đời cũ. Nhưng sản phẩm thực tế đã làm họ thất vọng không ít, và chắc chắn lượng tiêu thụ của Iphone 13 sẽ không được như Apple kỳ vọng.

2. Các loại demand forecasting

Demand forecasting có nhiều loại khác nhau, phụ thuộc vào nhiều yếu tố như khoảng thời gian, phạm vi thị trường hoặc mức độ chi tiết. Chúng được chia thành hai nhóm: dựa trên khoảng thời gian - time period based và dựa trên nền kinh tế - economy based.

2.1 Time period based

a, Short-term forecasting

Đây là loại demand forecasting khi bạn cần dự đoán nhu cầu trong một khoảng thời gian ngắn, khoảng từ 6 tháng đến 1 năm. Loại này phụ thuộc nhiều vào tính chất của ngành và thời điểm cần dự đoán. Và nó phù hợp với các quyết định nhanh chóng hơn là chiến lược lâu dài.

b, Long-term forecasting

Long-term forecasting là việc đưa ra các dự báo trong một khoảng thời gian dài, chẳng hạn như từ 2 đến 5 năm hoặc thậm chí dài hơn nữa. Loại dự báo này có thể cung cấp thông tin chiến lược có giá trị cho doanh nghiệp (ví dụ: chuyển sang phân khúc thị trường khác, mở rộng công suất của nhà máy, v.v.).

2.2 Economy based

a, Macro-level prediction

Loại dự báo này xem xét môi trường kinh tế tổng thể, xử lý nền kinh tế được đo lường bằng chỉ số IIP (Index of Industrial Production), tỉ lệ thất nghiệp của đất nước, thu nhập của quốc gia, v.v.

b, Industry-level prediction

Industry-level prediction, giải quyết nhu cầu mà các sản phẩm của một ngành cụ thể sẽ có. Ví dụ, nhu cầu về ô tô điện ở Việt Nam 5 năm tới, nhu cầu về chuyển đổi số trong các doanh nghiệp nhà nước, v.v.

c, Brand-level forecasting

Brand-level forecasting có nghĩa là dự đoán nhu cầu đối với các sản phẩm của một thương hiệu hoặc công ty cụ thể, chẳng hạn như VinHome, VTI, FPT, v.v.

3. Các phương pháp demand forecasting

Xét về phương pháp, có thể chia demand forecasting thành 2 nhóm, mỗi nhóm bao gồm một số phương pháp, kỹ thuật khác nhau:

3.1 Phương pháp định tính - Qualitative method

a, The Delphi Technique

Đây là kỹ thuật dựa trên ý kiến của các chuyên gia trong một lĩnh vực cụ thể. Mỗi chuyên gia đều được giao nhiệm vụ dự báo nhu cầu trong từng phân khúc cụ thể. Vòng dự báo ban đầu được tổ chức và sau đó mỗi chuyên gia đưa ra dự báo của mình để các chuyên gia khác có thể xem xét, đánh giá. Quá trình lặp lại cho đến khi tất cả các chuyên gia đi đến một quyết định tương tự.

b, Sales Force opinion (Focus group)

Các nhóm nhân viên bán hàng được hỏi về nhu cầu đầu vào dự kiến. Mỗi nhân viên bán hàng phải ước tính khu vực và loại sản phẩm có liên quan của riêng mình cũng như đưa ra báo cáo về nhu cầu của khách hàng mà họ đã làm việc cùng. Người quản lý bán hàng xem xét kết quả và thực hiện quyết định cuối cùng về việc dự báo nhu cầu sẽ như thế nào.

c, Market Research

Phương pháp này sử dụng ý kiến của khách hàng có được thông qua việc khảo sát ý kiến của họ về một sản phẩm, dịch vụ cụ thể. Các câu hỏi khảo sát thường là tổng hợp các thông tin nhân khẩu học, kinh tế và sở thích từ khách hàng. Phương pháp này có lợi khi có rất ít hoặc không có lịch sử bán hàng cho một sản phẩm, dịch vụ cụ thể nào đó.

3.2 Phương pháp định lượng - Quantitative method

a, Moving average technique

Moving average là một kỹ thuật tính toán xu hướng tổng thể trong một tập dữ liệu. Trong demand forecasting, tập dữ liệu là doanh số bán hàng từ dữ liệu lịch sử của công ty. Kỹ thuật này rất hữu ích để dự báo các xu hướng ngắn hạn. Nó chỉ đơn giản là giá trị trung bình của một tập hợp các khoảng thời gian được chọn. Nó được gọi là moving bởi vì khi số lượng mẫu trong tập dữ liệu tăng lên, để giữ cho khoảng thời gian tính toán không đổi, ta cần loại bỏ các mẫu cũ nhất, và lấy các mẫu mới đó thay thế vào, nên sẽ có cảm giác trượt trên tập dữ liệu đó.

b, Regression analysis method

Tiền đề là những thay đổi về giá trị của một biến chính (ví dụ: doanh thu của Sản phẩm A) có liên quan chặt chẽ với những thay đổi trong (các) biến khác (ví dụ, chi phí của Sản phẩm B). Vì vậy, sử dụng phương pháp hồi quy, nếu ta có thể ước tính giá trị của các biến khác này (chi phí của Sản phẩm B), thì nó cũng sẽ có thể dự báo biến chính (doanh thu của Sản phẩm A).

c, Econometric forecasting technique

Các phương trình toán học phức tạp và đường trung bình động tích hợp tự hồi quy được sử dụng trong kỹ thuật này để tạo ra các mối quan hệ giữa nhu cầu và các yếu tố liên quan đến nó. Các dự báo sẽ được tính toán dựa trên các giá trị đầu vào của phương trình.

Hình dưới đây tổng hợp các phương pháp thực hiện demand forecasting.

4. Một số ví dụ về demand forecasting

Dưới đây là một số ví dụ thực tế nơi mà demand forecasting có thể được áp dụng trong một các ngành nghề, lĩnh vực khác nhau:

4.1 Thị trường xe oto

Nếu một nhà sản xuất ô tô nổi tiếng có trong tay dữ liệu về giá trị doanh số bán hàng của năm ngoái với từng kiểu xe, loại động cơ và màu sắc, thì họ có thể đưa ra dự báo trong thời gian 12 tháng tới, mẫu xe nào sẽ được yêu cầu nhiều nhất.

4.2 Ngành công nghiệp thực phẩm

Nếu một công ty sản xuất thực phẩm hàng đầu có thông tin về doanh số bán các sản phẩm theo mùa trong hai năm qua, nó có thể được sử dụng để dự đoán hương vị ưa thích hoặc kích thước gói hàng trong một hoặc hai năm tới để lập kế hoạch mua hàng, sản xuất và tồn kho.

4.3 Ngành công nghiệp chăm sóc sắc đẹp

Giả sử một thương hiệu mỹ phẩm đã bán được 10.000 đơn đặt hàng mỗi tháng trong một mùa nhất định trong năm. Xem xét dữ liệu lịch sử này, có thể dự đoán rằng xu hướng của dòng sản phẩm này sẽ tăng lên 30.000 mặt hàng được bán mỗi tháng trong năm tới.

4.4 Ngành công nghiệp bán lẻ

Hãy tưởng tượng bạn có một cửa hàng tồn kho bán khoảng 5.000 mặt hàng mỗi tháng. Một ngày bạn nhận thấy rằng không phải tất cả các mặt hàng đều được bán với số lượng như nhau. Một số sản phẩm bán nhanh và những sản phẩm khác vẫn còn trên kệ trong một thời gian dài. Trong trường hợp này, bạn có thể lập bản đồ demand forecasting trong ít nhất sáu tháng. Từ đó, bạn có thể giảm đáng kể số tiền phải bỏ ra để sản xuất những thứ mà khách hàng ít quan tâm.

5. Demand Forecasting với Machine Learning

Phương pháp demand forecasting sử dụng ML thuộc nhóm Quantitative, nó dựa trên số liệu thống kê và các công thức toán học phức tạp, thay vì ý kiến ​​của các chuyên gia trong lĩnh vực này. Hiện nay, phương pháp này đang tỏ ra chiếm ưu thế hơn so với các phương pháp khác trong thế giới kinh doanh.

ML thực hiện việc dự đoán từ dữ liệu lịch sử về doanh số bán hàng để xây dựng chiến lược và đủ chính xác để đạt được mục tiêu kinh doanh của các công ty, doanh nghiệp. Những gã khổng lồ Internet hàng đầu thế giới như IBM, Google và Amazon đều sử dụng các công cụ demand forecasting được hỗ trợ bởi ML.

Điều đầu tiên bạn nên biết trước khi triển khai ML cho demand forecasting là các mô hình cần nhiều dữ liệu chất lượng từ các nguồn thông tin bên trong và bên ngoài doanh nghiệp của bạn. Các thuật toán thông minh có thể hoạt động với cả dữ liệu có cấu trúc và không có cấu trúc, chẳng hạn như báo cáo tài chính và bán hàng, các chỉ số kinh tế vĩ mô, cuộc thăm dò tiếp thị, nội dung truyền thông xã hội (ví dụ: lượt thích, lượt chia sẻ, Tweet), dự báo thời tiết, v.v.

ML rất mạnh mẽ bởi vì nó được thúc đẩy bởi các thuật toán toán phức tạp để có thể nhận ra các mối quan hệ ẩn phức tạp trong dữ liệu được trích xuất từ các nguồn được liệt kê ở trên. Các mô hình thông minh này không chỉ phân tích một lượng lớn dữ liệu sẵn có tại thời điểm huấn luyện mà còn có thể cập nhật trên cơ sở thông tin mới để điều chỉnh chúng theo các điều kiện thay đổi, từ đó dẫn đến các dự báo đáng tin cậy hơn.

Mức độ chính xác của những dự báo này như thế nào? Các công ty đã áp dụng các giải pháp dựa trên ML báo cáo đã đạt được mức độ tin cậy dự đoán tăng từ 5% -15 +% so với các phương pháp thông thường. Trong một số trường hợp, độ chính xác cao tới 85% hoặc thậm chí 95%. ML áp dụng vào demand forecasting hoạt động tốt nhất trong lập kế hoạch ngắn hạn và trung hạn, môi trường thay đổi nhanh, đặc điểm nhu cầu dễ thay đổi và lập kế hoạch chiến dịch cho sản phẩm mới.

Quá trình xây dựng một ML để dự báo nhu cầu cũng cần tuân thủ theo 6 bước trong vòng đời phát triển của bài toán AI/ML như đã đề cập đến tại đây. Có một vài điểm đặc biệt cần lưu ý như sau:

  • Chỉ tiêu - metric đánh giá độ chính xác của ML model

Trong lĩnh vực AI/ML, Demand forecasting thực chất là bài toán Regression, tức là model cần dự đoán ra một con số có giá trị cụ thể. Vì vậy, các chỉ tiêu để đánh giá độ chính xác của nó thường là MAE - Mean Absolute Error, MAPE - Mean Absolute Percentage Error, hoặc một metric tự định nghĩa phù hợp với bài toán cụ thể.

  • Lựa chọn cách thức tiếp cận và các kỹ thuật xử lý dữ liệu

Dữ liệu của bài toán demand forecasting đa phần ở dạng time series, tức là chuỗi các mẫu dữ liệu xảy ra liên tiếp theo thời gian. Khi gặp loại dữ liệu này, cần áp dụng số kỹ thuật chuyên biệt, dành riêng để xử lý loaị dữ liệu này như Seasonality, Trend, Noise, …

  • Lựa chọn thuật toán ML

Sẽ không có một thuật toán ML nào phù hợp cho mọi vấn đề. Phụ thuộc vào mục tiêu của bài toán, loại dữ liệu, chất lượng và số lượng dữ liệu, khoảng thời gian, … mà ta cần chọn ra một thuật toán duy nhất.

Đối với demand forecasting, các thuật toán thường hay được sử dụng là: ARIMA, SARIMA, Linear Regression, XGBoost, K-Nearest Neighbors Regression, Random Forest, LSTM, CNN, MLP, …

6. Demand forecasting trong trường hợp có sự thay đổi đột ngột

Khi tiến hành demand forecasting, điều cần thiết là phải hiểu rằng chúng rất dễ bị ảnh hưởng bởi các yếu tố bất thường, khó dự đoán trước như đại dịch COVID-19 chẳng hạn. Bởi vì trong lịch sử không hề tồn tại dữ liệu nào tương tự như thế. Ví dụ, nếu như năm ngoái, chúng ta đưa ra một con số về nhu cầu đối với khẩu trang y tế và thuốc kháng vi rút thì năm nay, nó sẽ hoàn toàn khác.

Ví dụ, demand forecasting trước khi đại dịch xảy ra:

và đây là thực tế:

Để nâng cao độ chính xác và giảm thiểu sai sót, các mô hình học máy cần được nâng cấp theo các điều kiện thực tế đó. Cụ thể, khi sự biến động xảy ra đột ngột, sự thay đổi diễn ra nhanh, cần phải thu thập thêm dữ liệu và cập nhật mô hình dự đoán với tốc độ bằng hoặc lớn hơn tốc độ thay đổi của biến động. Dữ liệu cần thu thập thêm ở đây là những dữ liệu bên ngoài, tin tức, trạng thái thị trường hiện tại, chỉ số giá, tỷ giá hối đoái, các yếu tố kinh tế, các bài phân tích, bình luận trên các mạng xã hội, … Với mỗi loại dữ liệu khác nhau cũng cần phải áp dụng các kỹ thuật xử lý khác nhau để đạt được mục đích của mình.

7. Một số Case Study thực hiện demand forecasting bằng Machine Learning

Dưới đây là 2 Case Studies áp dụng ML vào thực hiện demand forecasting:

  • Case Study 1
  • Case Study 2

8. Kết luận

Demand forecasting là rất quan trọng đối với các doanh nghiệp thuộc mọi quy mô để tạo ra doanh thu và tránh thất thoát vốn. Sự cần thiết của demand forecasting là hiển nhiên trong nhiều ngành công nghiệp và các trường hợp sử dụng đa dạng khác nhau; đó là phương pháp tốt nhất để triển khai nhằm đưa ra các quyết định quản lý đúng đắn, mở rộng quy mô kinh doanh, tung ra sản phẩm mới hoặc dự đoán ngân sách.

AI/ML đã và đang được áp dụng rất nhiều vào giải quyết bài toán demand forecasting bởi sự chính xác của nó so với các phương pháp truyền thống khác. Không chỉ vậy, sức mạnh của công nghệ này phụ thuộc vào việc chúng ta tận dụng nó tốt như thế nào. Ngày nay, các nhiệm vụ như dự báo mức độ tương tác của khách hàng, xu hướng tương lai, phát triển thương hiệu, chiến dịch tiếp thị, sử dụng tài nguyên, rủi ro tài chính, v.v. đều có thể được giải quyết bằng công nghệ AI/ML, mang lại giá trị gia tăng rất lớn cho các doanh nghiệp hiện đại. Với xu hướng ML mới mới nổi, tiềm năng tương lai của nó là vô cùng lớn, ngay từ bây giờ, các doanh nghiệp nên có sự đầu tư đúng đắn để từng bước áp dụng và phát triển công nghệ này để giải quyết các vấn đề của chính mình.

9. Tham khảo

[1] Liudmyla Taranenko, “How to apply machine learning to demand forecasting”, Available online: https://mobidev.biz/blog/machine-learning-methods-demand-forecasting-retail (Accessed on 25 Sep 2021).

[2] Roman Chuprina, “The Complete Guide on Customer Demand Forecasting in Retail”, Available online: https://spd.group/machine-learning/demand-forecasting/ (Accessed on 25 Sep 2021).