Machine Learning: Từ dữ liệu đến quyết định, cá nhân hóa và tự động hoá

Từ ước tính giá nhà, dự báo nhu cầu đến phát hiện giao dịch bất thường, Machine Learning giúp khai thác dữ liệu để hỗ trợ quyết định. Khi được kết hợp với quy trình vận hành và cơ chế kiểm soát phù hợp, công nghệ này mở ra cơ hội tự động hóa và cá nhân hóa dịch vụ ở quy mô lớn.

Khi dữ liệu có thể trả lời những câu hỏi thực tế

Một căn nhà có thể được ước tính giá trị dựa trên diện tích, vị trí và những giao dịch tương tự hay không? Một tổ chức tài chính có thể sử dụng dòng tiền để hỗ trợ đánh giá thu nhập của khách hàng không? Một doanh nghiệp có thể dự báo lượng hàng cần nhập, thay vì chỉ dựa vào kinh nghiệm của người quản lý?
Những câu hỏi này có điểm chung: cần tìm mối liên hệ trong dữ liệu để đưa ra nhận định về một trường hợp mới.
Đó cũng là một phần công việc của Machine Learning, hay học máy. Công nghệ này cho phép mô hình học từ các ví dụ, nhận diện những quy luật và sử dụng chúng để dự đoán, phân loại hoặc đưa ra gợi ý.
Machine Learning không phải công nghệ mới xuất hiện. Vì vậy, khi nói học máy “trở lại”, nên hiểu là vai trò của nó được chú ý và khai thác sâu hơn trong các ứng dụng thực tế. Thông điệp đáng quan tâm là khả năng đưa việc phân tích dữ liệu vào quy trình hằng ngày, từ đó mở rộng tự động hóa và cá nhân hóa cho nhiều người dùng.

Machine Learning học bằng cách nào?

Có thể hình dung việc huấn luyện mô hình tương tự quá trình học từ nhiều ví dụ.
Một người có kinh nghiệm bất động sản thường xem xét vị trí, diện tích, tình trạng căn nhà và những giao dịch gần đó trước khi đưa ra mức giá tham khảo. Qua nhiều lần quan sát, họ dần nhận biết yếu tố nào thường ảnh hưởng đến giá.
Mô hình học máy cũng sử dụng các ví dụ, nhưng dưới dạng dữ liệu. Trong bài toán định giá nhà, mỗi bản ghi có thể gồm diện tích, vị trí, số phòng, độ rộng đường và giá giao dịch thực tế. Mô hình tìm cách liên kết những đặc điểm đầu vào với kết quả đầu ra.
Khi được cung cấp thông tin của một căn nhà mới, mô hình áp dụng mối liên hệ đã học để tạo ra giá dự đoán.

Tuy nhiên, mô hình không hiểu căn nhà theo cách con người hiểu. Nó học những quan hệ thể hiện trong dữ liệu. Nếu dữ liệu thiếu, sai hoặc không còn phù hợp với thị trường, kết quả cũng có thể thiếu chính xác.

Bốn nhóm bài toán dễ gặp trong cuộc sống

Không phải mọi ứng dụng Machine Learning đều hoạt động giống nhau. Với người mới tìm hiểu, có thể bắt đầu từ bốn nhóm bài toán phổ biến.

Linear Regression - Dự đoán một giá trị: Mô hình ước tính một con số, chẳng hạn giá tài sản, doanh thu hoặc nhu cầu tiêu thụ. Đây thường là bài toán hồi quy.
Classification - Phân loại: Mô hình xác định một trường hợp thuộc nhóm nào, chẳng hạn thư rác hay thư thông thường. Trong tài chính, mô hình có thể hỗ trợ đánh giá khả năng một giao dịch thuộc nhóm gian lận, nhưng cần được kiểm chứng và sử dụng trong quy trình phù hợp.
Clustering - Phân cụm: Mô hình tìm những nhóm có đặc điểm tương đồng mà không cần gắn nhãn trước cho từng trường hợp. Doanh nghiệp có thể sử dụng kết quả để khám phá các kiểu hành vi khách hàng.
Similarities & Recommender - Tìm sự tương đồng và đề xuất: Hệ thống tìm sản phẩm, nội dung hoặc đối tượng gần với nhu cầu, đặc điểm hay hành vi của người dùng. Đây là một hướng tiếp cận trong các hệ thống gợi ý.
Lựa chọn phương pháp phụ thuộc vào câu hỏi cần giải quyết. Một mô hình dự đoán giá nhà không thể được chuyển nguyên trạng sang bài toán phát hiện gian lận chỉ vì cả hai đều sử dụng dữ liệu.

Hồi quy tuyến tính: Một điểm bắt đầu dễ hiểu

Linear Regression, hay hồi quy tuyến tính, là phương pháp tương đối dễ tiếp cận để tìm hiểu cách mô hình học từ dữ liệu.

Giả sử chúng ta có dữ liệu của 100.000 căn nhà đã giao dịch và muốn xây dựng công cụ ước tính giá tham khảo. Đây là ví dụ minh họa; số lượng dữ liệu lớn chưa tự động bảo đảm chất lượng mô hình.
Với hồi quy tuyến tính, giá dự đoán được biểu diễn bằng một giá trị nền cộng với đóng góp của từng đặc điểm:
Giá dự đoán = Hệ số nền + Hệ số diện tích × Diện tích + [...] + Đóng góp của vị trí + Đóng góp của các đặc điểm khác.
Trong đó, các hệ số được mô hình ước lượng từ dữ liệu huấn luyện. Thông tin như vị trí cần được chuyển thành dạng phù hợp để mô hình xử lý.
Ví dụ, khi những yếu tố khác được giữ cố định, hệ số diện tích thể hiện mức thay đổi dự đoán của giá ứng với một đơn vị diện tích tăng thêm. Nhưng hệ số này không tự chứng minh quan hệ nhân quả. Nó phản ánh mối liên hệ trong dữ liệu và phụ thuộc vào cách xây dựng mô hình.

Quá trình huấn luyện thường tìm các hệ số sao cho tổng bình phương chênh lệch giữa giá dự đoán và giá thực tế trên tập huấn luyện nhỏ nhất.

Từ dữ liệu thô đến mô hình có thể sử dụng

Để xây dựng công cụ định giá, bước đầu tiên là xác định mục tiêu. Công cụ phục vụ người mua tham khảo, hỗ trợ chuyên viên hay sử dụng trong một quy trình khác? Mỗi mục tiêu có yêu cầu khác nhau về sai số và mức độ kiểm soát.
Tiếp theo là chuẩn bị dữ liệu. Những bản ghi trùng lặp, thiếu diện tích hoặc nhầm đơn vị cần được xử lý. Giá chào bán cũng cần được phân biệt với giá giao dịch thực tế, vì chúng không mang cùng ý nghĩa.
Dữ liệu sau đó được chia thành các phần phục vụ huấn luyện và đánh giá. Tỷ lệ 80% để huấn luyện, 20% để kiểm thử là một cách minh họa phổ biến, nhưng không phải quy tắc áp dụng cho mọi trường hợp.
Nếu mục tiêu là dự đoán giá trong tương lai, việc chia dữ liệu theo thời gian có thể phù hợp hơn chia ngẫu nhiên. Những giao dịch của cùng một căn nhà cũng cần được xem xét để tránh xuất hiện ở cả hai phần, khiến kết quả kiểm thử tốt hơn thực tế.
Một nguyên tắc quan trọng là giữ dữ liệu kiểm thử độc lập. Các bước xử lý có học thông số từ dữ liệu cần được thiết lập trên tập huấn luyện, sau đó áp dụng sang tập kiểm thử. Điều này giúp hạn chế tình trạng thông tin từ phần kiểm thử vô tình ảnh hưởng đến mô hình.

Kiểm chứng mô hình: Sai số thấp có đồng nghĩa với mô hình tốt?

Sau khi huấn luyện, mô hình được sử dụng để dự đoán giá của những căn nhà trong tập kiểm thử. Giá dự đoán được so sánh với giá giao dịch thực tế để tính các chỉ số sai số.
Chẳng hạn, sai số tuyệt đối trung bình cho biết mức chênh lệch tuyệt đối trung bình giữa dự đoán và thực tế. Căn bậc hai của sai số bình phương trung bình nhạy hơn với những dự đoán lệch lớn.
Sai số thấp hơn thường là tín hiệu tích cực khi so sánh trên cùng dữ liệu và cùng điều kiện. Tuy nhiên, chỉ một con số chưa đủ để kết luận mô hình đáng tin cậy.
Cần kiểm tra mô hình có hoạt động tốt ở các khu vực, loại nhà và khoảng giá khác nhau hay không. Một kết quả trung bình tốt có thể che giấu sai số lớn ở một nhóm tài sản.
Cũng cần xem xét hiện tượng overfitting, hay học quá khớp: mô hình thể hiện tốt trên dữ liệu huấn luyện nhưng hoạt động kém với dữ liệu mới.
Sai số có thể bằng không trong một tập dữ liệu hoặc bài toán đặc biệt. Điều đó không bảo đảm mô hình dự đoán chính xác trong mọi tình huống tương lai. Với dữ liệu thực tế nhiều biến động, kỳ vọng cần được đặt vào độ chính xác phù hợp với mục đích sử dụng.

Tự động hóa bắt đầu từ việc hỗ trợ quyết định

Một mô hình tốt chưa phải một hệ thống tự động hóa hoàn chỉnh. Kết quả dự đoán cần được kết nối với hành động cụ thể.
Trong quản lý hàng hóa, dự báo nhu cầu có thể giúp đề xuất lượng hàng cần nhập. Trong tài chính, điểm bất thường có thể giúp ưu tiên giao dịch cần kiểm tra. Trong định giá, kết quả ước tính có thể hỗ trợ chuyên viên xác định trường hợp cần xem xét sâu hơn.
Mức độ tự động hóa nên phụ thuộc vào hậu quả của quyết định. Những tình huống dữ liệu thiếu, kết quả bất thường hoặc tác động lớn có thể cần chuyển sang con người xử lý.
Cách tiếp cận này giúp tận dụng tốc độ của công nghệ, đồng thời giữ khả năng kiểm tra và can thiệp khi cần thiết.

Công nghệ cần được kiểm chứng liên tục

Machine Learning mở ra cơ hội đưa khả năng phân tích vào nhiều hoạt động, với tốc độ và quy mô khó đạt được bằng thao tác thủ công.
Nhưng ứng dụng hiệu quả đòi hỏi một chuỗi công việc: xác định đúng bài toán, chuẩn bị dữ liệu phù hợp, kiểm thử độc lập, thiết kế quy trình sử dụng và theo dõi sau triển khai.
Thị trường, hành vi và nhu cầu đều có thể thay đổi. Mô hình vì thế cần được đánh giá lại, thay vì được xem là một công cụ hoàn thiện vĩnh viễn.
Kỷ nguyên tự động hóa và cá nhân hóa ở quy mô lớn sẽ được xây dựng bằng cả công nghệ lẫn khả năng kiểm soát chất lượng. Giá trị của Machine Learning thể hiện rõ nhất khi dữ liệu được chuyển thành những quyết định hữu ích, có thể đo lường và phục vụ tốt hơn cho con người.

Nguồn: The LendFast Technology