Cách mạng Chatbot GPT: từ ứng dụng cá nhân đến chiến lược doanh nghiệp

OpenAI khẳng định vị trí dẫn đầu của mình trong cuộc đua AI. Sản phẩm Generative AI (trí tuệ nhân tạo tạo sinh) của họ đang được hơn 92% công ty trong danh sách Fortune 500 sử dụng, tăng từ 80% trong tháng 8 và trải rộng trên các ngành như dịch vụ tài chính, ứng dụng pháp lý và giáo dục.

Trong hội nghị Phát triển đầu tiên (OpenAI Dev Day), OpenAI đã công bố mô hình trí tuệ nhân tạo GPT-4 Turbo mới có chiều dài ngữ cảnh 128K token, phá kỷ lục trước đây do Anthropic nắm giữ với Claude 2 100k và cho phép tóm tắt nội dung của cả một cuốn sách 300 trang trong một lần hỏi (prompt). GPT-4 turbo cũng hỗ trợ hình ảnh và có thể chuyển văn bản thành giọng nói dựa trên công nghệ của DALL-E 3.

Nhưng một trong những tính năng nổi bật mà OpenAI giới thiệu trong hội nghị cho phép người dùng tạo các phiên bản tùy chỉnh của ChatGPT (Custom GPTs). Tham vọng của OpenAI xây dựng một Appstore các chatbot mà mọi người dễ dàng tạo ra và có thể thương mại. Chỉ trong vài ngày, hàng ngàn chatbot tùy biến đã được cộng đồng hăm hở tạo ra. Thực hiện một Chatbot cá nhân chỉ mất khoảng 5,10 phút. Rất dễ dàng và tiện lợi.

Nhưng từ đó, có những vấn đề cần lưu ý trong triển khai tính năng này ở doanh nghiệp.

Thứ nhất, công nghệ tạo ra một Custom GPTs không mới. Đó là một kỹ thuật có tên Retrieval Augmented Generation (xem hình).

Trong đó, chúng ta sẽ cung cấp cho LLM (Mô hình ngôn ngữ lớn - GPT) một tri thức của mình để từ đó LLM tạo ra câu trả lời. Kho tri thức chuyên dụng có thể ở mức độ cá nhân hay ở mức độ doanh nghiệp. Tri thức là sản phẩm quý giá của doanh nghiệp, là lợi thế cạnh tranh trong thời đại tri thức hiện nay.

Như vậy, Custom GPT sẽ cung cấp câu trả lời mang tính cá nhân hay đặc thù của doanh nghiệp. Điều này làm nên sự khác biệt với mô hình ChatGPT trước đây, chỉ mang tính tổng quan và không có sự chuyên biệt.

Để thiết lập PoC (Proof of Concept) cho sản phẩm RAG không quá khó. OpenAI đã làm công việc này đơn giản hơn nhiều bằng việc chỉ cần tải lên (upload) tri thức của mình, mọi việc khác được OpenAI lo liệu. Tuy nhiên, theo đánh giá của các chuyên gia, khi cho phép người dùng tải lên các tập tin của mình, OpenAI mới chỉ cung cấp “Naïve RAG”, một dạng RAG khá đơn giản.

Vài điều cần quan tâm khi thiết lập một hệ thống RAG:

- Chunking size thế nào? (256, 300, 512, 1024,…), Fixe-size chunking hay context aware chunking. Với RAG của OpenAI đang chọn ở dạng đơn giản nhất với dang chia văn bản theo những đoạn nhỏ (chunk) với kích thước cố định (fix-size). Chọn Chunk size phù hợp cho dự án RAQ cũng là một kỹ thuật phức tạp, cần thử nghiệm. Chunk Size nhỏ thì đạt được độ tương tự với câu hỏi (similarity search) nhưng lại có thể mất đi bối cảnh (context) đưa vào cho LLM suy luận. Chunk size lớn lại làm loãng ý nghĩa khi tìm kiếm theo ngữ nghĩa (semantic search. Một kỹ thuật khác là dùng Variable-sized chunks.

- Context của retrieveal giống context của LLM? (khái niệm Parent document retrievers)

- Embedding nào được sử dụng text-embedding-ada-002 của OpenAI hay open source embedding như bge-large-en-v1.5?

Đánh giá về các mô hình embedding, Mô hình Cohere-Embed phiên bản 3.0 của Cohere đang dẫn đầu, mô hình open source như bge còn được đánh giá cao hơn text-embedding-ada-002 đang ở vị trí 18 trong bảng trong bảng xếp hạng Massive Text Embedding Benchmark (MTEB) của Hugging Face. Chọn Vector database nào? (Faiss, Chroma, Pinconce, Qdrant, Weaviate), loại chuyên hay loại tích hợp database thông thường (PostgreSQL, MongoDB, Redis,..). Kỹ thuật như Re-ranking, Hybrid Search, Extracting Metadata, Text Completion Pydantic, Guardrail,…

Jerry Liu, CEO của LlamaIndex thực hiện đánh giá về mức độ chính xác và tìm kiếm theo ngữ cảnh, Retrieval API của OpenAI tệ hơn các pipeline cơ bản (Base query engine), chưa dùng các kỹ thuật nâng cao như trình bày ở trên. (xem hình)

Thứ hai, vấn đề bảo mật: Sau khi tính năng ra mắt được một ngày, công đồng mạng đã phát hiện rằng tính năng Retrieval của GPTs rất dễ bị tấn công (jail break) để lấy thông tin trong cơ sở dữ liệu tải lên. (Xem hình). Người ta thậm chí còn tải được cả tập tin nữa. OpenAI đã vá lại lỗi này ngay sau đó.

GPTs tiết lộ thông tin tập tin và cho phép tải cả tập tin về (nguồn X-Twitter)

Tác giả cũng được tặng một con bot làm riêng cho mình. Đáng tiếc là với vài kỹ thuật đơn giản, các file cũng bị tiết lộ (xem hình)

Thứ ba, dịch vụ ChatGPT của OpenAI ngừng hoạt động từ 9 giờ sáng theo giờ ET hay 6 giờ sáng theo giờ Thái Bình Dương ngay sau khai mạc Hội Nghị Nhà phát triển và không thể truy cập được trong hơn 90 phút. Do nhu cầu người dùng tăng cao, dịch vụ của OpenAI rất khó truy cập và bị giới hạn tốc độ (rate-limited).

Một điều chú ý khác là OpenAI sẽ tính phí lưu trữ tập tin với giá $0.2/GB/day. Giá này cũng khá cao so với các dịch vụ lưu trữ khác từ Amazon S3, OneDrive của Microsoft hay Cloud Storage của Google. Chưa kể giới hạn 20 files tối đa được tải lên GPTs cũng là một rào cản cho triển khai dịch vụ này ở doanh nghiệp với hàng ngàn tài liệu và dung lượng lớn.

Tính năng GPTs tùy biến có thể được xây dựng nhanh chóng và dễ dàng. Một người không cần biết lập trình cũng có thể tạo một chat bot trong vòng 5 phút. Nhưng để bán được sản phẩm như nhiều người kỳ vọng, cần cung cấp tính năng nổi bật, khác biệt hơn của người khác và khác cả những sản phẩm do OpenAI đã tạo ra trên Appstore của họ?

Tất nhiên, đây mới chỉ là nhận định ban đầu dựa trên các quan sát hiện nay. OpenAI sẽ ngày càng hoàn thiện GPTs. Và như thế các hãng khởi nghiệp xây dựng nền tảng chatbot của mình trên OpenAI Assistant API sẽ ngày càng khó khăn trong việc cung cấp sản phẩm của mình.

Sự ra đời của Custom GPTs từ OpenAI mở ra một kỷ nguyên mới trong việc cá nhân hóa trí tuệ nhân tạo, nơi mỗi người có thể tạo ra chatbot của riêng mình một cách nhanh chóng và dễ dàng. Điều này không chỉ mang lại lợi ích cho người dùng cá nhân trong việc thể hiện tính cách và nhu cầu đặc thù của họ mà còn khuyến khích sự sáng tạo và đổi mới.

Tuy nhiên, khi xét đến môi trường doanh nghiệp, việc triển khai Custom GPTs đòi hỏi phải được tiếp cận một cách thận trọng hơn. Các tổ chức cần cân nhắc sâu sắc về bảo mật dữ liệu, quản lý tri thức chuyên ngành, và đánh giá kỹ lưỡng các vấn đề kỹ thuật cùng chi phí liên quan để đảm bảo rằng những lợi thế cạnh tranh mà AI mang lại không trở thành rủi ro tiềm ẩn.

Do đó, trong khi các cá nhân được khuyến khích tận dụng công nghệ này để mở rộng khả năng của mình, các doanh nghiệp nên tiếp cận Custom GPTs với một chiến lược đầy đủ và một kế hoạch triển khai toàn diện để tối đa hóa giá trị và an toàn trong quá trình sử dụng.