LLM là gì: tìm hiểu mô hình ngôn ngữ lớn trong AI, từ Transformer đến GPT-4.5

LLM là gì, tìm hiểu mô hình ngôn ngữ lớn trong AI, là câu hỏi nhiều người đặt ra khi các trợ lý trò chuyện bỗng trả lời được đủ thứ, từ tóm tắt tài liệu đến viết đoạn quảng cáo. GPT-4.5 (Orion) của OpenAI ra mắt ngày 27/2/2025 với khoảng một nghìn tỷ tham số, giảm tỷ lệ ảo giác thông tin và phản hồi tự nhiên hơn, cho thấy công nghệ này đi nhanh đến mức nào.

LLM là mạng nơ-ron nhân tạo được nuôi bằng lượng dữ liệu văn bản rất lớn, học cách ngôn ngữ được sử dụng để hiểu yêu cầu và tạo ra văn bản phù hợp ngữ cảnh. Đây là công nghệ nền tảng đứng sau nhiều chatbot và trợ lý AI hiện nay: nó trả lời câu hỏi, tóm tắt tài liệu, dịch, soạn nội dung, hỗ trợ lập trình và phân tích văn bản.

Mô hình ngôn ngữ lớn vận hành qua ba cơ chế

Mọi LLM đều vận hành qua ba cơ chế nền tảng mà người dùng có thể nhận ra qua cách mô hình xử lý một câu hỏi bình thường nhất.

Cơ chế đầu tiên là Tokenization, tức bẻ văn bản thành các token, đơn vị nhỏ nhất mà mô hình đọc được. Token có thể là một từ, một phần từ hay dấu câu, tùy cách mô hình được dựng. Tiếp theo, Embedding ánh xạ mỗi token thành vector đa chiều, giúp mô hình nhận ra các từ có ngữ nghĩa gần nhau: trong không gian vector, chữ “Paris” liên hệ với “France” nhiều hơn với “banana”. Cơ chế cuối cùng là Attention Mechanism, nơi các lớp chú ý đánh giá phần nào của văn bản quan trọng nhất để dự đoán từ tiếp theo.

Mục tiêu toán học cốt lõi khi huấn luyện rất đơn giản: dự đoán token tiếp theo trong chuỗi văn bản dựa trên quy luật thống kê học được từ hàng tỷ văn bản. Để làm được điều đó, mô hình lần lượt xử lý sách, bài viết, tài liệu và mã nguồn, nắm quy luật và mối quan hệ giữa các từ, cụm từ, ngữ cảnh, rồi chọn từ khả dĩ nhất khi nhận yêu cầu.

Quy mô dữ liệu huấn luyện đủ khiến người mới giật mình: nguồn gồm Common Crawl với hơn 50 tỷ trang web và Wikipedia với khoảng 57 triệu trang. Đọc qua kho tư liệu cỡ đó, mô hình nắm được cả văn nói lẫn văn viết, từ cách người ta hỏi trên mạng đến cách bài bách khoa trình bày khái niệm.

Thử hình dung gõ câu “Trời hôm nay” vào một chatbot. Mô hình không “hiểu” theo nghĩa con người, mà tính xác suất của từng từ kế tiếp: “đẹp”, “mưa”, “nắng nóng”. Từ được chọn trở thành một phần của đầu vào, và quá trình lặp lại cho đến khi đủ độ dài phản hồi. Nhờ khối dữ liệu khổng lồ, chuỗi xác suất này tạo ra văn bản đọc lên tự nhiên và đúng ngữ cảnh.

Một chi tiết kỹ thuật đáng nhớ: hầu hết LLM hiện đại được xây dựng trên kiến trúc mạng nơ-ron Transformer. Kiến trúc này xử lý song song toàn bộ chuỗi thay vì tuần tự như mạng nơ-ron hồi quy, nhờ đó rút ngắn thời gian huấn luyện nhờ GPU.

Từ Transformer đến ChatGPT

Câu chuyện của mô hình ngôn ngữ lớn bắt đầu lâu hơn nhiều người nghĩ. Trước khi kiến trúc Transformer xuất hiện năm 2017, một số mô hình ngôn ngữ đã được coi là lớn so với giới hạn tính toán và dữ liệu thời đó.^{11 Mô hình ngôn ngữ lớn (Wikipedia)} Đầu những năm 1990, các mô hình thống kê của IBM đi tiên phong trong căn chỉnh từ cho dịch máy; năm 2001, một mô hình n-gram được làm mịn, huấn luyện trên 300 triệu từ, đạt perplexity tối ưu trên các bài kiểm tra chuẩn.

Bước ngoặt thật sự đến khi các nhà nghiên cứu Google giới thiệu kiến trúc Transformer tại hội nghị NeurIPS 2017 trong bài báo “Attention Is All You Need”.^{11 Mô hình ngôn ngữ lớn (Wikipedia)} Ngay sau đó, các LLM hiện đại đầu tiên ra đời. BERT được Google giới thiệu năm 2018 và nhanh chóng phổ biến; GPT-1, mô hình chỉ có bộ giải mã, cũng ra mắt năm 2018. GPT-2 năm 2019 thu hút chú ý rộng rãi vì OpenAI ban đầu cho rằng nó quá mạnh để phát hành công chúng.¹

GPT-3 ra mắt năm 2020 với 175 tỷ tham số, giúp hiểu và tạo văn bản gần giống con người; đến nay mô hình này chỉ khả dụng qua API, không có bản cài đặt cục bộ. Nhưng chính chatbot ChatGPT ra mắt năm 2022 mới nhận được sự đưa tin rộng rãi của truyền thông và sự chú ý của công chúng.^{11 Mô hình ngôn ngữ lớn (Wikipedia)}

Cùng năm đó, dòng mô hình mở cho nghiên cứu có thêm một nhánh: Meta công khai mô hình OPT-175B với 175 tỷ tham số theo giấy phép phi thương mại, phục vụ nghiên cứu AI, công bố ngày 5/5/2022. Một mô hình cỡ này được mở cho giới nghiên cứu báo trước xu hướng nguồn mở sẽ bùng nổ vài năm sau.

GPT-4 được OpenAI công bố ngày 15/3/2023, gọi là “cột mốc mới nhất trong nỗ lực mở rộng quy mô học sâu”, có hiệu suất cấp độ con người trên nhiều tiêu chuẩn chuyên môn và học thuật, giảm 82% xu hướng phản hồi nội dung không được phép so với GPT-3.5. Đầu 2025, hai mốc mới xuất hiện. GPT-4.5 (Orion) ra mắt ngày 27/2/2025 với khoảng một nghìn tỷ tham số, giảm tỷ lệ ảo giác và phản hồi tự nhiên hơn. Tháng 1/2025, DeepSeek phát hành DeepSeek R1, mô hình mã nguồn mở 671 tỷ tham số có hiệu suất tương đương OpenAI o1 nhưng chi phí mỗi token thấp hơn rất nhiều cho người dùng.^{11 Mô hình ngôn ngữ lớn (Wikipedia)}

Vì sao mô hình ngôn ngữ lớn quan trọng

Khi mở rộng khổng lồ về dữ liệu, tham số và thời gian huấn luyện, LLM bộc lộ các khả năng đột phá mà các mô hình nhỏ không có: học theo ngữ cảnh, suy luận theo chuỗi tư duy, và tổng quát hóa đa nhiệm. Học theo ngữ cảnh nghĩa là mô hình làm được việc mới chỉ nhờ vài ví dụ đưa ngay trong câu hỏi, không cần huấn luyện lại. Suy luận chuỗi tư duy cho phép mô hình tách bài toán khó thành các bước trung gian trước khi trả lời.

Khả năng này mở ra con đường ứng dụng thực tế cho cả doanh nghiệp nhỏ. Một cửa hàng nhỏ muốn chatbot trả lời khách theo phong cách riêng của mình chẳng hạn. Nhờ học chuyển giao từ LLM, thay vì huấn luyện từ đầu cần hàng trăm GB tới TB dữ liệu, họ chỉ cần vài nghìn mẫu hỏi đáp để tinh chỉnh; thời gian cũng từ hàng tuần, tháng giảm xuống vài giờ đến vài ngày.

Chính sự chênh lệch chi phí đó biến công nghệ từng chỉ nằm trong phòng thí nghiệm thành công cụ mà người viết nội dung, nhân viên hỗ trợ khách hàng hay lập trình viên đều dùng được hằng ngày.

Đọc thêm: Ba chiến lược cạnh tranh của Porter và cách chọn cho cửa hàng nhỏ

Các mô hình tiêu biểu và dễ nhầm

Một số LLM nổi bật hiện nay: GPT của OpenAI (dùng trong ChatGPT, Microsoft Copilot), PaLM và Gemini của Google, Grok của xAI, LLaMA của Meta, Claude của Anthropic, các mô hình nguồn mở của Mistral AI.^{11 Mô hình ngôn ngữ lớn (Wikipedia)} Riêng GPT-4.5 (Orion) mạnh về tạo ngôn ngữ tự nhiên và giảm ảo giác, trong khi BERT hiểu ngữ cảnh tốt nhưng không mạnh trong việc tạo văn bản như vậy.

Vài con số giúp hình dung sự khác nhau giữa các mô hình. Claude 2 nhận đầu vào tới 100.000 token mỗi lời nhắc, tức xử lý được hàng trăm trang tài liệu hoặc cả một cuốn sách trong một lần hỏi. Jurassic-1 của AI21 Labs có 178 tỷ tham số với kho vựng 250.000 token. Còn Command của Cohere hoạt động với hơn 100 ngôn ngữ.

Nhóm nguồn mở cũng đáng để quan tâm riêng. LLM nguồn mở được cấp phép cho bất kỳ ai sử dụng, chỉnh sửa và phân phối miễn phí, khác với mô hình độc quyền của OpenAI hay Google. Lợi ích của nhóm này gồm kiểm soát bảo mật dữ liệu khi triển khai trên hạ tầng riêng, tiết kiệm chi phí, tránh phụ thuộc nhà cung cấp, minh bạch mã và tùy chỉnh mô hình theo nhu cầu. Đây cũng là lý do DeepSeek R1 được nhắc ở phần dòng thời gian: một mô hình mã nguồn mở mạnh, chi phí token thấp, mở cửa cho những ai không muốn phụ thuộc nhà cung cấp lớn.

Muốn trả lời trọn vẹn câu hỏi mô hình ngôn ngữ lớn LLM là gì, cần phân biệt LLM với AI tạo sinh: AI là khái niệm rộng, còn Generative AI tập trung tạo nội dung mới như văn bản, hình ảnh, âm thanh, mã nguồn; LLM thuộc nhóm Generative AI. Một hiểu lầm khác là gọi mọi mô hình ngôn ngữ đều là LLM. Thuật ngữ “Large language model” chỉ dùng cho các mô hình học sâu với số lượng tham số lớn, có thể từ hàng tỷ đến hàng nghìn tỷ, khác với các mô hình n-gram đơn giản.

Ở Việt Nam và ứng dụng đời sống

Người Việt đã đi xa hơn vai trò người dùng: tự xây dựng mô hình của mình. Zalo AI phát triển mô hình ngôn ngữ lớn riêng trên nhiều kích cỡ từ 1B đến 30B tham số. Chatbot Kiki trình diễn tại Zalo AI Summit 2023 được huấn luyện trên mô hình 7B tham số, xếp thứ ba trong thử thách Kahoot chỉ sau GPT-4 và quản trị viên Tinhte.vn. Trên bộ tiêu chuẩn VMLU đánh giá năng lực tiếng Việt, do Zalo AI và Viện JAIST hợp tác phát triển, mô hình của Zalo xếp thứ hai, chỉ sau GPT-4 trong hầu hết mục đánh giá.

Ngoài mảng tiêu dùng, doanh nghiệp Việt cũng tham gia ở ngành chuyên sâu: FPT Software tham gia phát triển mô hình ngôn ngữ lớn đầu tiên cho ngành bán dẫn. Một mô hình được dựng riêng cho ngành kỹ thuật cao cho thấy LLM đã đi vào từng lĩnh vực đòi hỏi thuật ngữ chính xác, chứ không dừng ở trò chuyện chung chung.

Trong đời sống, ứng dụng phổ biến nhất của LLM là trả lời câu hỏi và trò chuyện tự động: ChatGPT, Google Bard đều dùng LLM để hiểu câu hỏi và đưa câu trả lời. LLM còn dịch tự động với độ chính xác cao hơn phương pháp truyền thống, giúp xóa rào cản ngôn ngữ, và tạo nội dung tự động như đoạn văn, bài viết, thơ, kịch bản, quảng cáo, tiết kiệm thời gian cho người sáng tạo. Một sinh viên có thể dùng chatbot miễn phí tóm tắt tài liệu dài vào giờ thấp điểm, khi hệ thống ít quá tải.

Giới hạn cần biết khi dùng

Vì là cỗ máy xác suất dự đoán từ, LLM không có khái niệm nội tại về “sự thật”. Khi thiếu thông tin, nó có xu hướng bịa đặt, gọi là ảo giác, rồi trình bày thông tin sai với giọng điệu tự tin, dễ khiến người dùng bị đánh lừa. Hỏi chatbot về một sự kiện mới nhất, câu trả lời có thể sai nhưng nghe rất chắc chắn.

Hai giới hạn ít người biết. LLM về bản chất phi trạng thái, không có trí nhớ: sau khi sinh phản hồi sẽ “quên” ngay, nên duy trì hội thoại đòi hỏi gửi lại toàn bộ lịch sử mỗi lần truy vấn. Tri thức của mô hình cũng bị đóng băng tại thời điểm hoàn tất huấn luyện, không biết sự kiện mới sau đó. Ngoài ra, tokenization có thể xé lẻ thuật ngữ chuyên ngành trong luật, y tế khiến mô hình hiểu sai, và việc dùng LLM cần cẩn thận để tránh các vấn đề về bảo mật và đạo đức.

Một dạng mới đang xuất hiện trên thị trường: các mô hình suy luận RLM như OpenAI o1, o3, DeepSeek R1 có chuỗi tư duy riêng tư, suy luận nội bộ trước khi trả lời, khác với LLM thuần túy chỉ dự đoán từ tiếp theo. Người dùng nên nhận ra sự khác biệt này để chọn đúng công cụ: bài toán cần suy luận nhiều bước hợp với nhóm RLM, còn hỏi đáp và soạn văn thông thường thì LLM thường đủ dùng.

Gợi ý bắt đầu cho người mới

Bản ChatGPT miễn phí vẫn đáp ứng nhu cầu cơ bản như hỏi đáp nhanh, tra cứu thông tin, giải thích khái niệm đơn giản; nhưng vào giờ cao điểm phản hồi chậm, dễ gián đoạn và xử lý yêu cầu dài, phức tạp còn hạn chế. Ai cần ổn định hơn có thể cân nhắc ChatGPT Plus với giá niêm yết 20 USD mỗi tháng, tính phí theo từng tháng, không có gói trả trước theo năm, và có thể dừng dịch vụ bất cứ lúc nào.

Riêng với người dùng Việt Nam, nhiều người gặp rào cản khi thanh toán trực tiếp bằng USD cho ChatGPT Plus nên thường dùng dịch vụ hỗ trợ thanh toán, khiến chi phí thực tế cao hơn giá niêm yết quốc tế. Khoản chênh này nên được tính vào quyết định, nhất là khi bản miễn phí đã đủ cho nhu cầu hỏi đáp thông thường.

Kỹ năng quan trọng nhất khi bắt đầu là đặt câu hỏi. Có hai cách chính dùng LLM đã huấn luyện cho nhiệm vụ mới: học trong ngữ cảnh, tức cung cấp ví dụ ngay trong lời nhắc không cần huấn luyện lại, và finetuning, tức tinh chỉnh lại tham số. Đưa vài ví dụ mẫu vào câu hỏi là cách rẻ và nhanh nhất để nhận phản hồi đúng ý. Còn thói quen kiểm chứng thông tin, đặc biệt với con số và ngày tháng, nên đi cùng mọi câu trả lời của mô hình.

Bài viết thuộc Góc đọc Xuân của Chúc Mừng Năm Mới.

Hỏi đáp nhanh

Mô hình ngôn ngữ lớn được đào tạo như thế nào?

LLM hoạt động qua ba giai đoạn chính: thu thập dữ liệu, xây dựng mô hình, tạo phản hồi. Ở giai đoạn đầu, mô hình nuốt lượng lớn sách, bài viết, tài liệu và mã nguồn để nắm quy luật giữa các từ, cụm từ và ngữ cảnh. Nguồn dữ liệu tiêu biểu gồm Common Crawl với hơn 50 tỷ trang web và Wikipedia khoảng 57 triệu trang. Sau đó, mô hình được tinh chỉnh để phản hồi đúng ý người dùng.

Tại sao các mô hình ngôn ngữ lớn đôi khi đưa ra thông tin sai?

LLM chọn từ theo xác suất nên không có khái niệm “sự thật” sẵn trong máy. Khi thiếu thông tin, nó có xu hướng bịa đặt, gọi là ảo giác, rồi trình bày thông tin sai với giọng rất tự tin và uy quyền. Cách phòng vệ đơn giản nhất là kiểm chứng lại con số, tên riêng và ngày tháng trong câu trả lời, nhất là khi dùng cho việc quan trọng.

Nguồn tham khảo

• Mô hình ngôn ngữ lớn (Wikipedia) ↩^a ↩^b ↩^c ↩^d ↩^e ↩^f
• Trí tuệ nhân tạo tạo sinh (Wikipedia)
• OpenAI công bố GPT-4 giúp nâng tầm ChatGPT (thanhnien.vn)