Ngay cả với "điểm cao nhưng khả năng thấp", Grok2 vẫn có lượng lớn dữ liệu của bên thứ nhất chất lượng cao từ nền tảng X (Twitter) để hỗ trợ việc sử dụng. Tuy nhiên, trong quá trình đào tạo Grok3, xAI tự nhiên gặp phải "trần" mà OpenAI hiện đang phải đối mặt—việc thiếu dữ liệu đào tạo cao cấp nhanh chóng làm lộ ra tiện ích cận biên của các khả năng của mô hình.

Các nhà phát triển Grok3 và Musk có lẽ là những người đầu tiên hiểu và xác định sâu sắc những sự thật này, đó là lý do tại sao Musk liên tục đề cập trên phương tiện truyền thông xã hội rằng phiên bản mà người dùng đang trải nghiệm hiện nay "vẫn chỉ là bản beta" và "phiên bản đầy đủ sẽ được phát hành trong những tháng tới". Musk đã đảm nhận vai trò là người quản lý sản phẩm của Grok3, đề xuất người dùng cung cấp phản hồi về nhiều vấn đề khác nhau gặp phải trong phần bình luận. Ông có thể là người quản lý sản phẩm được theo dõi nhiều nhất trên Trái đất.

Tuy nhiên, trong vòng một ngày, hiệu suất của Grok3 chắc chắn đã gióng lên hồi chuông cảnh báo cho những ai hy vọng dựa vào "sức mạnh tính toán khổng lồ" để đào tạo các mô hình lớn mạnh hơn: dựa trên thông tin Microsoft công khai, GPT-4 của OpenAI có kích thước tham số là 1,8 nghìn tỷ tham số, gấp hơn mười lần so với GPT-3. Có tin đồn cho rằng kích thước tham số của GPT-4.5 thậm chí có thể lớn hơn.

Khi kích thước tham số mô hình tăng vọt, chi phí đào tạo cũng tăng vọt. Với sự hiện diện của Grok3, các đối thủ cạnh tranh như GPT-4.5 và những đối thủ khác muốn tiếp tục "đốt tiền" để đạt được hiệu suất mô hình tốt hơn thông qua kích thước tham số phải xem xét đến giới hạn hiện đang rõ ràng và cân nhắc cách vượt qua nó. Vào thời điểm này, Ilya Sutskever, cựu nhà khoa học trưởng tại OpenAI, đã tuyên bố vào tháng 12 năm ngoái rằng "Quá trình đào tạo trước mà chúng ta quen thuộc sẽ kết thúc", điều này đã tái diễn trong các cuộc thảo luận, thúc đẩy các nỗ lực tìm ra con đường thực sự để đào tạo các mô hình lớn.