Một quy tắc thay thế của ngữ pháp Chomsky tổng quát (loại 0) có dạng: α → β. Trong đó, α và β là các dãy ký hiệu của ngữ pháp; ngoài ra α phải chứa một ký hiệu không kết thúc của ngữ pháp và vì vậy không được rỗng. Quy tắc thay thế này được đọc là: thay α bằng β. Đối với các ngữ pháp Chomsky thuộc loại cao hơn, các hạn chế đối với hình thức của những quy tắc thay thế được phép sẽ ngày càng chặt chẽ hơn. Chẳng hạn, trong ngữ pháp phi ngữ cảnh (loại 2), vế trái α của mỗi quy tắc thay thế phải là một ký hiệu không kết thúc đơn lẻ.

Trong ngữ pháp tạo sinh, các câu được tạo ra bằng một loạt quy tắc thay thế.