With the development of technology, computers are more capable of using language. Large language models ( LLMs) , of which the most famous is ChatGPT, produce what looks like human writing. However, a debate has been aroused over these items: what the machines are actually doing internally and what the operation of the brain is when humans speak.

According to Professor Noam Chomsky, a famous linguist( 语言学家) , human language is different from all other kinds of communication. All human languages are more similar to each other than they are to other types of communication, such as whale song or computer code. In a recent New York Times op-ed, Chomsky and two co-authors said " we know" that computers do not think or use language as humans do. LLMs, in fact, just predict the next word in a string of words.

It is hard to understand what LLMs "think". Details of the programming and training data of commercial ones like ChatGPT are proprietary. And not even the programmers know exactly what is going on inside.

Linguists have, however, found clever ways to test LLMs' underlying knowledge. They found that LLMs can handle some new words and grasp parts of speech. For

example, tell ChatGPT that "dax" is a verb meaning to eat a slice of pizza by folding it, and the system can use it easily: " After a long day at work, I like to relax and dax on a slice of pizza while watching my favourite TV show. "

GPT-3 ( the LLM underlying ChatGPT until the recent release of GPT-4 ) is estimated to be trained on about 1, 000 times the data a human ten-year-old is exposed to. That leaves open the possibility that children have an inborn tendency to grammar, making them far more proficient than any LLM. In a forthcoming paper in Linguistic Inquiry, researchers claim to have trained an LLM on no more text than a human child is exposed to, finding that it can use even rare bits of grammar. But other researchers have tried to train an LLM on a database of only child-directed language. Here LLMs behaved worse. Perhaps the brain really is built for language, as Professor Chomsky says.