「客家」之稱出於明末清初的一次大規模族群在廣東土客械鬥，是由當時在廣東西部（粵西）的江門地區（時稱四邑）以「四邑人」自居的四邑民系等冠予客家的，是一個他稱。「客家」這個他稱名詞後來由於羅香林的客家學說而廣為人所知，逐漸成為族群名稱，不少人開始欣然受之，自稱客家人。

但部分人並不喜歡這個名詞，因爲在廣東的惠州、河源、興梅等地有很多世代居住這片土地的便是被稱之先客的客家先民，這些客家先民並不比廣東其他兩個民系晚來於廣東。在台灣的部分，清朝和日治時代以廣東祖先和福建祖先來區分，福建客家人被列入「閩籍」。

所謂客家人，如字面上所示的意思，就是「做客的人們」，也就是「不是土著，是從外地來的人」。據說他們本來就不是中國南方的人，而是為了逃避歷代中原戰亂，集體南下的北方民族。經過多次遷徙，最後才遷到嶺南「作客」的。

在五胡亂華中原人民輾轉南遷的時候，已有「給客制度」。南齊書州郡志云：『南兗州，鎮廣陵。時百姓遭難，流移此境，流民多庇大姓以為客。元帝大興四年，詔以流民失籍，使條民上有司，為給客制度』。

可知客家的「客」字，是沿襲晉元帝詔書所定的。其後到了唐宋，政府簿籍，乃有「客戶」的專稱。而客家一詞，則為民間的通稱，宋朝製作戶籍時，當時將自古以來即居住在該地的土著稱為「主」，以後從外地遷來的即稱作「客」﹔客家一詞於此誕生。

客家名稱的由來，雖然出自晉元帝「給客制度」的詔書。但是這裡所說的「客」，應該是廣義的「客」而不是單純地指今日客家人的「客」。這種廣義的「客」，一部份演化為「越海系」，一部份演化為「湘贛系」。各系演化後，各有各的專有名稱。宋以前，越海、閩海、湘贛、南海各系，已經形成，初雖為「客」，然長久居住後，已不自知其為客，在此情形下，便把宋以後由其他地區遷來的漢人，稱之為「客」了。因此，客家的由來，是在各民系形成之後。

五胡亂華以後，直到唐末黃巢之亂，這一時期，客家民系尚未形成；客家名稱尚未確立。從黃巢之亂後，客家先民避難遷徙到閩粵贛三角地區，經過五代紛爭，及宋太祖的統一中國，客家民系才由其他民系的演化而自成一系；所謂「客家」的名稱，就在這個時候確立。