电白的由来有两种说法：
1. 电白初建时，在其后山有一座宝山，宝山的悬崖峭壁上，有一深不可测的岩洞，名字相当响亮——龙湫岩。投石至岩中时，顿时雷电交加，白光闪烁，因而，定名此郡为电白郡。
2. 粤西南地区一年四季都有雷电，尤以夏季为多，常会伤人毁物，故有电白、雷州之地名。
电白历史悠久，早在新石器时代，电白县境已有人类活动。据历代县志，电白唐虞时代属南交地，三代（夏、商、周）时是杨州之南裔。
此外，电白地区有一种野生常绿乔木，用刀削去其树皮之后，树心皆一身“白”，白木经年长月久就会结出一种能发出香气的树脂，故称白木香。因有些“白木香”丢进水里会下沉，有些则半沉，故人们称之为“沉香”。