在日文中，やくざ一词就反应了黑道成员卑下的地位。这个词源自日本的牌戏“おいちょかぶ(oicho-kabu)”。“おいちょかぶ”类似于21点，游戏的输赢由每手牌点数之和的尾数大小决定，最小点数为0。假如摸到8、9、3三张牌(三张牌之和为20)，那么这一手牌的点数就是0，持牌者输。
日语中8、9、3的发音分别是“や”、“く”、“ざ”，是以这三个发音组合起来就成了“やくざ”，也就是“无用的、没有价值”的意思。
“やくざ”原指黑帮分子，然则现在这个词也泛指日本的有组.织犯罪。暴力団(boryokudan)与やくざ同义，它是一个贬义词，指那些没有传统荣誉感的暴徒。日本警方在提到黑帮分子时，常用“暴力団”一词。
日本黑帮直接起源于18世纪一些准合法的商人，他们在大城市的街道上开设赌场或兜售商品，被人们称为“博徒(bakuto)”和“的屋(tekiya)”，也就是指巡回的赌档和商贩。后来这些人逐渐结成团伙，并成长成等级清晰、规矩森严的黑道家族或帮派。至今，日本的黑社会团伙中仍有被称为“博徒”和“的屋”的两派。