韋豹曾經(jīng)多次接受公府的辟命，但都棄官而去。之后司徒劉愷再次征辟他，對(duì)他說(shuō)：“你之前為官時(shí)十分隨意，到了現(xiàn)在也還沒(méi)獲得很高的爵位。如今年歲將盡，朝廷要選拔侍御史，我有推薦你的意向，你愿意留下為官嗎？”韋豹回答說(shuō)：“我現(xiàn)在如同年老的犬馬，能力已經(jīng)逐漸衰退，只是因?yàn)樾闹醒瞿侥�的大恩，所以還沒(méi)有舍棄自己。而且我有眼睛昏花的舊疾，不能支持我一直待著，這次御史的選拔，實(shí)在不是我能勝任的�！庇谑枪庵�腳就站起來(lái)。劉愷追趕韋豹，韋豹徑直離開沒(méi)有回頭。

后來(lái)漢安帝西巡之時(shí)，征拜韋豹為議郎。

韋豹有位朋友叫羅陵，韋豹任職武陽(yáng)令時(shí)，羅陵在犍為縣丞的職位上病故，靈柩丟失不知所在。韋豹當(dāng)即棄官而去，親自將羅陵的靈柩回鄉(xiāng)送喪。此后公府征辟韋豹時(shí)，韋豹才從羅陵的故鄉(xiāng)離開。司徒劉愷聽說(shuō)此事，對(duì)韋豹甚為敬重。

韋豹的兄長(zhǎng)韋順曾任平輿令，縣民為其立祠。弟弟韋義曾任廣都長(zhǎng)，因?yàn)轫f順病逝而去官，縣民也為其立生祠。三人同為清河太守韋文高之子，時(shí)人并稱其為“韋氏三君”。

玄祖父：韋賢，西漢宣帝時(shí)丞相。

高祖父：韋玄成，西漢元帝時(shí)丞相。

父親：韋文高，清河太守。

族父：韋彪，字孟達(dá)，官至鴻臚卿。

兄長(zhǎng)：韋順，字叔文，歷任樂(lè)平相、平輿令。

弟弟：韋義，字季節(jié)，歷任廣都長(zhǎng)、甘陵、陳令。

兒子：韋著，字休明，東海相。