韋豹曾經多次接受公府的辟命，但都棄官而去。之后司徒劉愷再次征辟他，對他說：“你之前為官時十分隨意，到了現(xiàn)在也還沒獲得很高的爵位。如今年歲將盡，朝廷要選拔侍御史，我有推薦你的意向，你愿意留下為官嗎？”韋豹回答說：“我現(xiàn)在如同年老的犬馬，能力已經逐漸衰退，只是因為心中仰慕您的大恩，所以還沒有舍棄自己。而且我有眼睛昏花的舊疾，不能支持我一直待著，這次御史的選拔，實在不是我能勝任的�！庇谑枪庵�腳就站起來。劉愷追趕韋豹，韋豹徑直離開沒有回頭。

后來漢安帝西巡之時，征拜韋豹為議郎。

韋豹有位朋友叫羅陵，韋豹任職武陽令時，羅陵在犍為縣丞的職位上病故，靈柩丟失不知所在。韋豹當即棄官而去，親自將羅陵的靈柩回鄉(xiāng)送喪。此后公府征辟韋豹時，韋豹才從羅陵的故鄉(xiāng)離開。司徒劉愷聽說此事，對韋豹甚為敬重。

韋豹的兄長韋順曾任平輿令，縣民為其立祠。弟弟韋義曾任廣都長，因為韋順病逝而去官，縣民也為其立生祠。三人同為清河太守韋文高之子，時人并稱其為“韋氏三君”。

玄祖父：韋賢，西漢宣帝時丞相。

高祖父：韋玄成，西漢元帝時丞相。

父親：韋文高，清河太守。

族父：韋彪，字孟達，官至鴻臚卿。

兄長：韋順，字叔文，歷任樂平相、平輿令。

弟弟：韋義，字季節(jié)，歷任廣都長、甘陵、陳令。

兒子：韋著，字休明，東海相。