玉井于1866年生于周防國(guó)光井村（今山口縣光市）的一個(gè)釀造“銘酒玉川”這種酒的釀酒店家庭中。他在就讀于山口黑城塾，廣島縣中學(xué)校（今廣島縣立廣島國(guó)泰寺高等學(xué)校）后，前往東京的獨(dú)逸學(xué)協(xié)會(huì)學(xué)校（今獨(dú)協(xié)中學(xué)校暨高等學(xué)校）就讀。同時(shí)，他住進(jìn)了從小時(shí)候就把他當(dāng)作哥哥一般仰慕的遠(yuǎn)房親戚原田貞介的家中，在那里學(xué)會(huì)了一些德語的基礎(chǔ)。

　　1882年（明治15年），16歲的玉井進(jìn)入了東京帝國(guó)大學(xué)（今東京大學(xué)）醫(yī)學(xué)院預(yù)科就讀，是當(dāng)時(shí)最年輕的學(xué)生。在那里，可能是因?yàn)樘焐�的氣質(zhì)的緣故，在同學(xué)間人緣不錯(cuò)，在他住的地方常常舉行聚會(huì)，包括了南方熊楠等人都曾進(jìn)出他所住的地方。但是，由于過著這種生活，使玉井的交際費(fèi)不斷增加，最后付不出預(yù)科的學(xué)費(fèi)，在一年后被摘除學(xué)籍。然而玉井仍然繼續(xù)到預(yù)科去上課，就連教授也默許。這或許是因?yàn)橛窬�的德語程度優(yōu)秀，加上當(dāng)時(shí)這樣“潛入”的學(xué)生也不在少數(shù)的緣故。

　　1884年（明治17年），玉井與比自己小四歲的兒時(shí)玩伴原田悅結(jié)婚。1886年（明治19年），受到原田貞介自東京帝國(guó)大學(xué)中輟前往德國(guó)留學(xué)的刺激，玉井也開始認(rèn)真地考慮前往德國(guó)一事。為了要籌措留學(xué)的資金，他和西野文太郎等人協(xié)力，開設(shè)了一間以學(xué)習(xí)德語為中心的私塾“東京速成學(xué)館”。由于當(dāng)時(shí)社會(huì)相當(dāng)流行學(xué)習(xí)德語，加上玉井的德語能力相當(dāng)優(yōu)異，收到了很多學(xué)生，得到了一定的成功。但在此同時(shí)，玉井對(duì)是否該繼續(xù)走醫(yī)學(xué)之路感到了疑惑，遂改進(jìn)入第一高等學(xué)校德國(guó)法律科就讀。

　　1888年（明治21年）4月，在預(yù)科指導(dǎo)教授及畢業(yè)生的推薦下，玉井前往札幌農(nóng)學(xué)校（今北海道大學(xué)）擔(dān)任德語教授一職，關(guān)閉了東京速成學(xué)館，前往札幌。在札幌農(nóng)學(xué)校，他與同事新渡戶稻造、松村松年、高岡熊雄（之后擔(dān)任北海道大學(xué)校長(zhǎng)）、大島金太郎（之后擔(dān)任日本農(nóng)藝化學(xué)會(huì)會(huì)長(zhǎng)）等人交好，但由于玉井夢(mèng)想著“晴耕雨讀”的生活，而于1891年（明治24年）3月辭職，在札幌近郊開始耕作，卻以失敗收?qǐng)�。以此為契機(jī)，玉井終于下定前往德國(guó)的決心。1892年（明治25年）11月17日，玉井將妻子托付給原田本家，一個(gè)人離開了日本。

　　玉井由下關(guān)離開日本，經(jīng)由釜山，前往俄羅斯的海參崴。他之所以沒有直接前往德國(guó)，一方面是由于他是以“學(xué)習(xí)日俄貿(mào)易相關(guān)事務(wù)”作為出國(guó)的理由，另一方面是因?yàn)樗�并沒有直接前往德國(guó)所需的費(fèi)用，所以想要一邊在途中賺取旅費(fèi)，一邊穿越西伯利亞。有些文獻(xiàn)將玉井前往俄羅斯的這次旅行稱為“偷偷入境”，但玉井的護(hù)照現(xiàn)在依然被保存著，因此此說并不正確。在海參崴，由于意外遭到冤獄以及工作賺取旅費(fèi)，他滯留了大約六個(gè)月的期間。

　　1893年（明治26年）5月31日，由于已經(jīng)賺到足夠的旅費(fèi)，玉井離開海參崴，由伯力乘坐蒸氣船順黑龍江逆流而上，前往海蘭泡。在海蘭泡為了賺取旅費(fèi)而停留工作大約三個(gè)星期后，他再度出發(fā)，順著斯雷坦斯克（Сре?тенск）、赤塔、烏蘭烏德、伊爾庫茨克往西前進(jìn)。在這段旅程中的陸路部分，他大部分都與運(yùn)送茶葉的商旅同行（當(dāng)時(shí)俄羅斯是世界第二大茶葉輸入國(guó)，大部分的茶葉都從中國(guó)（清朝）經(jīng)由西伯利亞輸入）。

　　在終于抵達(dá)伊爾庫茨克后，玉井卻陷入了危機(jī)。在海蘭泡賺到的旅行資金已經(jīng)幾乎用鑿，且由于不習(xí)慣當(dāng)?shù)仫嬍扯�罹患下痢，加上因長(zhǎng)時(shí)間搭乘馬車行走路況不佳的道路而得到嚴(yán)重的痔瘡，痛到甚至無法睡覺。但是在伊爾庫茨克，玉井巧遇以前在東京速成學(xué)館的學(xué)生椎名保之助，椎名是為了就讀神學(xué)院而單獨(dú)來到俄羅斯。在椎名的協(xié)助之下，停留大約三個(gè)月后，玉井再度出發(fā)。

　　自伊爾庫茨克到托木斯克的旅程，玉井再度與茶葉商旅同行，但由于當(dāng)時(shí)氣候嚴(yán)寒，旅行條件十分嚴(yán)苛。氣溫時(shí)常在零下40度左右，穿著的毛皮大衣也結(jié)了冰變得像板子一般。商旅為了要盡快將茶葉運(yùn)到目的地，而把玉井拋下自己離去的事情也發(fā)生過好幾次，玉井被迫在嚴(yán)寒的天氣中追趕隊(duì)伍。此外，也有遇到盜賊的紀(jì)錄。經(jīng)過了大約三十天，玉井抵達(dá)了托木斯克，由于得到了托木斯克大學(xué)及當(dāng)?shù)貓?bào)社《西伯利亞通知》的人的幫助，在此之后的行程可以搭乘火車，進(jìn)行得十分順暢。玉井于1894年（明治27年）2月26日、抵達(dá)了當(dāng)初的目的地柏林，從他離開日本算起已經(jīng)經(jīng)過了467天。

　　到達(dá)德國(guó)的玉井，在漢堡及柏林的舶來品店工作，在此同時(shí)也注意到德國(guó)人對(duì)亞洲的知識(shí)及想法有著許多誤解。于是，以甲午戰(zhàn)爭(zhēng)的爆發(fā)為契機(jī)，他開始投稿有關(guān)日本及中國(guó)等亞洲國(guó)家的文章到德國(guó)當(dāng)?shù)貓?bào)紙上，也將在德國(guó)所聽聞的對(duì)日本言論的相關(guān)報(bào)道送到日本的報(bào)社。就這樣，玉井開始走上了記者這條路。另外，在1898年（明治21年），他寫下了《西伯利亞征服紀(jì)行》（德語：KARAWANEN REISE IN SIBIRIEN）一書，作為他橫貫西伯利亞旅行的紀(jì)錄，其中著墨最多的是他在伊爾庫茨克到托木斯克的這段艱苦旅程。

　　同年三月，玉井發(fā)行了月刊《東亞》（德語：Ost-Asien）。這是第一次有日本人在德國(guó)發(fā)行雜志。《東亞》雜志自許為“日德貿(mào)易的大機(jī)構(gòu)”，除了刊載以日本為中心、關(guān)于東亞情勢(shì)的報(bào)道之外，也刊登包括日本貿(mào)易相關(guān)法律的德語翻譯、旅居歐洲的日本人的通訊錄、由歐洲前往東亞的船只時(shí)刻表等促進(jìn)貿(mào)易暢通的情報(bào)。除此之外，雜志社也代替德國(guó)企業(yè)到日本取得專利權(quán)�！稏|亞》雜志的發(fā)行量大約在5000本上下，其中約有三成銷往日本，因此日本和德國(guó)雙方的企業(yè)也在此雜志上刊登了許多廣告。曾在《東亞》上刊登廣告的企業(yè)，包括施德樓文具、高島屋、ヒゲタ醤油、日本郵船、橫濱正金銀行等等�！稏|亞》雜志到1910年（明治43年）2月為止，總共發(fā)行了139期（在玉井身后由老川茂信接下主筆）。

　　當(dāng)玉井繼續(xù)從事記者活動(dòng)時(shí)，他的家也時(shí)常有人造訪，甚至有人說“旅居德國(guó)的日本人沒有沒去過玉井家的”，也因此，玉井得到了“私設(shè)大使”的名號(hào)。曾到過玉井家的人物，包括了新渡戶稻造、松村松年、高岡熊雄、大島金太郎等札幌農(nóng)學(xué)校時(shí)代的同事，以及長(zhǎng)岡外史、大岡育造、美濃部達(dá)吉、后藤新平、長(zhǎng)岡半太郎、芳賀矢一、巌谷小波、鈴木貫太郎、川上音二郎、川上貞奴等人。

　　1904年（明治37年），隨著日俄戰(zhàn)爭(zhēng)的開始，玉井開始在雜志《東亞》上進(jìn)行戰(zhàn)爭(zhēng)報(bào)道，也開始呼吁大眾幫助因戰(zhàn)爭(zhēng)而由西伯利亞逃出的難民及捐款給日本紅十字會(huì)。此外，玉井的妻子悅，證明了雖然并沒有留下官方紀(jì)錄，但玉井在此時(shí)與明石元二郎進(jìn)行了接觸，有人推測(cè)他可能是從事情報(bào)收集工作，以協(xié)助明石的對(duì)俄工作。

　　然而，在此時(shí)玉井染上了結(jié)核病，因而于1906年（明治39年）9月25日去世，享年40歳。在柏林和光市兩邊都有著他的墳?zāi)埂?924年（大正13年），他的胸像被置于柏林工商會(huì)議所前，然而之后在第二次世界大戰(zhàn)中被破壞了。1942年（昭和17年），玉井的西伯利亞橫貫旅行第一次被日本的媒體（大阪每日新聞）報(bào)道。1963年（昭和38年），玉井所寫的《西伯利亞征服紀(jì)行》一書首次被翻譯為日語，以《西伯利亞商隊(duì)紀(jì)行》（シベリア隊(duì)商紀(jì)行）為標(biāo)題被收錄在筑摩書房的《世界非小說類圖書全集 47》（世界ノンフィクション全集 47）中。