玉井于1866年生于周防國光井村（今山口縣光市）的一個釀造“銘酒玉川”這種酒的釀酒店家庭中。他在就讀于山口黑城塾，廣島縣中學校（今廣島縣立廣島國泰寺高等學校）后，前往東京的獨逸學協(xié)會學校（今獨協(xié)中學校暨高等學校）就讀。同時，他住進了從小時候就把他當作哥哥一般仰慕的遠房親戚原田貞介的家中，在那里學會了一些德語的基礎。

　　1882年（明治15年），16歲的玉井進入了東京帝國大學（今東京大學）醫(yī)學院預科就讀，是當時最年輕的學生。在那里，可能是因為天生的氣質(zhì)的緣故，在同學間人緣不錯，在他住的地方常常舉行聚會，包括了南方熊楠等人都曾進出他所住的地方。但是，由于過著這種生活，使玉井的交際費不斷增加，最后付不出預科的學費，在一年后被摘除學籍。然而玉井仍然繼續(xù)到預科去上課，就連教授也默許。這或許是因為玉井的德語程度優(yōu)秀，加上當時這樣“潛入”的學生也不在少數(shù)的緣故。

　　1884年（明治17年），玉井與比自己小四歲的兒時玩伴原田悅結(jié)婚。1886年（明治19年），受到原田貞介自東京帝國大學中輟前往德國留學的刺激，玉井也開始認真地考慮前往德國一事。為了要籌措留學的資金，他和西野文太郎等人協(xié)力，開設了一間以學習德語為中心的私塾“東京速成學館”。由于當時社會相當流行學習德語，加上玉井的德語能力相當優(yōu)異，收到了很多學生，得到了一定的成功。但在此同時，玉井對是否該繼續(xù)走醫(yī)學之路感到了疑惑，遂改進入第一高等學校德國法律科就讀。

　　1888年（明治21年）4月，在預科指導教授及畢業(yè)生的推薦下，玉井前往札幌農(nóng)學校（今北海道大學）擔任德語教授一職，關(guān)閉了東京速成學館，前往札幌。在札幌農(nóng)學校，他與同事新渡戶稻造、松村松年、高岡熊雄（之后擔任北海道大學校長）、大島金太郎（之后擔任日本農(nóng)藝化學會會長）等人交好，但由于玉井夢想著“晴耕雨讀”的生活，而于1891年（明治24年）3月辭職，在札幌近郊開始耕作，卻以失敗收場。以此為契機，玉井終于下定前往德國的決心。1892年（明治25年）11月17日，玉井將妻子托付給原田本家，一個人離開了日本。

　　玉井由下關(guān)離開日本，經(jīng)由釜山，前往俄羅斯的海參崴。他之所以沒有直接前往德國，一方面是由于他是以“學習日俄貿(mào)易相關(guān)事務”作為出國的理由，另一方面是因為他并沒有直接前往德國所需的費用，所以想要一邊在途中賺取旅費，一邊穿越西伯利亞。有些文獻將玉井前往俄羅斯的這次旅行稱為“偷偷入境”，但玉井的護照現(xiàn)在依然被保存著，因此此說并不正確。在海參崴，由于意外遭到冤獄以及工作賺取旅費，他滯留了大約六個月的期間。

　　1893年（明治26年）5月31日，由于已經(jīng)賺到足夠的旅費，玉井離開海參崴，由伯力乘坐蒸氣船順黑龍江逆流而上，前往海蘭泡。在海蘭泡為了賺取旅費而停留工作大約三個星期后，他再度出發(fā)，順著斯雷坦斯克（Сре?тенск）、赤塔、烏蘭烏德、伊爾庫茨克往西前進。在這段旅程中的陸路部分，他大部分都與運送茶葉的商旅同行（當時俄羅斯是世界第二大茶葉輸入國，大部分的茶葉都從中國（清朝）經(jīng)由西伯利亞輸入）。

　　在終于抵達伊爾庫茨克后，玉井卻陷入了危機。在海蘭泡賺到的旅行資金已經(jīng)幾乎用鑿，且由于不習慣當?shù)仫嬍扯�罹患下痢，加上因長時間搭乘馬車行走路況不佳的道路而得到嚴重的痔瘡，痛到甚至無法睡覺。但是在伊爾庫茨克，玉井巧遇以前在東京速成學館的學生椎名保之助，椎名是為了就讀神學院而單獨來到俄羅斯。在椎名的協(xié)助之下，停留大約三個月后，玉井再度出發(fā)。

　　自伊爾庫茨克到托木斯克的旅程，玉井再度與茶葉商旅同行，但由于當時氣候嚴寒，旅行條件十分嚴苛。氣溫時常在零下40度左右，穿著的毛皮大衣也結(jié)了冰變得像板子一般。商旅為了要盡快將茶葉運到目的地，而把玉井拋下自己離去的事情也發(fā)生過好幾次，玉井被迫在嚴寒的天氣中追趕隊伍。此外，也有遇到盜賊的紀錄。經(jīng)過了大約三十天，玉井抵達了托木斯克，由于得到了托木斯克大學及當?shù)貓笊纭段鞑�利亞通知》的人的幫助，在此之后的行程可以搭乘火車，進行得十分順暢。玉井于1894年（明治27年）2月26日、抵達了當初的目的地柏林，從他離開日本算起已經(jīng)經(jīng)過了467天。

　　到達德國的玉井，在漢堡及柏林的舶來品店工作，在此同時也注意到德國人對亞洲的知識及想法有著許多誤解。于是，以甲午戰(zhàn)爭的爆發(fā)為契機，他開始投稿有關(guān)日本及中國等亞洲國家的文章到德國當?shù)貓蠹埳�，也將在德國所聽聞的對日本言論的相關(guān)報道送到日本的報社。就這樣，玉井開始走上了記者這條路。另外，在1898年（明治21年），他寫下了《西伯利亞征服紀行》（德語：KARAWANEN REISE IN SIBIRIEN）一書，作為他橫貫西伯利亞旅行的紀錄，其中著墨最多的是他在伊爾庫茨克到托木斯克的這段艱苦旅程。

　　同年三月，玉井發(fā)行了月刊《東亞》（德語：Ost-Asien）。這是第一次有日本人在德國發(fā)行雜志�！稏|亞》雜志自許為“日德貿(mào)易的大機構(gòu)”，除了刊載以日本為中心、關(guān)于東亞情勢的報道之外，也刊登包括日本貿(mào)易相關(guān)法律的德語翻譯、旅居歐洲的日本人的通訊錄、由歐洲前往東亞的船只時刻表等促進貿(mào)易暢通的情報。除此之外，雜志社也代替德國企業(yè)到日本取得專利權(quán)�！稏|亞》雜志的發(fā)行量大約在5000本上下，其中約有三成銷往日本，因此日本和德國雙方的企業(yè)也在此雜志上刊登了許多廣告。曾在《東亞》上刊登廣告的企業(yè)，包括施德樓文具、高島屋、ヒゲタ醤油、日本郵船、橫濱正金銀行等等�！稏|亞》雜志到1910年（明治43年）2月為止，總共發(fā)行了139期（在玉井身后由老川茂信接下主筆）。

　　當玉井繼續(xù)從事記者活動時，他的家也時常有人造訪，甚至有人說“旅居德國的日本人沒有沒去過玉井家的”，也因此，玉井得到了“私設大使”的名號。曾到過玉井家的人物，包括了新渡戶稻造、松村松年、高岡熊雄、大島金太郎等札幌農(nóng)學校時代的同事，以及長岡外史、大岡育造、美濃部達吉、后藤新平、長岡半太郎、芳賀矢一、巌谷小波、鈴木貫太郎、川上音二郎、川上貞奴等人。

　　1904年（明治37年），隨著日俄戰(zhàn)爭的開始，玉井開始在雜志《東亞》上進行戰(zhàn)爭報道，也開始呼吁大眾幫助因戰(zhàn)爭而由西伯利亞逃出的難民及捐款給日本紅十字會。此外，玉井的妻子悅，證明了雖然并沒有留下官方紀錄，但玉井在此時與明石元二郎進行了接觸，有人推測他可能是從事情報收集工作，以協(xié)助明石的對俄工作。

　　然而，在此時玉井染上了結(jié)核病，因而于1906年（明治39年）9月25日去世，享年40歳。在柏林和光市兩邊都有著他的墳墓。1924年（大正13年），他的胸像被置于柏林工商會議所前，然而之后在第二次世界大戰(zhàn)中被破壞了。1942年（昭和17年），玉井的西伯利亞橫貫旅行第一次被日本的媒體（大阪每日新聞）報道。1963年（昭和38年），玉井所寫的《西伯利亞征服紀行》一書首次被翻譯為日語，以《西伯利亞商隊紀行》（シベリア隊商紀行）為標題被收錄在筑摩書房的《世界非小說類圖書全集 47》（世界ノンフィクション全集 47）中。