在文學理念方面，可分成三部分來解析。
一、就詩論而言，詩當然是以吟詠性情為主，但在世衰時變之際，並不一定要遵守「溫柔敦厚」的詩教，而是進一步藉詩歌來表達時代動盪變化的軌跡，對社會民眾的關懷，以及個人的喜怒哀樂。同時連氏還特別強調詩的比興諷諭作用，令人不由得聯想到《台灣詩薈》創刊前一年的「台灣議會期成同盟會」事件，雅堂可能以此諷諫當局應有接受意見批評的心胸，不要一意孤行的實施專制統治。其次，針對欲學詩的青年學子，雅堂也提出一些創作觀。基本上必須先多讀書以豐富生活經驗與寫作技巧，同時要避免好多、躐等、無恒、過勞四患；再來就是培養氣節，重點在於不談利祿、不計得失、不歌功誦德，以虛心靜氣的精神從事創作。從這兩個創作基礎的內容可以明顯看出，雅堂是以當時青年學子所常犯的錯誤來加以指正，比如急功近利、短視淺見的作風，諂媚驕慢的態度，都是不正確的。至於實際的作詩方法，連氏提示要由相題、立意、布局、造句、鍊字的程序來進行，稍具規模後，還要注意詩律、用典、忌俗等細部問題。在基礎與方法外，雅堂也對台灣詩社所盛行的詠物詩體制加以批評，認為七律才能表現寄託的寓意。最後，作詩的終極目的應該是透過作品展現時代的政治得失，因此雅堂在撰寫完《台灣通史》後，又繼續編輯《台灣詩乘》，其「詩史」的觀念就以此實踐。序言曰：「是詩是史，可興可群。讀此編者，其亦有感於變風變雅之會也歟!」可見其用心。
二、就實際評論而言，從雅堂編選《台灣詩乘》、《台灣詩薈》的擇詩標準，對詩作或詩人的批評或觀點，也可分析歸納其詩學理念。首先，〈台灣詩乘序〉言此書乃「集古今之詩，刺其有繫台灣者編而次之」，可知《詩乘》選詩的第一個條件是，只要與台灣相關的人事物，都加以收錄。由於標準定得太過寬鬆，所以有些詩人從沒到過台灣，作品寫的是台灣之事，也收錄其中，難免引人非議。第二個條件是以「史」的理念來做擇取，因此大致上是按照時代先後來編排詩。由於雅堂想藉《詩乘》達到以詩補史的目的，所以仔細探討書中人事物的選錄與編排，自然可以得到許多啟發，如知識分子來往大陸台灣居留的情形，明末以來台灣所發生的各場戰役，以及各種自然現象(黑潮、颶風、海吼等)與各地景觀的呈現。同時從對詩人的評論中，也可看出雅堂較欣賞的風格為溫柔敦厚、忠義正氣、真情流露之作。其次，〈詩薈餘墨〉5號言「不佞之刊《詩薈》，厥有二義：一以振興現代之文學，一以保存舊時之遺書。」所以《詩薈》收錄的作品有兩大重點，一是保存舊時遺書，雅堂所刊登的前人詩詞集有十一種，文存則以單篇文章為主，顯示雅堂在漢文上繼絕存亡的堅強理念；一是振興現代文學，這方面的單元包括詩鈔、文鈔、傳記、學術、論衡、詩話、詩鐘、雜錄幾大項，有為當時詩壇樹立典範的強烈企圖，也有融合推廣中西學術思想的用心。在〈台灣詩薈序〉中雅堂以為詩的作用「小之為扢雅揚風之篇，大之為道德經綸之具，內之為正心脩身之學，外之為齊家治國平天下之道」，可見他創立《詩薈》的理想與目標是極為高遠的。
三、「台灣詩界革新論」的內容，雖然現存資料有限，但可得知是對日據時代詩壇盛行的「擊缽吟」所作的批評。擊缽吟在台灣的發展有其歷史淵源，它是上層文人社會藉以聯絡情感的方式，所以本質上傾向於應酬唱和而非永久傳世。當日人進駐台灣後，就想以此來籠絡知識分子，而士紳卻希望詩社活動能達到保存漢文化的目的，雖然動機不同，但重視詩社的看法是一致的，所以造成日據時期台灣詩社如雨後春筍般的成立。由於雅堂常參與這類活動，所以深知詩社存在的意義，然而對其所產生的弊病也是瞭若指掌。在擔心詩社素質低落，又考慮青年學子誤入歧途，所以雅堂才提出批判，同時也提出幾種可行的變革方式。他認為可以用聯句的方式切磋詩藝，或者大家隨性寫作，不必拘於時間、題目、體制，也可以出宿題再於會中吟詠，甚至以教導漢學為主題，連氏並極力提倡以詩鐘代替擊缽吟。雖然雅堂從29歲(1906)就開始倡導詩界革命，然而因為種種因素，始終無法發揮影響力，但還是可看出雅堂力圖振興詩壇的誠意。
在詩歌方面，連氏向被稱為台灣日據時代三大詩人之一，他自己對詩社活動也頗為熱衷，但實際上雅堂並沒有把詩歌創作當成是終身職責，這從〈大陸詩草自序〉中曰：「余固不能詩，亦且不忍以詩自囿。」一句可看出其心志。然而古典詩既成為異族統治下唯一可以延續漢學的工具，以及傳統知識分子間相濡以沫的媒介，創作舊體詩好像成為不得不然的行為。因此以下分成四大節來探討雅堂在詩歌方面的表現。
第一節溯本追源，從雅堂詩歌中尋找其傳承。連氏於乙未之亂時家居手鈔杜甫詩集，對其所歌詠的人世疾苦、社會黑暗、親友分崩離析、官吏淫虐、人民顛沛流離之苦，有很深的感觸。在杜甫的影響下，連氏不管是作詩或編詩選，都非常注意「詩史」的功用，希望詩不僅能排遣個人的憂悶煩惱，更能成為反映時代脈動與社會現狀的工具。其次連氏年輕時常以杜牧自比，除了承襲其詩作技巧外，應該對杜牧一方面有關懷國事的豪情壯志，一方面卻對女子溫柔體貼的心胸有所體會。從雅堂詩中最能明顯看出其身影的為龔自珍，龔氏詩作也是有雄奇豪邁壯闊與哀艷低迴婉轉融合為一的特色，他所常用的「劍」「簫」兩個意象，被連氏化用為「劍」「花」，即為雅堂詩集命名由來。由於龔連兩人所面對的時代背景與生命困境類似，所以詩風相當接近。最後談到黃遵憲，雅堂的文學理念與黃氏有許多不謀而合之處，如遵循「革其精神，非革其形式」的詩界革命定義，所以繼承傳統漢詩的格律、形式，而在題材、語言和意境上創新。為了証實兩人所展現的詩歌模式類似，特別從題材、語言、意境三個創新部分加以比較，結果顯示雅堂的詩歌與「詩界革命」的確有許多吻合之處。
第二節則分析雅堂不同時期的詩歌風格。人處於時間洪流中，隨著春夏秋冬四季流轉，而逐漸對喜怒哀樂、生老病死有更深一層的領悟，對人生的看法也會有所改變。正因詩對雅堂而言，已逐漸成為「史」的一部分，所以從《劍花室詩集》中，我們可沿著詩人創作的時間軌跡，探尋其五個階段的不同感觸與情懷。少年時期詩作雖不多，但充滿初生之犢不畏虎的浪漫，對未來懷有許多抱負和理想。前青年期在成家立業後，仍秉持關懷國事之心，並有一份力挽狂瀾的豪情壯志。除了自己積極奮鬥外，他也希望喚醒有志之士共同努力，否則在物競天擇、優勝劣敗的世界潮流中，中華民族恐將滅亡。也因此他強烈質疑隱居不問世事的知識分子，認為此時不應再嚮往桃花源，應該挺身而出，為國效命。後青年期至大陸旅遊，在觀賞名勝古蹟時，特別容易興起詠懷傷嘆的情緒。雖然中華民國在風雨飄搖中終於成立，但經過十多年的戰亂禍害與強徵暴歛，民生經濟一時還無法復原，所以目睹錦繡山河時，有為古老帝國的光輝自豪感慨，卻又為人民動盪的生活情傷，這種難以言述的複雜心情。壯年期則回到台灣撰寫名山之作，歷經多年風霜磨鍊後，風格愈趨於成熟穩健。由於雅堂深感必須以柔性的手段爭取台胞權利，於是和好友們一起策動台灣議會的成立，卻被執政者視為眼中釘，但他仍不放棄，所以此期詩中常有表明自己愛這塊土地、不願離去的心志。而面對黑暗的政治壓力，雅堂只好以佛理修養身心，因此也常有遊禪寺體會世外之美的作品。他在小我生命上雖有追求閒適自在的傾向，但在大我關懷上仍舊富有強烈的民族情操，可見詩人的目標志向自始至終都沒有改變。老年期連氏遷居大陸，在為台灣歷史文學完成經典之作後，心願已得償，詩作數量也大幅減少。
綜而言之，日據時代台灣古典詩壇的風格主要為悲憤填膺、窮愁抑鬱，有化解不開的愁緒、生不逢時的悲哀與無能為力的神傷。相形之下雅堂是較積極奮發的，他自己曾說：「禍患之來，靜以鎮之；橫逆之施，柔以報之。而眷懷家國，憑弔河山，雖多迴腸盪氣之辭，不作道困言貧之語。」(寧南詩草自序一)可見雅堂一直自我期許要成為台灣詩壇的中流柢柱，且不容許自己被悲觀憤恨擊倒。
第三節則詳細分析雅堂詩歌的內涵。本節可分兩大部分，一是對大我的關懷，一是自我生命的樂章。
在第一部分，由於雅堂自少年時期起即有志於歷史的編纂工作，對史事古蹟都有一份特殊的情愫，是以常藉此抒發興亡之感。其中可見追思延平郡王的功勳，贊賞史可法、閻應元、文天祥、諸葛亮等忠義之士，為太平天國之亡遺憾等內容，至於詠史七絕更享有清奇之評。其次，連氏對於影響台灣安危復興的中國政局，一直保有高度的關切。雅堂從清末就傾向支持革命黨，希望中國能成為民主自由的國家，因此在民國建立後，便歡喜的到大陸一遊，但觀察後才發現大陸的政局不如想像中樂觀，所以在詩中也表達對軍閥政客的不滿，尤其強烈指責袁世凱與張勳。最後，連氏身處台灣，也有許多憤怒批判，但鑑於日本殘酷的壓制，所以只能委婉曲折的發洩出來。如贊揚抗日義士吳彭年、林崑崗，敘述連氏家園被毀之恨，與因「台灣議會設置運動」事件而入獄的同志們相互和詩，都是換個方式呈現異族統治下的悲歌。
第二部分則是詩人生活中的動態去向。首先介紹親友間的應酬贈答，雅堂待人真誠，是以一生中交遊廣闊，無論是傳統士大夫、維新人士、革命黨員，甚至法師、歌妓、演員等，都與連氏時有詩作來往。就以同性友人來說，常在一起相互鼓勵切磋的就有林痴仙、林南強、林小眉、蘇菱槎、林景商、李耐儂等人；而異性當中的沈璈、李蓮卿、王香禪、張曼君等人，也是連氏感動觸發的來源；另外詩社聚會為雅堂一向熱衷的活動，他曾參加南社、櫟社、瀛社，也在會中寫過不少詩句。一般說來其應酬贈答之作仍能保持親切動人而不敷衍。其次是旅遊山水時所表現的感慨，雅堂常以細膩敏銳的觀察力，描述各地美麗的山水與人文風光，像廈門、台南、大陸、台北、日本，都有雅堂的遊蹤。其詩句特色在於形象鮮明、意境優美，並能由空間的遼遠聯想到歲月不待，再歸結到憂國憂民、傷時感世的愁苦。至於詠物詩是詩社聚會時興的題目，雅堂在詠花木、大自然景物及其他生物時，多能顯現物象精神，有些還能融入詩人情意，或以物來寄託暗喻，一般來說刻板死氣的詩作並不多。最後談到哀悼詩，在弔革命烈士或社會賢達時，表現的是慷慨激昂的氣氛，崇敬景仰的心情，唯一的例外為李鴻章，雅堂對其賣台求和平的行徑極不以為然，所以詩中大肆加以諷刺批評。在哭親友時，則多以血淚道出其生平，令人深感淒涼哀痛。
第四節從詩體應用的角度來觀察古體、絕句、律詩所表現的特色。古體可以用較長的篇幅記錄龐大的時勢變局，但雅堂要一直到後青年期才有略為成熟的作品，壯年期雖數量增加，然其古體詩在布局經營上都不能稱為一流作品，只是憑藉忠義之氣支撐，佳者也有跌宕奇壯之勢，但成績都不算十分理想。絕句要在極其簡短有限的格局中，帶給或提醒讀者難忘的人生經驗或生命本質，需要絕佳的功力。雅堂的絕句水準在當時是睥睨詩壇的，七絕尤多婉約明秀之詞。律詩講究韻律嚴密、語言精緻，中間兩聯對仗除了要工整妥貼外，還須富有情景交融之趣。雅堂早期作品即以對仗優美細膩著稱，青年期的律詩風采更為多樣，有的慷慨激昂，有的豪邁壯闊，有的具蒼莽之氣，非局限一隅、眼界狹隘之學者可比，中年時已能達到詞意兼美的境界，呈現出悠閒典雅、清淡圓潤的大將之風。
其實跟詩比起來，雅堂較重視「文」，難怪胡南溟在〈寧南詩草胡序〉中會有「連子能獨以文豪」一語。何以如此？因為文章所能傳達的新知資訊較快也較多，引發的效果自然也較大，接受的群眾比起古典詩來得多，這些條件都足以構成散文被重視的理由。
在散文方面，又可分成三部分論析。
第一節簡述清末民初的文風，在上承桐城派餘緒，下開五四白話文先鋒之際，整個大時代的文體正逐漸蛻變，朝實用與傳播的方向前進。因為雅堂在報社服務，自然也感受到語文變革的趨勢，所以文風也有淺顯平易的傾向。
第二節分析雅堂散文內容，總共歸納出八大類進行分析。一、敘事文，包括記載歷史事件，或一切以敘事為重心的文章，其特色有(1)題材的選擇與剪裁，雅堂以在台灣發展史上具有關鍵性意義的文件為優先考量，(2)文筆的樸實，對人物的敘述、對話和動作會據此加以省略；大致說來其風格為樸實明快、嫻熟穩重。二、傳記文，描敘歷史或現實人物，特色有(1)刻畫人物之形象性格，在敘述豪傑烈士時有極精彩細膩的表現，(2)忠於事實，《台灣通史》將史學真實性放在文學藝術性之前，(3)材料的提煉詮釋，他會基於奮起漢民族精神的原則來剪裁或詮釋史料，(4)作者的論贊，這是雅堂傳記文的重心所在，藉褒貶來收到警世喚醒之效；《通史》中的傳記文在人物塑造上較平板，《文集》則多有栩栩如生的人物。三、遊記文，分成(1)議論式，將山水景物與哲理、議論做緊密自然的結合，(2)筆記式，把各地山川勝景、民情風俗、物產資源等做隨筆記載；議論式遊記以簡樸有力的文字闡發對宇宙人生無常的感慨，筆記式則多抒發對歷史的懷想與時事的批判。四、筆記文則是日常生活的隨手小札，雅堂常有與台灣有關的逸聞瑣事、地理沿革、風土民情、物產氣候的相關小文；內容傾向考証辨誤，傳知性質強烈。五、論辨文，以分析事理和辨明是非為主，可分三類，(1)古代事物，從科學性的思考邏輯糾正時人之謬，(2)中西差異問題，雅堂一面研究中國傳統的墨家學說，一面對西方學術思想多所涉獵，希望能提振人民的自信心；(3)思想善導，要求日人還給台民應享有的權利；論辨文言辭廣博暢達，筆勢雄渾有力，不但條理清晰，邏輯更為嚴密。六、書信文，分為(1)寫給摯友，以優美懇切的言辭，不亢不卑的語氣託付子女，(2)家書，充滿父親的關心囑咐與殷切的期盼；其文風特色以沈鬱典雅和感情細膩精微為主。七、序跋文，有(1)自序跋，以謹慎嚴肅的態度闡揚民族大義，修辭奇麗，聲調鏗然，(2)他序跋，詩評精當扼要，寫景能呈現地理特色，議論則條理井然；此類文章是《文集》中最具文學技巧和價值的。八、墓誌銘與哀祭文，能以細膩精微的筆法發揚死者生前面貌，並表達真誠深厚的哀痛，但又不流於泛濫通俗；其特色以詞藻宏麗、音調鏗鏘著稱，文字風格端莊典雅，結構嚴謹又富於變化，可見其精心雕琢的成果。
第三節則分析雅堂散文特色，在經世致用的前提下發展出兩種截然不同的文風，一種是用以傳世的經典之作，這類文章多以典雅莊重的文言寫成，從結構的嚴謹和下筆的慎重，都可看出作者欲將文章傳諸久遠的強烈企圖心。另一種則是用以覺世的散文，這類文章通常用字較前一種來得淺俗易懂，雖然其中也不免摻雜典故，但基本上是以短文的形式出現，希望能迅速將意念傳達給世人，以便在政治社會上產生較大的迴響，進而加以變革，所以有時就較難兼顧到文筆的優美。
「攘夷狄」與「救中國」是其散文中所著意注重的方向，他常將經世致用的精神融入文中，但不管風格是高雅潔淨或樸實明快，都能保持暢達舒坦的氣勢，為其散文最大的優點。其次是傳世散文能掌握駢散夾雜的長處，覺世散文則以客觀簡淨之筆傳遞世界新知，根據不同的用途有不同的表達方式。
由此可見雅堂對詩和散文所訴求的對象、造成的影響與效用，是極為清楚的。他還是把詩當成小道，做為與上層知識分子間藉以抒發感慨、維繫漢學的工具，至於散文則是放在傳播的角度上來運用，所以內容多延續經世濟民的理想。
至於連氏與台灣新文學運動的關聯，下面以三大節討論之。
第一節是新舊文學的論戰過程。首先從大陸和台灣白話文運動來比較，主要的不同點在於台灣並無統一的方言，民眾教育不普及，沒有得到政治的援助，所以實施困難，相同點是語文改革的動力都來自「實用」，並希望透過語體文字的解放，來達到新思想新觀念的輸入。其次張我軍對台灣舊文學的攻擊，早期帶有濃厚的政治意味，他所批判的無非是投靠日本當局的舊文人，而發表兩篇言辭激烈的文章後，可以說是向舊文學集團正式宣戰了。由於雅堂是舊文學集團的巨擘，當然受到波及，因此連氏也向張我軍反擊。雅堂以為新文學集團不懂中國古典文學之美，就想任意廢除，而他們所提倡的新體詩根本就是分行的散文，缺乏韻律對仗，怎能跟古典詩相提並論。
第二節則分析雅堂對白話文運動所抱持的態度。早期雅堂的態度是較為保守的，認為在應用上雖然以文言敘述的確存在某些問題，但因沒人提出較合理具體的改革方式，所以暫且還是以較淺易的文言做為工具。至於當時所盛行的古典詩，則根本沒有改成新體詩的必要，因為它並沒有傳播上的考量。晚期在思考反省台灣語文發展後，認為整理發揚台語，實有助於延續台民的漢族精神，所以加強研究台語書寫的問題。同時以為文學語言還是使用文言文，儘量少摻雜方言，這是為了將來能廣泛流傳。但在應用上則可以不拘文白，只要達到溝通的目的即可。
第三節為新文學運動的反省檢討，在白話文運動後，台灣各種文類的變化是不同的。應用文因為台灣早期知識分子多出身舊私塾，因此報紙還是以淺白的文言為主。白話小說的確有很大的發展，但出現的時間跟數量都不多，也未能帶給讀者思想觀念上衝擊，影響有限。古典詩其實才是新文學集團最想改革的項目，但由於早期新體詩呈現的方式爭議仍多，所以始終無法打敗古典詩，成為台灣文壇的主流。新文學集團一直以為詩的形式改變後，內容自然就會跟進，事實上深具意義的新詩，也並未多見。
觀察雅堂在筆戰中的論點，足以使我們明瞭文學在面臨外來衝擊時，保守派除了反抗，也不免開始省思舊文學的缺憾，所以這些批評往往可以使舊文學得到新生的力量。而當舊文學內部改革後，展現出來的又是另一番面貌，也未嘗不是好事。
只是台灣日據時代的語文環境，無論新舊文學集團再如何爭論，依舊無法與日人的政策對抗，因此在日文小說出現後，就已正式宣告漢語文學，無論是文言或白話，都將暫時消失於台灣文壇上。
綜上所述，雅堂的文學成就是多方面的，最難能可貴的是，他無論在文學理念、詩歌、散文以及台灣白話文運動的改革上，都有卓越的貢獻。他從少年時期種植下的史學觀念，更使他在從事文學活動時，心中有一準繩可供遵循，所以無論政治社會環境如何複雜多譎，他都能以文學來自娛，而維持其清高耿介的人格，也因此稱他為台灣日據時代文壇巨擘是當之無愧的。