《三才圖會》中有關面相的一章中用作圖示的臉幾乎都是男性，在女性被嚴密地圈子深宅大院的文化中，女性的臉被男性觀看這一事實是有高度爭議性的。在17世紀中的臺灣，當荷蘭軍隊在一次對農民住所的強行搜查中，讓有身份的女性面對陌生男子，從而引發了一場反對荷蘭殖民統治的抗爭。在現實生活中，女性的臉可以被某些人觀看，比如相士和醫者。
深閨中的中國女性
歐洲宮廷繪畫中的女性
相術對於中國社會各階層均相當重要，實際上，幾乎可以肯定地說，相術較之類似的風水堪輿學更為盛行。相術把個人與宇宙天地聯絡起來，例如臉部特徵與神聖的五嶽勝地的聯絡，以及數字命理學，尤其是神聖數字“九”的重要意義。襲用至今的相術理論體系，雖然歷史悠久，來源紛雜，似乎到了明代早期已基本固定下來，‘相術與任何描繪人臉的嘗試都緊密交織在一起，不論此類具象藝術的目的是什麼。
相術
在論及相術在肖像畫中的地位時，邁蒂.西格斯特德(Mette Siggstedt)評論道：“在元明時期，肖像畫基本上成為一種畫匠的活計，在中國繪畫的主流之外有著它自己的發展脈絡。在這一時期，繪畫的發展更為追求抽象化和對筆法之書法特性的關注，人們對色彩幾乎沒有興趣，也很少有分層次的水墨彩畫。而正規肖像畫的發展則與此背道而馳。
儘管“中國繪畫主流”這一概念本質上很成問題，上述分析無可挑剔1600年左右（我們將會看到此時期的畫論對該題材的重新關注）之前，幾乎所有的明代肖像都出自於佚名畫師。然而，把某些作者有關繪畫的言論（肖像畫逐漸被強行排除在繪畫的範疇之外）等同於明代文人對於肖像畫重要性的整體看法，或以這些言論來說明他們是否願意訂製肖像畫，或是在畫論以外的作品中談論肖像畫，這樣的做法未必可靠。
肖像畫的一種特定用途是用於祖宗之禮，實際上對於西方的博物館管理者和拍賣行而言，多數正式的肖像畫通常都被稱為“祖宗肖像”在明代的祖宗之禮中，這類畫像的正統地位不甚穩固，但還算受人尊敬；它們絕非必要，但為多數論者所容忍。宋代的朱熹在其被奉為規範的《家禮》中提出應依祖宗性別而區別對待。
一位明代的評論者對這一反對意見做了規避性回應，提出只要一幅婦人的畫像僅僅為那些曾見過她真容的家人看到（包括男性成員），這就是可以接受的。邱浚援引宋代反對祖宗肖像的言論，對任何情況下用於祭拜的畫像進行抨擊，其理由是，如果這些畫像與死者的面貌差之毫釐（必然會如此），那麼祭獻之物就不會準確到達目的地。諸如此類的嚴厲批評和限制更加突出。
明代皇帝畫像
柯斯納(Ladislav Kesner)提請人們注意至少是某些觀者對遺像逼真性的重視。這一點在另一場明代關於圖繪活動的討論中已初見端倪。堅持祖宗之禮中所用畫像形似的重要性有重要的禮儀方面的原因——一幅不夠肖似的畫像可能意味著供品並非獻與某人去世的父母，而是其他完全不相干之人，這是大逆不道的行為。然而，至少偶爾會有類似情況。
一部成於明代末年的小說，其中有一段對繪製“祖宗畫像”經過的敘述，表明了禮儀和陳列展示之間可能存在的張力。這部作品就是《醒世姻緣傳》，其中放蕩的主角晁源在第十八回中為去世的晁父安排畫像之事（至此為止晁氏較西門慶更為正經）。晁源找了一位畫士，命他將晁父畫為身著蟒玉金冠，而晁父生前並未有過高官的蟒衣玉帶，金冠更是未曾戴過。
明代皇帝畫像
畫士表示異議，晁源則以主祭的畫士開價二十五兩白銀，願意作三幅畫像，一幅朝服，一幅尋常冠帶，一幅公服。畫士隨即畫出草稿，眾人都批評道“有幾分相似”。畫士反駁說，至少在晁老生前還會過他本人，“所以還有幾分光景；若是第二個人，連這個分數也沒有的”。但晁源打斷他說：“你不必管像與不像，你只畫一個白白胖胖、齊齊整整，扭黑的三花長鬚便是，我們只圖好看，哪要他像！”畫士先是擔心會為其他親戚所怪罪，待顧慮解除之後，便從眾神仙中揀選了司管文章學問之文昌帝君的樣貌，依前議作了三幅著裝不同的畫像。
明代皇帝畫像
此處所繪的是死者的“社會性軀體”，而具有更為重要禮儀意義的面部特徵卻讓位於過分招搖的衣飾。但這一段敘述或能讓人們注意到在更有教養守規矩的家庭中，畫像是否相似的確極為重要。然而，晁源對於身份地位毫無品味的追求正提醒了我們，這些用於儀式的遺像陳列於公開或半公開的場合。在此畫像並非作為禮儀中產生效用的一部分，而是作為被展示的視覺文化的一部分。在繪畫的理論化敘述之外，明代上層人士的著作表明此類關注非常有影響力。
明代皇帝畫像
由於其禮儀功用，肖像通常具有紀念意義，被儲存在家族中，以示子孫後代或是外來訪客。郎瑛描述曾在杭州見過一位宋代太后的“譜像”，他以面相學術語形容了太后的容貌，她在畫中身著道服，意在紀念民族英雄岳飛將軍。這些畫像是祖宗的肖像，但並非禮儀意義上的“祖先畫像”。
我們無法得知有多少明代的文人以這種方式請人畫像，或是“譜像”究竟有多普遍。15世紀的楊慎老調重彈，認為三十歲以下的人不應請人畫像，因為這樣做會有損像主的“精神”。然而可以想見，對古往今來偉人相貌外觀的興趣，與任何宗教或禮儀的顧忌無關，只是建立在純粹的好奇心之上，想看看名人的長相。“像”字可用於任何形式的肖像畫，我們將會看到，該字與某些有關具象藝術最深奧的理論立場有著極為密切的聯絡，這一立場深深植根於《易經》。因此歸有光為《孔子七十二弟子圖》作跋時隻字未提繪畫風格的問題，取而代之的是對其內容的討論，這表明了這些均為新近繪製的影象，並非什麼古物。
明代皇帝畫像
文人的相貌得以為同道中人所知的主要途徑之一是透過文集卷首的畫像。人們因此得知一位作者的胖瘦，是否留有長髯，耳朵是大還是小。此處所示出自於哲學家王艮(1483-1541)的文集，這是一個典型的例子，可以代表大多數此類畫像。儘管這幅畫像刊行於王艮去世多年以後，它仍然傳達了公認的王良形象，或許可與那時其他地區通行的某些正式的肖像畫型別相媲美。
明中國曆代君王的形象是讀書人所能接觸到的視覺文化的外圍部分，法律嚴令禁止以任何形式表現皇室成員的形象。皇室的形象在明代中國並不具有其在16世紀的歐洲那樣的公開性，帝王的臉並不出現在硬幣上，而現存的明代帝王畫像都是在宮內繪製，用於禮儀的目的，並且直到20世紀為止一直保存於皇宮中。
明代皇帝畫像
衛道者們對戲曲的常見責難之一就是戲曲舞臺上出現了過去的帝王形象，這本身就不合於禮法。因此，當我們發現，即便是明代的帝王，也不存在對其形象的絕對禁止，這一點令人震驚。《三才圖會》中收錄了大量歷代君王的插圖，下至明代的嘉靖皇帝。顯然，這些影象是依皇帝畫像的傳統式所繪製，但刻工試圖使三位皇帝各自具有不同的面目特徵，並不管這些畫像是否“準確”。人們在一定程度上“瞭解”明代皇帝的長相，正如從《三才圖會》的其他章節得知偉大的政治和文化人物的長相一樣。
歐洲帝王畫像
歐洲帝王畫像
歐洲帝王畫像
