江戸に生まれる。本名安藤吉次郎。当時江戸で学べる様々な画派に就いた。狩野派を皮切りに鈴木春信に浮世絵を、宋紫石に南蘋派を学んだ。一説にはその後小田野直武に就いて、秋田蘭画も学んだという。それでも納得せず、対象を真に写すにはどうしたらよいのか、当時舶載されたヨーロッパの書物や銅版画・油彩画などを研究し、平賀源内や大槻玄沢らの協力を得て、1783年、37歳の時に日本初の腐蝕銅版画の制作に成功した。その後国産の荏油などを応用して、独自に油彩画を完成させた。油絵で西洋人や風景画を多く描いた。そして地動説などの自然科学の紹介にも務めた。